DID的陷阱和注意事项

发布时间:2022-04-22 阅读 2154

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示: 定期 清理浏览器缓存,可以获得最佳浏览体验。

New! lianxh 命令发布了:
随时搜索推文、Stata 资源。安装:
. ssc install lianxh
详情参见帮助文件 (有惊喜):
. help lianxh
连享会新命令:cnssc, ihelp, rdbalance, gitee, installpkg

课程详情 https://gitee.com/lianxh/Course

课程主页 https://gitee.com/lianxh/Course

⛳ Stata 系列推文:

PDF下载 - 推文合集

作者:苗妙 (华南理工大学)
邮箱miaomiao@scut.edu.cn

编者按:本文主要摘译自下文,特此致谢!
Source:Goodman-Bacon A, Marcus J. Using difference-in-differences to identify causal effects of COVID-19 policies[J]. 2020. -PDF-


目录


政策制定者已经实施了一系列的非药物干预措施以应对 COVID-19 的传播。不同司法辖区及不同时期政策的差异表明,DD (difference-in-difference) 的研究设计可以较好地估计抗击新冠病毒措施的因果效应。在本文中,我们讨论了 DD 设计有效性的威胁,给出了研究者如何避免估计偏误、准确地解释结果的建议,并对致力于保护公共健康、促进最终经济复苏的政策制定者提供了合理的指导。

1. 引言

为了减轻新型冠状病毒 SARS-COV-2 和它引起的疾病 COVID-19 传播,全世界的政策制定者都对其公民实施了严格的限制。限制交流虽然阻止了人与人之间的传染,但成本很高,例如欧洲大量企业倒闭,预计会使每月 GDP 减少 3% (Thomsen,2020)。因此了解哪些非药物干预措施有助于控制疫情,对于平衡公众健康和经济社会成本至关重要。

政府相关措施在实施区域和时间上的较大差异,有助于构建 DD 的研究设计,使我们可以在 COVID-19 的背景下估计因果效应。最近至少有五篇使用 DD 方法的论文表明,非药物干预可减少交互、感染或死亡 (Dave 等,2021;Fang 等,2020;Friedson 等,2020;Gupta 等,2021;Hsiang 等,2020)。

DD 的有效性依赖于处理组和控制组之间具有可比性这一假设。COVID-19 的动态变化、人们的反应方式、以及大量的政策反应使得设计可靠的 DD 研究变得更加困难。本文讨论了使用 DD 设计去评估对抗 COVID-19 措施的一些挑战,并提出解决这些挑战可能的策略。

2. 马德里和利物浦的例子

我们的讨论聚焦在一个假设分析上:封锁政策 (lockdown policy) 对马德里和利物浦 COVID-19 病例  (y) 的影响效果。封锁是指通过法律强制手段,要求居民除了重要的出行外,都要居家隔离。西班牙在 3 月 14 日实施了封锁措施,英国在 3 月 24 日实施了这一措施 (Flaxman 等,2020)。

考虑一个简单 DD 估计量。其中,马德里为处理组,利物浦为控制组,3 月 1 日至 3 月 13 日是处理前时期,3 月 14 日至 3 月 23 日是处理后时期,DD 估计模型如下:

在城市层面上对时间进行差分,消除了马德里和利物浦不随时间变动的潜在差异。在城市间进行差分,可以消除导致两地感染率相同的一些因素。为了将 β^MadridDD 解释为封锁的因果效应,我们必须假定,利物浦 COVID-19 冠状病毒的感染反映了一种反事实情况,即如果马德里没有实施封锁政策时,感染会如何改变,即共同趋势假说。

如果共同趋势不成立,那么即使没有封闭,马德里的感染也会出现与原有趋势不同的情况,β^MadridDD 就不能被解释为封锁效应。如果共同趋势成立,β^MadridDD 就是处理组的因果效应。

3. DD 的挑战

所有的 DD 分析都必须仔细地考虑对共同趋势假说的违背,这一情况也很有可能出现在 COVID-19 的研究背景下。同时,COVID-19 的动态变化使得 DD 研究设计面临的潜在威胁更加复杂。比如,遭受感染与记录报告之间的时间间隔,人与人之间产生的非线性传播特征,以及政策效应随时间变化的差异。

3.1 打包的政策

政府通常会实施多项政策,以降低 COVID-19 的感染。比如,马德里较早地实行了封锁政策,但是马德里和利物浦又都采取了其他措施应对 COVID-19。西班牙官方在 3 月 9 日鼓励保持社交距离,3 月 13 日学校停课,3 月 14 日禁止公共活动,所有这些都可能减少马德里的感染率 (Δy¯Madrid)。

要想从马德里的综合政策中分解出封锁政策的效应,需要建立能反映马德里实施其他政策的控制组。尽管利物浦也鼓励保持社交距离,并提出了与马德里不同的政策建议,但在样本中他们是更晚实施的,并且没有关闭学校。由此,利物浦可能不会是马德里的一个好控制组。

3.2 反向因果

由于疫情恶化,各国政府已经颁布了限制措施,因此应对 COVID-19 的政策变化可能是其 COVID-19 过去自身变化的函数。3 月初,马德里的人均病例增长率高于利物浦,且感染高峰及时间也都更早。封锁后感染率下降可能反映了病毒爆发的自然动态,而不是封锁效应。因此马德里和利物浦 COVID-19 的爆发不具有可比性。

3.3 自愿预防措施

证据表明,随着疫情的增长和传播,人们会在官方政策施行前采取预防措施。比如,Google 使用者的数据表明,在政府封锁政策开始前,利物浦和马德里的公共交通使用都开始减少了。如果民众和政府对信息的反应相同,那么 DD 在估计封锁效应对感染率的影响方面,就会倾向于产生一个错误、有偏的负向关系。此外,如果更严重的感染会触发更早、更严格的政策,它们也可能引致更强的预防行为和更大的估计偏差。

3.4 预期

然而,当政府提前宣布政策时,人们的行为可能会因政策本身这一信息而改变。例如,在封锁开始之前,马德里和利物浦的人更多地去杂货市场和药店,囤积卫生纸和意大利面 (Google,2020;Oakley,2020)。如果感染结果在 3 月 14 日之前报告,马德里的病例可能在封锁后会下降 (Δy¯Madrid<0),仅仅是因为预期提高了封锁前的感染率。

3.5 溢出效应

传染病并不会在传染到地区边界时停止,所以西班牙封锁的时机和有效性可能影响利物浦 COVID-19 的病例。比如,3 月 11 日,为了看马德里竞技和利物浦足球俱乐部的欧冠联赛,3000 个足球球迷从西班牙到利物浦进行了一次短暂的出行 (ESPN,2020),但 3 月 17 日皇家马德里和曼城足球俱乐部的一场比赛被取消。

利物浦的感染趋势如果是西班牙封锁的函数,那么就无法代表马德里没有采取封锁政策时的情况。在病毒可以传播的背景下,出行的溢出效应通常会使 DD 估计值接近于 0。封锁政策不仅影响了处理组,也影响了控制组。

3.6 政策时点的变化

如果观察期延长到 3 月 23 日以后,对这两座城市的分析就包含了利物浦的封锁。最常见的方法是在估计中加入个体和时间固定效应,并加入一个虚拟变量,如果个体 i 在时间 t 有政策施行,则该变量为 1。在此情况下,DD 估计值等于 Δy¯Madrid 的平均值,这一平均值与利物浦封锁效应的 DD 值类似,即把利物浦作为处理组,马德里作为控制组 (在封锁后已经实施),3 月 24 日之后作为事件后,3 月 14 日-23 日作为事件前的情况 (Goodman-Bacon,2021)。

然而,当处理组是交错的,且处理效应随时间变化时 (这两个条件在 COVID-19 背景下都是真实的),双向固定效应估计通常会是有偏的,远离了真实处理效应 (Goodman-Bacon,2019)。有偏的原因是,利物浦的 DD 估计项用 3 月 14 日之后的马德里作为了控制组。如果马德里封锁效应是一致且立即发生的,那么估算 3 月 14 日之后的结果趋势就会不同。

然而,如果封锁效应随时间推移而增长,那么 3 月 14 日之后的马德里感染率就包含了利物浦从来没有经历过的进化处理效应。马德里没有反映出在没有封锁的情况下,利物浦可能会发生什么,DD 估计就是正向有偏的。

3.7 对因变量的测量

COVID-19 的结果本质上是难以测量的,这加剧了之前的挑战。例如,病毒的潜伏期意味着报告感染数时已经滞后了几天。因此,限制接触的政策不会立即影响记录中的感染率。最后,当局对于计算 COVID-19 的感染和死亡人数也有诸多困难。

4. 对于 COVID-19 DD 设计的建议

虽然我们是用了一个具体的案例来阐述我们的观点,但它们也适用于封锁之外的其他政策。下面是我们对于如何避免估计偏差,并更加准确地解释 DD 估计结果的建议。

4.1 估计动态

研究人员应该展示 “事件研究” 的估计,即追踪政策施行前后每一天的政策效应。式 (1) 中简洁 DD 模型的一般化形式可以反映出上面的估计偏误。比如反向因果,意味着政策出台的前几天 COVID-19 的结果就应该变得更糟,这显示出处理组事前趋势性增加的事件研究估计。

另一方面,自愿预防,会在政策实施前改善处理组地区的结果。病毒的潜伏期也意味着事件研究估计结果的政策后评估可以作为对研究设计的检验。比如,政策施行后 COVID-19 报告病例和死亡人数的立即变化,就不太可能是由政策导致的。

4.2 巧妙地选择控制组

好的对照组必须与处理组在多方面相匹配。精巧的研究设计将努力聚焦于仅有 COVID-19 政策 (或者,至少是仅有的几个政策) 不同的处理组和对照组上。对于一国之内的 DD 分析,即全国所有地区均有应对新冠病毒的政策 (尽管通过出行会有溢出效应) 会对于分析有帮助。

研究人员应该尤其关注所采用的分析技术,比如倾向得分赋权重或合成控制。这些技术可以使政策前的感染水平、趋势以及影响传播因素 (如人口密度)、毒性 (比如并发症、年龄结构) 等特征达到平衡。需要注意,直接控制回归中的干扰因素可能不够,因为它 “消除” 了平均部分相关 (尽管真实偏差可能在个体和时间层面存在很大差异),并且严重限制了我们所关心政策的独立变异 (Goodman-Bacon,2021)。

4.3 小心地对 DD 进行回归

即使在共同趋势保持不变的情况下,如果处理组随时间变动,DD 回归也可能是有偏的。幸运的是,一系列可以避免这些偏差的替代性估计量已经被开发出来。比如,Callaway 和 Sant' Anna (2021) 提出,将一系列的 (倾向得分重赋权重) DD 模型进行平均, 即类似于模型 (1) 中将后处理组的个体作为早期处理组的对照组。

COVID-19 政策非常适合采用这些替代方法,这些方法的应用对于避免回归方法中固有的偏差至关重要。

4.4 标注偏差的方向

有些情况下,不可能消除所有偏差的来源,但我们可以报告偏差的方向。例如,英国的社交距离准则只可能减少 y¯LiverpoolPost,进而使得对马德里封锁效应的估计向 0 的方向偏移。人们可能仍然对 DD 的估计结果充满信心,因为马德里的封闭确实降低了感染。

另外,马德里学校封闭与感染的降低几乎同时发生,这使得把回归结果归因于式 (1) 中 DD 封锁政策的研究不可信。研究者在解释 DD 估计时,应该明确说明偏差潜在的来源、方向以及可能的大小。

4.5 明确已知项

COVID-19 政策在实际实施的地区与选择不实施政策的地区间有着非常不同的效果,但 DD 识别了处理地区的效应。基于政策时序的 DD 模型关注了一个地区制定政策之后和另一个地区政策之前的较小时间窗口。正如我们所讨论的,政策几乎不会对报告结果产生即时效果。

短期没有效果并不意味着政策就没有效果。研究者应该清楚地解释这些问题,同时也试图了解处理效应跨空间和时间异质性的来源。事实上,许多政策制定者可能会对公共卫生措施效应的异质性最感兴趣。

5. 结论

由于 COVID-19 的非药物干预政策不是随机的,研究者只能依靠准实验策略识别因果效应。相比于前后比较,以及中断的时间序列设计,DD 通过引入控制组的方法更有优势。此外,近年来为 DD 开发的图形和参数化工具使评估共同趋势假设成为可能。

因果估计是 COVID-19 政策制定的重要考虑因素,偏差可能会产生严重后果。如果决策者错误地认为限制没有什么效果,他们可能会过早放松政策,感染率会飙升。另一方面,如果他们错误地相信政策有很大的影响,他们可能会将封锁政策保持太久,阻碍了经济和社会复苏。

6. 相关推文

Note:产生如下推文列表的 Stata 命令为:
lianxh did, m
安装最新版 lianxh 命令:
ssc install lianxh, replace

相关课程

免费公开课

最新课程-直播课

专题 嘉宾 直播/回看视频
最新专题 文本分析、机器学习、效率专题、生存分析等
研究设计 连玉君 我的特斯拉-实证研究设计-幻灯片-
面板模型 连玉君 动态面板模型-幻灯片-
面板模型 连玉君 直击面板数据模型 [免费公开课,2小时]
  • Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。

课程主页

课程主页

关于我们

  • Stata连享会 由中山大学连玉君老师团队创办,定期分享实证分析经验。
  • 连享会-主页知乎专栏,700+ 推文,实证分析不再抓狂。直播间 有很多视频课程,可以随时观看。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标,输入简要关键词,以便快速呈现历史推文,获取工具软件和数据下载。常见关键词:课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法

连享会小程序:扫一扫,看推文,看视频……

扫码加入连享会微信群,提问交流更方便

✏ 连享会-常见问题解答:
https://gitee.com/lianxh/Course/wikis

New! lianxhsongbl 命令发布了:
随时搜索连享会推文、Stata 资源,安装命令如下:
. ssc install lianxh
使用详情参见帮助文件 (有惊喜):
. help lianxh