查看原文
其他

DID的陷阱和注意事项

连享会 连享会 2023-10-24

👇 连享会 · 推文导航 | www.lianxh.cn

连享会视频课 · 因果推断实用计量方法

作者:苗妙 (华南理工大学)
邮箱:miaomiao@scut.edu.cn

温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码,直达原文:

编者按:本文主要摘译自下文,特此致谢!
Source:Goodman-Bacon A, Marcus J. Using difference-in-differences to identify causal effects of COVID-19 policies[J]. 2020. -PDF-


目录

  • 1. 引言

  • 2. 马德里和利物浦的例子

  • 3. DID 的挑战

    • 3.1 打包的政策

    • 3.2 反向因果

    • 3.3 自愿预防措施

    • 3.4 预期

    • 3.5 溢出效应

    • 3.6 政策时点的变化

    • 3.7 对因变量的测量

  • 4. 对于 COVID-19 DID 设计的建议

    • 4.1 估计动态

    • 4.2 巧妙地选择控制组

    • 4.3 小心地对 DID 进行回归

    • 4.4 标注偏差的方向

    • 4.5 明确已知项

  • 5. 结论

  • 6. 相关推文



政策制定者已经实施了一系列的非药物干预措施以应对 COVID-19 的传播。不同司法辖区及不同时期政策的差异表明,DID (difference-in-difference) 的研究设计可以较好地估计抗击新冠病毒措施的因果效应。在本文中,我们讨论了 DID 设计有效性的威胁,给出了研究者如何避免估计偏误、准确地解释结果的建议,并对致力于保护公共健康、促进最终经济复苏的政策制定者提供了合理的指导。

1. 引言

为了减轻新型冠状病毒 SARS-COV-2 和它引起的疾病 COVID-19 传播,全世界的政策制定者都对其公民实施了严格的限制。限制交流虽然阻止了人与人之间的传染,但成本很高,例如欧洲大量企业倒闭,预计会使每月 GDP 减少 3% (Thomsen,2020)。因此了解哪些非药物干预措施有助于控制疫情,对于平衡公众健康和经济社会成本至关重要。

政府相关措施在实施区域和时间上的较大差异,有助于构建 DID 的研究设计,使我们可以在 COVID-19 的背景下估计因果效应。最近至少有五篇使用 DID 方法的论文表明,非药物干预可减少交互、感染或死亡 (Dave 等,2021;Fang 等,2020;Friedson 等,2020;Gupta 等,2021;Hsiang 等,2020)。

DID 的有效性依赖于处理组和控制组之间具有可比性这一假设。COVID-19 的动态变化、人们的反应方式、以及大量的政策反应使得设计可靠的 DID 研究变得更加困难。本文讨论了使用 DID 设计去评估对抗 COVID-19 措施的一些挑战,并提出解决这些挑战可能的策略。

2. 马德里和利物浦的例子

我们的讨论聚焦在一个假设分析上:封锁政策 (lockdown policy) 对马德里和利物浦 COVID-19 病例   的影响效果。封锁是指通过法律强制手段,要求居民除了重要的出行外,都要居家隔离。西班牙在 3 月 14 日实施了封锁措施,英国在 3 月 24 日实施了这一措施 (Flaxman 等,2020)。

考虑一个简单 DID 估计量。其中,马德里为处理组,利物浦为控制组,3 月 1 日至 3 月 13 日是处理前时期,3 月 14 日至 3 月 23 日是处理后时期,DID 估计模型如下:

在城市层面上对时间进行差分,消除了马德里和利物浦不随时间变动的潜在差异。在城市间进行差分,可以消除导致两地感染率相同的一些因素。为了将 解释为封锁的因果效应,我们必须假定,利物浦 COVID-19 冠状病毒的感染反映了一种反事实情况,即如果马德里没有实施封锁政策时,感染会如何改变,即共同趋势假说。

如果共同趋势不成立,那么即使没有封闭,马德里的感染也会出现与原有趋势不同的情况, 就不能被解释为封锁效应。如果共同趋势成立, 就是处理组的因果效应。

3. DID 的挑战

所有的 DID 分析都必须仔细地考虑对共同趋势假说的违背,这一情况也很有可能出现在 COVID-19 的研究背景下。同时,COVID-19 的动态变化使得 DID 研究设计面临的潜在威胁更加复杂。比如,遭受感染与记录报告之间的时间间隔,人与人之间产生的非线性传播特征,以及政策效应随时间变化的差异。

3.1 打包的政策

政府通常会实施多项政策,以降低 COVID-19 的感染。比如,马德里较早地实行了封锁政策,但是马德里和利物浦又都采取了其他措施应对 COVID-19。西班牙官方在 3 月 9 日鼓励保持社交距离,3 月 13 日学校停课,3 月 14 日禁止公共活动,所有这些都可能减少马德里的感染率 ()。

要想从马德里的综合政策中分解出封锁政策的效应,需要建立能反映马德里实施其他政策的控制组。尽管利物浦也鼓励保持社交距离,并提出了与马德里不同的政策建议,但在样本中他们是更晚实施的,并且没有关闭学校。由此,利物浦可能不会是马德里的一个好控制组。

3.2 反向因果

由于疫情恶化,各国政府已经颁布了限制措施,因此应对 COVID-19 的政策变化可能是其 COVID-19 过去自身变化的函数。3 月初,马德里的人均病例增长率高于利物浦,且感染高峰及时间也都更早。封锁后感染率下降可能反映了病毒爆发的自然动态,而不是封锁效应。因此马德里和利物浦 COVID-19 的爆发不具有可比性。

3.3 自愿预防措施

证据表明,随着疫情的增长和传播,人们会在官方政策施行前采取预防措施。比如,Google 使用者的数据表明,在政府封锁政策开始前,利物浦和马德里的公共交通使用都开始减少了。如果民众和政府对信息的反应相同,那么 DID 在估计封锁效应对感染率的影响方面,就会倾向于产生一个错误、有偏的负向关系。此外,如果更严重的感染会触发更早、更严格的政策,它们也可能引致更强的预防行为和更大的估计偏差。

3.4 预期

然而,当政府提前宣布政策时,人们的行为可能会因政策本身这一信息而改变。例如,在封锁开始之前,马德里和利物浦的人更多地去杂货市场和药店,囤积卫生纸和意大利面 (Google,2020;Oakley,2020)。如果感染结果在 3 月 14 日之前报告,马德里的病例可能在封锁后会下降 (),仅仅是因为预期提高了封锁前的感染率。

3.5 溢出效应

传染病并不会在传染到地区边界时停止,所以西班牙封锁的时机和有效性可能影响利物浦 COVID-19 的病例。比如,3 月 11 日,为了看马德里竞技和利物浦足球俱乐部的欧冠联赛,3000 个足球球迷从西班牙到利物浦进行了一次短暂的出行 (ESPN,2020),但 3 月 17 日皇家马德里和曼城足球俱乐部的一场比赛被取消。

利物浦的感染趋势如果是西班牙封锁的函数,那么就无法代表马德里没有采取封锁政策时的情况。在病毒可以传播的背景下,出行的溢出效应通常会使 DID 估计值接近于 0。封锁政策不仅影响了处理组,也影响了控制组。

3.6 政策时点的变化

如果观察期延长到 3 月 23 日以后,对这两座城市的分析就包含了利物浦的封锁。最常见的方法是在估计中加入个体和时间固定效应,并加入一个虚拟变量,如果个体 在时间 有政策施行,则该变量为 1。在此情况下,DID 估计值等于 的平均值,这一平均值与利物浦封锁效应的 DID 值类似,即把利物浦作为处理组,马德里作为控制组 (在封锁后已经实施),3 月 24 日之后作为事件后,3 月 14 日-23 日作为事件前的情况 (Goodman-Bacon,2021)。

然而,当处理组是交错的,且处理效应随时间变化时 (这两个条件在 COVID-19 背景下都是真实的),双向固定效应估计通常会是有偏的,远离了真实处理效应 (Goodman-Bacon,2019)。有偏的原因是,利物浦的 DID 估计项用 3 月 14 日之后的马德里作为了控制组。如果马德里封锁效应是一致且立即发生的,那么估算 3 月 14 日之后的结果趋势就会不同。

然而,如果封锁效应随时间推移而增长,那么 3 月 14 日之后的马德里感染率就包含了利物浦从来没有经历过的进化处理效应。马德里没有反映出在没有封锁的情况下,利物浦可能会发生什么,DID 估计就是正向有偏的。

3.7 对因变量的测量

COVID-19 的结果本质上是难以测量的,这加剧了之前的挑战。例如,病毒的潜伏期意味着报告感染数时已经滞后了几天。因此,限制接触的政策不会立即影响记录中的感染率。最后,当局对于计算 COVID-19 的感染和死亡人数也有诸多困难。

4. 对于 COVID-19 DID 设计的建议

虽然我们是用了一个具体的案例来阐述我们的观点,但它们也适用于封锁之外的其他政策。下面是我们对于如何避免估计偏差,并更加准确地解释 DID 估计结果的建议。

4.1 估计动态

研究人员应该展示 “事件研究” 的估计,即追踪政策施行前后每一天的政策效应。式 (1) 中简洁 DID 模型的一般化形式可以反映出上面的估计偏误。比如反向因果,意味着政策出台的前几天 COVID-19 的结果就应该变得更糟,这显示出处理组事前趋势性增加的事件研究估计。

另一方面,自愿预防,会在政策实施前改善处理组地区的结果。病毒的潜伏期也意味着事件研究估计结果的政策后评估可以作为对研究设计的检验。比如,政策施行后 COVID-19 报告病例和死亡人数的立即变化,就不太可能是由政策导致的。

4.2 巧妙地选择控制组

好的对照组必须与处理组在多方面相匹配。精巧的研究设计将努力聚焦于仅有 COVID-19 政策 (或者,至少是仅有的几个政策) 不同的处理组和对照组上。对于一国之内的 DID 分析,即全国所有地区均有应对新冠病毒的政策 (尽管通过出行会有溢出效应) 会对于分析有帮助。

研究人员应该尤其关注所采用的分析技术,比如倾向得分赋权重或合成控制。这些技术可以使政策前的感染水平、趋势以及影响传播因素 (如人口密度)、毒性 (比如并发症、年龄结构) 等特征达到平衡。需要注意,直接控制回归中的干扰因素可能不够,因为它 “消除” 了平均部分相关 (尽管真实偏差可能在个体和时间层面存在很大差异),并且严重限制了我们所关心政策的独立变异 (Goodman-Bacon,2021)。

4.3 小心地对 DID 进行回归

即使在共同趋势保持不变的情况下,如果处理组随时间变动,DID 回归也可能是有偏的。幸运的是,一系列可以避免这些偏差的替代性估计量已经被开发出来。比如,Callaway 和 Sant' Anna (2021) 提出,将一系列的 (倾向得分重赋权重) DID 模型进行平均, 即类似于模型 (1) 中将后处理组的个体作为早期处理组的对照组。

COVID-19 政策非常适合采用这些替代方法,这些方法的应用对于避免回归方法中固有的偏差至关重要。

4.4 标注偏差的方向

有些情况下,不可能消除所有偏差的来源,但我们可以报告偏差的方向。例如,英国的社交距离准则只可能减少 ,进而使得对马德里封锁效应的估计向 0 的方向偏移。人们可能仍然对 DID 的估计结果充满信心,因为马德里的封闭确实降低了感染。

另外,马德里学校封闭与感染的降低几乎同时发生,这使得把回归结果归因于式 (1) 中 DID 封锁政策的研究不可信。研究者在解释 DID 估计时,应该明确说明偏差潜在的来源、方向以及可能的大小。

4.5 明确已知项

COVID-19 政策在实际实施的地区与选择不实施政策的地区间有着非常不同的效果,但 DID 识别了处理地区的效应。基于政策时序的 DID 模型关注了一个地区制定政策之后和另一个地区政策之前的较小时间窗口。正如我们所讨论的,政策几乎不会对报告结果产生即时效果。

短期没有效果并不意味着政策就没有效果。研究者应该清楚地解释这些问题,同时也试图了解处理效应跨空间和时间异质性的来源。事实上,许多政策制定者可能会对公共卫生措施效应的异质性最感兴趣。

5. 结论

由于 COVID-19 的非药物干预政策不是随机的,研究者只能依靠准实验策略识别因果效应。相比于前后比较,以及中断的时间序列设计,DID 通过引入控制组的方法更有优势。此外,近年来为 DID 开发的图形和参数化工具使评估共同趋势假设成为可能。

因果估计是 COVID-19 政策制定的重要考虑因素,偏差可能会产生严重后果。如果决策者错误地认为限制没有什么效果,他们可能会过早放松政策,感染率会飙升。另一方面,如果他们错误地相信政策有很大的影响,他们可能会将封锁政策保持太久,阻碍了经济和社会复苏。

6. 相关推文

Note:产生如下推文列表的 Stata 命令为:
lianxh did, m
安装最新版 lianxh 命令:
ssc install lianxh, replace

  • 专题:倍分法DID
    • Stata:事件研究法的稳健有效估计量-did_imputation
    • DID最新进展:异质性处理条件下的双向固定效应DID估计量 (TWFEDD)
    • Stata:空间双重差分模型(Spatial DID)-xsmle
    • 如何在R语言中实现多期DID
    • 公开课:双重差分方法的新进展——交错型DID
    • Stata:平行趋势不满足?主成分DID来帮你!- pcdid
    • Stata:DID入门教程
    • 倍分法:交错DID与Stata操作
    • Stata倍分法新趋势:did2s-两阶段双重差分模型
    • Stata倍分法:全国一刀切的DID
    • Stata-DID:不同处理时点不同持久期的倍分法(flexpaneldid)
    • 队列DID:以知识青年“上山下乡”为例-T401
    • DID功效计算中的序列相关问题-T407
    • 多期DID文献解读:含铅汽油与死亡率和社会成本-L113
    • DID陷阱解析-L111
    • DIDM:多期多个体倍分法-did_multiplegt
    • 面板PSM+DID如何做匹配?
    • 倍分法:DID是否需要随机分组?
    • Fuzzy DID:模糊倍分法
    • DID:仅有几个实验组样本的倍分法 (双重差分)
    • 考虑溢出效应的倍分法:spillover-robust DID
    • tfdiff:多期DID的估计及图示
    • 倍分法DID:一组参考文献
    • Stata:双重差分的固定效应模型-(DID)
    • 倍分法(DID)的标准误:不能忽略空间相关性
    • 多期DID之安慰剂检验、平行趋势检验
    • DID边际分析:让政策评价结果更加丰满
    • Big Bad Banks:多期 DID 经典论文介绍
    • 多期DID:平行趋势检验图示
    • Stata:多期倍分法 (DID) 详解及其图示
    • 倍分法DID详解 (二):多时点 DID (渐进DID)
    • 倍分法DID详解 (一):传统 DID
    • 倍分法DID详解 (三):多时点 DID (渐进DID) 的进一步分析

课程推荐:因果推断实用计量方法
主讲老师:邱嘉平教授
🍓 课程主页https://gitee.com/lianxh/YGqjp

New! Stata 搜索神器:lianxhsongbl  GIF 动图介绍
搜: 推文、数据分享、期刊论文、重现代码 ……
👉 安装:
. ssc install lianxh
. ssc install songbl
👉  使用:
. lianxh DID 倍分法
. songbl all

🍏 关于我们

  • 连享会 ( www.lianxh.cn,推文列表) 由中山大学连玉君老师团队创办,定期分享实证分析经验。
  • 直通车: 👉【百度一下: 连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存