再谈合成控制法SCM, 帮你寻找因果推断控制组
可有偿投稿计量经济圈,计量相关则可
邮箱:econometrics666@sina.cn
所有计量经济圈方法论丛的do文件, 微观数据库和各种软件都放在社群里.欢迎到以寻找因果关系为宗旨的因果推断研究小组交流访问.计量社群徐 Chang群友推荐.
今天,我们“因果推断研究小组”将为计量经济圈的圈友们进一步引荐“合成控制法”。关于该方法的一些基础性知识和实证中的操作,圈友们可以看看之前的文章合成控制法什么鬼? 因果推断的前沿方法指南。下面这篇文章讲述的技术细节要多一些,而且还列举了更多的实证文章来让圈友们理解该方法。
经济学家为何热衷反事实
经济学家常要评估某政策或事件的效应。此政策可能实施于某国家或地区(省、州或城市)。最简单(天真)的方法是考察政策实施前后的时间序列,看所关心的结果(outcome of interest)如何变化。但此结果还可能受其原有变化趋势的影响,或其他同时发生的混淆性事件(confounder)的作用。
为此,常使用“鲁宾的反事实框架”(Rubin's counterfactual framework),即假想该地区如未受政策干预将会怎样,并与事实上受到干预的实际数据进行对比,二者之差即为“处理效应”(treatment effect,借用医学术语)。困难之处在于,我们无法观测到“该地区如未受政策干预将会怎样”(反事实)。
选择控制组是门艺术
常用解决方法是,寻找适当的控制组(control group),即在各方面都与受干预地区相似却未受干预的其他地区,以作为处理组(treated group,即受到干预的地区)的反事实替身(counterfactuals)。但通常不易找到最理想的控制地区(control region),在各方面都接近于处理地区(treated region)。
比如,要考察仅在北京实施的某政策效果,自然会想到以上海作为控制地区;但上海毕竟与北京不完全相同。或可用其他一线城市(上海、广州、深圳)构成北京的控制组,比较上海、广州、深圳与北京在政策实施前后的差别,此方法也称“比较案例研究”(comparative case studies)。但如何选择控制组通常存在主观随意性(ambiguity),而上海、广州、深圳与北京的相似度也不尽相同。
为此,Abadie and Gardeazabal (2003)提出“合成控制法”(Synthetic Control Method)。其基本思想是,虽然无法找到北京的最佳控制地区,但通常可对中国的若干大城市进行适当的线性组合,以构造一个更为优秀的“合成控制地区”(synthetic control region),并将“真实北京”与“合成北京”进行对比,故名“合成控制法”。合成控制法的一大优势是,可以根据数据(data-driven)来选择线性组合的最优权重,避免了研究者主观选择控制组的随意性。
西班牙恐怖活动引发的计量方法
Abadie and Gardeazabal (2003)的初衷是以合成控制法研究西班牙巴斯克地区(Basque country)恐怖活动的经济成本。MIT经济系教授 Alberto Abadie(此前长期任教于哈佛大学肯尼迪学院),正是来自于巴斯克地区,一个毗邻法国的西班牙自治地区。
巴斯克人长期居住于巴斯克地区,拥有独特的语言与文化,在历史上多次成功对抗强敌入侵。在1970年代初,巴斯克地区的人均GDP在西班牙17个地区中排第三。之后,由于民族独立的诉求未获满足,从1975年开始,巴斯克地区陷入有组织的恐怖活动之中。恐怖活动重创巴斯克经济,至1990年代末,巴斯克地区的人均GDP在西班牙排名降为第六。
然而,70年代末至80年代初,西班牙整体经济也下行,故不易区分恐怖活动的单独效应。而且,巴斯克地区在恐怖活动之前的经济增长潜力显然与西班牙其他地区也不尽相同。
为此,Abadie and Gardeazabal (2003)使用西班牙其他地区的线性组合来构造合成的控制地区,并使得合成控制地区的经济特征与60年代末恐怖活动爆发前的巴斯克地区尽可能相似,然后把此后“合成巴斯克地区”(synthetic Basques country)的人均GDP演化与“真实巴斯克地区”(actual Basque country)进行对比。
如何构造合成控制
具体而言,假设共有(1+J )个地区,其中第1个地区为受到恐怖活动冲击的巴斯克地区,而其余J个西班牙地区未受冲击(在此J = 16),构成潜在的控制组,称为“donor pool”(原意为“器官捐献库”,再次借用医学术语)。一个潜在假定是,恐怖活动仅影响巴斯克地区,而未波及西班牙的其他地区(事实上恐怖活动也主要集中于巴斯克地区)。
将合成控制地区的权重记为以下J 维列向量:
其中,w2 表示第2个地区在合成巴斯克地区所占的权重,以此类推;所有权重皆非负,且权重之和为1。w 的不同取值即构成不同的合成控制地区,简称“合成控制”(synthetic control)。
在此研究中,被解释变量为人均GDP,记为 y 。影响 y 的解释变量或预测变量(predictors)包括投资率、人口密度、产业结构、人力资本等,详见下表。
在巴斯克地区爆发恐怖活动之前,记其各预测变量的平均值为向量 x1 (K × 1 维列向量,下标1表示“treated region”),即上表第(1)列的数值(除了人均GDP)。
将西班牙其他地区相应预测变量的平均值记为矩阵 X0(K × J 维矩阵,下标0表示“control region”),其中第 j 列为第 j 个地区的相应取值。
显然,我们希望选择权重 w,使得 X0w 尽可能地接近于 x1,即经过加权之后,合成控制地区的经济特征应尽量接近处理地区。为度量此距离,可使用二次型(类似于欧几里得空间中两点之间的距离)。由于 x1 中的每个预测变量对于 y 的预测能力有大小之别,应在距离函数中享有不同的权重,故考虑以下有约束的最小化问题:
其中,V 为 ( K × K ) 维对角矩阵,其对角线元素均为非负权重,反映相应的预测变量对于人均GDP的相对重要性。此最小化问题的目标函数是二次函数,为“二次规划”(quadratic programming)问题,一般进行数值求解。记此约束最小化问题的最优解为 w*(V);显然,它依赖于对角矩阵 V。
进一步,选择最优的 V,使得在恐怖活动全面爆发之前,合成巴斯克地区的人均GDP与真实巴斯克地区尽量接近。具体而言,记 z1 为 (10 × 1) 维列向量,包含巴斯克地区在1960-1969年间的人均GDP;记 Z0为 (10 × J ) 维矩阵,其中每列为相应控制地区在1960-1969年间的人均GDP。
用 Z0w*(V) 来预测 z1,然后选择V,以最小化“均方预测误差”(Mean Squared Prediction Error,简记MSPE),即将每期的预测误差平方后再求各期的平均:
求解此最小化问题,可得构成合成巴斯克地区的最优权重,w* = w*(V*)。经过计算,Abadie and Gardeazabal (2003)发现,只有两个地区的权重为正,即加泰罗尼亚(Catalonia,权重0.8508)与马德里(Madrid,权重0.1492),而其他地区的权重均为0。直观上,Catalonia与Madrid的经济特征也与巴斯克地区最为相似。
合成控制法的“效果图
得到合成巴斯克地区的权重之后,即可计算其人均GDP在样本期间的演化过程。记巴斯克地区在样本期间(假设为 T 期)的人均GDP为向量 y1(T × 1 维列向量)。记其他地区在样本期间的人均GDP为矩阵 Y0(T × J 维矩阵),其中每列为相应地区的人均GDP。由此可得合成巴斯克地区的人均GDP序列 y1* = Y0 w*。最直观的方法是将 y1 与合成控制的 y1* 画时间趋势图,参见下图。
从上图可知,在1975年大规模恐怖活动爆发之前,真实巴斯克(实线)与合成巴斯克(虚线)的人均GDP十分接近。二者在1975年后即开始分岔;而在1980与1990年代,真实巴斯克的人均GDP比合成巴斯克低约10%。换言之,巴斯克恐怖活动的经济成本是损失了约10%的人均GDP。
反事实的分析框架
假设共有 (1+J )个地区,其中第1个地区受到政策干预(如有多个地区受到干预,可合并为一个大地区;或分别进行估计),而其余 J 个地区未受冲击(构成donor pool )。
记 yit 为地区 i 在第 t 期实际观测到的结果变量,其中 i = 1, ... , J + 1,而 t = 1, ... , T 。记 yitN 为地区 i 在第 t 期如果未受政策干预的结果变量(上标 N 表示未受干预)。
记 T0 为政策干预开始之前(preintervention)的时期数,且 1 ≤ T0 < T。记yitI 为地区 i 在第 t 期的结果变量(上标 I 表示Intervention),如果地区 i 在第 (T0 +1) 至第 T 期持续地受到政策干预。假设政策在前 T0 期对于结果变量没有影响,即对于所有 i 与 t ≤ T0,都有 yit = yitN = yitI 。
如果政策在实施之前即产生影响(比如,通过预期效应),则可重新定义 T0 为政策实际开始产生影响之前的那个时期。一个潜在假定是各地区之间不会互相影响(no interference between units);特别地,控制地区的结果变量不受处理地区政策冲击的影响。我们关心当 i= 1 而 t >T0 时的处理效应:
在上式中,只要估计 y1tN 即可。
引入因子模型
假设 yitN 由以下“因子模型”(factor model )所决定:
其中,上式右边第(1)项δt 为时间固定效应 (time fixed effects)。
第(2)项的 zi 为可观测的向量(不受政策干预影响,也不随时间而变;比如,干预之前的预测变量之平均值)。zi 对于 yitN 的作用随时间而变,故 zi 的系数θt (未知参数)带时间下标 t 。
第(3)项为不可观测的 “互动固定效应”(Interactive Fixed Effects),即个体固定效应 ui 与时间固定效应 λt 的乘积(Bai, 2009)。第(4)项ԑit 为随机扰动项。
根据“因子分析”(factor analysis)的术语,称第(3)项中不可观测的λt 为“共同因子”(common factors),可理解为不同地区所面临的共同冲击(common shocks),比如它有两个分量,分别表示技术冲击(technological shocks)与金融危机(financial crises);而各地区对于共同冲击λt 的反应并不相同,以 ui 来表示,称为“因子载荷”(factor loading)。
如果λt 是一维且为常数,则上式简化为“双向固定效应模型”(two-way fixed effects model),包含个体固定效应 ui 与时间固定效应δt 。由此可知,上式是双向固定效应模型的推广,它允许不同个体对于共同冲击的异质性反应(heterogeneous impacts)。
合成控制的误差
记构造合成控制的权重向量为:
其中,w2 表示第2个地区在合成控制所占的权重,以此类推;所有权重皆为非负,且权重之和为1。对于任意给定的 w,可将合成控制地区的结果变量写为:
将 y1tN 减去上式可得:
显然,如果能找到 w,使得上式右边的(1)式与(2)式均为0,则上式的期望为0,故合成控制为 y1tN 的无偏估计。但(2)式中的 ui 不可观测,故不可行。
Abadie et al. (2010)证明,如果能找到 w 使得
则也会有
即根据可观测的经济特征与干预前结果变量所选择的合成控制 w,也会使得合成控制的不可观测特征接近于处理地区。反之,如果无法找到 w,使得合成控制能很好地复制(reproduce)处理地区的经济特征以及干预之前的结果变量,则不建议使用合成控制法。
合成控制法的基本性质
如果合成控制 w* 能很好地复制处理地区的经济特征与干预前的结果变量(关于如何计算 w*,参见首篇《合成控制法(一)》),则可定义如下合成控制估计量(Synthetic Control Estimator):
Abadie et al. (2010)证明,在一定的正则条件下,如果合成控制 w* 能完全地复制(perfectly reproduce)处理地区的经济特征与干预前的结果变量,则当干预前期数 T0 趋向无穷大时,合成控制估计量是渐近无偏(asymptotically unbiased)。
反之,如果合成控制 w* 只是不完全地复制(imperfectly reproduce)处理地区的经济特征与干预前的结果变量(更为常见的情形),则合成控制估计量将是渐近有偏的。此偏差被称为“内插偏差”(interpolation bias),因为使用内插法构造的合成控制并不是处理地区的完美的反事实替身。因此,在使用合成控制法时,一个重要的模型设定检验就是,考察合成控制的经济特征与干预前的结果变量是否与处理地区足够接近。
加州控烟法有效吗?这一部分可以参看合成控制法什么鬼? 因果推断的前沿方法指南
Abadie et al. (2010)随之将合成控制法应用于研究美国加州1988年第99号控烟法(Proposition 99)的效果。1988年11月美国加州通过了当代美国最大规模的控烟法(anti-tobacco legislation),并于1989年1月开始生效。
该法将加州的香烟消费税(cigarette excise tax)提高了每包25美分,将所得收入专项用于控烟的教育与媒体宣传,并引发了一系列关于室内清洁空气的地方立法(local clean indoor-air ordinances),比如在餐馆、封闭工作场所等禁烟。
面板数据集
Abadie et al. (2010)使用的数据为美国1970-2000年的州际面板数据。由于Massachusetts,Arizona, Oregon与Florida的州政府在1989-2000期间也引入了正式的控烟立法,无法作为控制地区,故将此四州从donor pool中去掉。我们最终得到的结论:加州的禁烟法案确实抑制了加州人均香烟消费量。
合成控制法的稳健性检验
为了检验上述合成控制估计结果的稳健性(参见《合成控制法(二)》),Abadie et al. (2010)加入了更多的预测变量,比如失业率、收入不平等、贫困率、福利转移、犯罪率、毒品相关的逮捕率、香烟税、人口密度等;发现结果依然稳健。
另外一个担心是,地区之间无互相影响(no interference between units)的假定可能不满足,比如加州的反烟运动可能波及其他州,烟草行业或将其他州的香烟广告预算投入到加州,甚至从其他州走私便宜香烟到加州。Abadie et al. (2010)根据史实对此进行了探讨,认为这些效应均不大,至少不可能导致上文图中如此大的处理效应。
安慰剂检验
上述结果为对控烟法处理效应的点估计。此点估计是否在统计上显著(statistically significant)?Abadie et al. (2010)认为,在比较案例研究中,由于潜在的控制地区数目通常并不多,故不适合使用大样本理论进行统计推断。
为此,Abadie et al. (2010)提出使用“安慰剂检验”(placebo test)来进行统计检验,这种方法类似于统计学中的“排列检验”(permutation test),适用于任何样本容量。
“安慰剂”(placebo)一词来自医学上的随机实验,比如要检验某种新药的疗效。此时,可将参加实验的人群随机分为两组,其中一组为实验组,服用真药;而另一组为控制组,服用安慰剂(比如,无用的糖丸),并且不让参与者知道自己服用的究竟是真药还是安慰剂,以避免由于主观心理作用而影响实验效果,称为“安慰剂效应”(placebo effect)。
安慰剂检验借用了安慰剂的思想。具体到加州控烟法的案例,我们想知道,使用上述合成控制法所估计的控烟效应,是否完全由偶然因素所驱动?换言之,如果从donor pool随机抽取一个州(而不是加州)进行合成控制估计,能否得到类似的效应?
为此,Abadie et al. (2010)进行了一系列的安慰剂检验,依次将donor pool中的每个州作为假想的处理地区(假设也在1988年通过控烟法),而将加州作为控制地区对待,然后使用合成控制法估计其“控烟效应”,也称为“安慰剂效应”。通过这一系列的安慰剂检验,即可得到安慰剂效应的分布,并将加州的处理效应与之对比。
在此有个技术细节,即在对某个州进行安慰剂检验时,如果在“干预之前”其合成控制的拟合效果很差(均方预测误差MSPE很大),则有可能出现在“干预之后”的“效应”波动也很大,故结果不可信。类似地,如果合成加州在干预前对于加州的拟合很差,则我们也不会相信干预之后的合成控制估计结果。其中,干预之前的MSPE可写为(以加州为例):
类似地,可以写出干预之后的MSPE,只是预测误差平方的平均区间不同。
为此,Abadie et al. (2010)仅保留了干预前MSPE不超过加州干预前MSPE两倍的19个州,并将此19个州的安慰剂检验结果画成下图。
在上图中,黑线表示加州的处理效应(即加州与合成加州的人均香烟消费之差),而灰线表示其他19个控制州的安慰剂效应(即这些州与其相应合成州的人均香烟消费之差)。显然,与其他州的安慰剂效应相比,加州的(负)处理效应显得特别大。假如加州的控烟法并无任何效应,则在这20个州中,碰巧看到加州的处理效应最大的概率仅为1/20 = 0.05,而这正好是常用的显著性水平。
安慰剂检验的另一方式是直接将每个州“干预后的MSPE”与“干预前的MSPE”相比,即计算二者的比值。其基本逻辑如下。对于处理地区加州而言,如果控烟法有效果,则合成控制将无法很好地预测真实加州干预后的结果变量,导致较大的干预后MSPE。然而,如果在干预之前,合成加州就无法很好地预测真实加州的结果变量(较大的干预前MSPE),这也会导致干预后MSPE增大,故取二者的比值以控制前者的影响。如果加州控烟法确实有较大的处理效应,而其他州的安慰剂效应都很小,则应该观测到加州的“干预后MSPE”与“干预前MSPE”之比值明显高于其他各州,而这为下图所证实。
从上图可知,加州的干预后MSPE是干预前MSPE的大约130倍,高于所有其他38个州。如果加州控烟法完全无效,而由于偶然因素使得此比值在所有39州中最大的概率仅为1/39 = 0.026。
合成控制法与回归法的对比
合成控制法并不使用任何回归,它与传统的双重差分法(固定效应模型)有何区别呢?
首先,根据Abadie et al. (2010)的因子模型(factor model),合成控制法对双向固定效应模型作了推广。具体来说,双重差分法仅允许个体固定效应 ui 与个体时间效应λt 以相加(additive)的形式存在,隐含假设所有个体的时间趋势λt 都相同(parallel trend assumption);而合成控制法的因子模型,则允许“互动固定效应”(interactive fixed effects)λt′ui ,即可以存在多维的共同冲击(common shocks)λt ,而每位个体对于共同冲击的反应 ui (factor loading)可以不同,故允许不同个体有不同的时间趋势。
其次,Abadie et al. (2015)指出,回归法也可以视为对控制地区作了线性组合,且权重之和也为1;而不同之处在于,合成控制法的权重必须非负,但回归法的权重可能出现负值,即出现过分外推(extrapolation)而离开了样本数据的取值范围(support of the data)。比如,在跨国研究中,将很不相同的国家放在一起进行回归,就可能出现过分外推,而导致“外推偏差”(extrapolation bias)。由于合成控制法的权重必须非负,故避免了过分外推。
使用合成控制法的注意事项
Abadie et al. (2015)进一步探讨了使用合成控制法的前提与局限性。在构建潜在控制地区(donor pool)时尤其应小心。首先,也受到此政策影响的地区应从donor pool中去掉。其次,在样本期间受到很大特殊冲击(idiosyncratic shocks)的地区应排除在donor pool之外。最后,为了避免“内插偏差”(interpolation bias),应将donor pool限定为与处理地区具有相似特征的控制地区。
在应用合成控制法时,还要求干预前的期数 T0 达到一定规模(sizable number of preintervention periods)。这是因为,合成控制法的可信度取决于,合成控制能在干预前的相当一段时期内很好地追踪处理地区的经济特征与结果变量。如果干预前的拟合不好,或干预前期数太短,则不建议使用合成控制法。
另外,如果政策冲击的效应需要一段时间才会显现(滞后效应),则也要求干预后的期数足够大。
案例:德国统一的增长效应
作为应用,Abadie et al. (2015)将合成控制法用于研究1990年德国统一对于西德(West Germany)的人均GDP的影响。所用数据为1960-2003年的跨国面板数据。处理地区为西德,而donor pool包括16个OECD国家。
拆除分割西德与东德的柏林墙
最初考虑的控制地区为23个OECD国家。但由于卢森堡与冰岛均为小国且经济特殊,故去掉。土耳其也被去掉,因为它在1990年的人均GDP远低于样本中的其他国家。另外,由于加拿大、芬兰、瑞典与爱尔兰的经济在样本期间遭受了巨大的结构冲击,故也去掉。合成控制法的估计结果参见下图。
从上图可知,在1990年德国统一之前,合成西德的人均GDP走势与西德十分接近。在1990年之后的最初两年,德国统一也没有什么效应(西德的人均GDP甚至略高于合成西德),这或许是由于德国统一之初,国内市场变大所带来的需求繁荣(demand boom)。但从1992年开始,二者即开始分岔,西德的人均GDP越来越低于合成西德(东德的拖累效应开始显现);至2003年,前者已比后者低约12%。
基于时间的安慰剂检验
Abadie et al. (2015)还考虑了基于时间的安慰剂检验(in-time placebo test)。具体来说,假想将德国统一时间前移至1975年(干预之前的中间年份),然后重新用合成控制法进行估计,结果参见下图。
上图显示,无论在干预之前或以后,合成西德的人均GDP都与西德十分相似。这表明,假想的1975年德国统一并没有任何效应。
合成控制法的应用前景
合成控制法虽然仅提出十多年,但近来其应用日益广泛。比如,Billmeier and Nannicini (2013)使用跨国数据研究经济自由化(economicliberalization)的增长效应。Bohn et al. (2014) 研究美国亚利桑那州“合法亚利桑那工人法”(Legal Arizona Workers Act)对该州非法移民的影响。王贤彬、聂海峰(2010)研究行政区划调整(重庆从四川独立出来)的经济效应。刘甲炎、范子英(2013)研究重庆房产税试点对房价的作用。苏治、胡迪(2015)使用跨国数据研究通货膨胀目标制(inflation targeting)对通胀率的影响。相信在未来,合成控制法的理论与应用都将不断发展。
可以到计量经济圈社群进一步访问交流各种学术问题,这年头,我们不能强调一个人的英雄主义,需要多多汲取他人的经验教训来让自己少走弯路。
计量经济圈推荐
1.PSM-DID, DID, RDD, Stata程序百科全书式的宝典
2.RDD断点回归, Stata程序百科全书式的宝典
3.Generalized分位数回归, 新的前沿因果推断方法
4.Heckman模型out了,内生转换模型掌控大局
5.PSM倾向匹配Stata操作详细步骤和代码,干货
6.条件Logit绝对不输多项Logit,而混合模型最给力
7.广义PSM,连续政策变量因果识别的不二利器
8.自回归VAR模型操作指南针,为微观面板VAR铺基石
9.有限混合模型FMM,异质性分组分析的新筹码
10.政策评估中"中介效应"因果分析, 有趣的前沿方法
11.多期三重差分法和双重差分法的操作指南
12.多期双重差分法,政策实施时间不同的处理方法
13.随机前沿分析和包络数据分析 SFA,DEA 及操作
14.你的内生性解决方式out, ERM已一统天下而独领风骚
15.多期DID的经典文献big bad banks数据和do文件
16.面板数据里处理多重高维固定效应的神器
17.双栏模型Hurdle远超Tobit, 对于归并数据舍我其谁
18.面板数据计量方法全局脉络和程序使用指南篇
计量经济圈当前有几个阵地,他们分别是如下4个matrix:
①计量经济圈社群——计量经管数据软件等资料中心,
②计量经济圈微信群——服务于计量经济圈社群群友,
③计量经济圈研究小组系列——因果推断研究小组、空间计量研究小组、面板数据库研究小组、微观计量研究小组、计量软件研究小组,
④计量经济圈QQ群——2000人大群服务于计量经济圈社群群友。
计量经济圈是中国计量第一大社区,我们致力于推动中国计量理论和实证技能的提升,圈子以海内外高校研究生和教师为主。计量经济圈六多精神:计量资料多,社会科学数据多,科研牛人多,名校人物多,热情互助多,前沿趋势多。如果你热爱计量并希望长见识,那欢迎你加入到咱们这个大家庭(戳这里),要不然你只能去其他那些Open access圈子了。注意:进去之后一定要看小鹅社群“群公告”,不然接收不了群息,也不知道怎么进入咱们独一无二的微信群和QQ群。
进去之后就能够看见这个群公告了