加入其他控制变量后, 估计系数的符号相反了？

凡是搞计量经济的，都关注这个号了

邮箱：[e-mail]

所有计量经济圈方法论丛的do文件, 微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

今天在社群群友要求下推荐一下这个比较常见的问题，如下：

Question：

• 在一个线性回归中包括四个预测变量，即控制变量（IV1，...，IV4）

• 如果仅将IV1作为预测变量，则标准回归系数为 +.20

• 当还包括IV2、IV3、IV4时，IV1的标准回归系数的符号会变为-.25（即变为负数）。

这引起了一些问题：

• 关于术语，是否称其为“抑制效应”？

• 将使用什么策略来解释和理解这种效应？

• 在实践中，是否有此类效应的示例，如何解释和理解这些效应？

Answer 1：

多重共线性是通常的怀疑对象。基本上，如果这些变量是正相关的，则系数将是负相关的，这可能导致其中一个系数的符号错误。

一种检查是执行主成分回归（PCA regression）或岭回归（ridge regression）。这减少了回归空间的维数，从而处理了多重共线性。最终可能会得到一个有偏差的估计，但可能会降低MSE（mean squared error）和得到正确的系数符号。无论是否获得这些特定的结果，PCA和Ridge回归都是一项很好的诊断检查。如果仍然能看到符号的变化，那么从理论上讲可能会更有趣，即缔造了一个新故事。

另外，可以考虑如下情况：

相关性反转（幅度或方向）是辛普森悖论，洛德悖论和抑制效应（Suppression Effects）的例子。出现的差异本质上与变量的类型有关。理解本质的现象比根据特定“悖论”或效应进行思考更为有用。对于因果关系，下面的论文很好地解释了原因，我将详细引用它们的介绍和结论。

• 因果推断在理解辛普森悖论、洛德悖论和抑制效应中的作用：观察研究分析中的协变量选择（https://arxiv.org/abs/1503.02722）

Tu等人对三个悖论的等效性进行了分析，得出结论，当对第三个变量进行控制时，任何两个变量的相关性的变化都不足为奇。我称这种情况不足为奇，因为在条件分析中，反转或幅度变化很常见。为了避免两者中的任何一种情况，我们必须完全避免条件分析。

[...]

总而言之，尽管辛普森及其相关悖论揭示了使用统计标准指导因果分析的危险，但他们既没有对他们试图描述的现象进行解释，也没有对如何避免它们进行说明。解释和解决方案在于因果推断，该因果推断依赖于背景知识，而不是统计标准。现在是时候停止治疗被误解的体征和症状（“悖论”）了，继续从事这种疾病的处理（“因果关系”）。我们应该正确地将注意力转向使用非实验数据进行因果分析的协变量选择的常年存在的问题。

Answer 2：

我相信这类影响通常是由共线性引起的（请参阅此问题）。我认为Gelman和Hill撰写的有关多层建模的书对此进行了讨论。问题在于，IV1它与一个或多个其他预测变量相关联，并且当所有这些预测变量都包含在模型中时，它们的估计就变得不稳定。

如果系数反转是由于共线性引起的，那么报告它并不是真的很有趣，因为它不是由于预测变量与结果之间的关系，而是由于预测变量之间的关系引起的。

我已经看到建议解决此问题的方法是残差化（residualization）。首先，为拟合模型IV2 ~ IV1，然后将该模型的残差取为rIV2。如果所有变量都相关，则应该将它们全部残差化。可以选择这样做：

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

现在，用

DV ~ IV1 + rIV2 + rIV3 + rIV4

现在，rIV2的系数代表考虑了与IV1相关性后IV2的独立影响。如果按照不同的顺序进行残差化，不会获得相同的结果，并且选择残差化的顺序实际上是你研究中的一个判断。

Answer 3：

我建议从理论上讲抑制效应（抑制效应，是指—种养分对另一种养分产生的负效应。）可能很有趣，其中的多重共线性大概是解释的起点。

Answer 4：

参见辛普森悖论。简而言之，将交互作用添加到模型后，观察到的主效应可能会发生逆转。在链接的页面上，大多数示例都是分类的，但是在页面顶部有一个图，你可以将其想象成连续的。例如，如果你有一个分类的和连续的预测变量，那么如果添加了分类预测变量，则连续预测变量可以轻松翻转符号，并且在每个类别内该符号与总分数不同。

各位学人，也可以在文后进行留言讨论，从而达成学术共识。

关于回归中变量的问题

下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。

2.5年，计量经济圈近1000篇不重类计量文章，

可直接在公众号菜单栏搜索任何计量相关问题,

Econometrics Circle

数据系列：空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 |  夜间灯光 | 官员方言  | 微观数据 | 内部数据计量系列：匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 中介调节 | 时间序列 | RDD断点 | 合成控制 | 200篇合辑 | 因果识别 | 社会网络 | 空间DID数据处理：Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |干货系列：能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 | 名家经验计量经济圈组织了一个计量社群，有如下特征：热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此，建议积极进取和有强烈研习激情的中青年学者到社群交流探讨，始终坚信优秀是通过感染优秀而互相成就彼此的。