天下回归, 无内生性不破, 唯此神文不破, 练就内生性处理的终极大法！

Original 计量经济圈计量经济圈 2022-05-11

收录于合集

#计量圈前沿 114 个

#计量圈内生性 11 个

凡是搞计量经济的，都关注这个号了

邮箱：econometrics666@126.com

所有计量经济圈方法论丛的do文件, 微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

“各领域顶级外文期刊”菜单栏使用指南, 最新文章和目录浏览！

正文

关于下方文字内容，作者：孙沁竹，复旦大学经济学院，通信邮箱：qzsun_fdu@163.com

作者之前的文章：为啥北方孩子普遍更胖? 空气污染惹的祸还是背的锅？

Hill, A. D., Johnson, S. G., Greco, L. M., O’Boyle, E. H., & Walter, S. L. (2020). Endogeneity: A review and agenda for the methodology-practice divide affecting micro and macro research. Journal of Management, 0149206320960533.
Abstract: An expanding number of methodological resources, reviews, and commentaries both highlight endogeneity as a threat to causal claims in management research and note that practices for addressing endogeneity in empirical work frequently diverge from the recommendations of the methodological literature. We aim to bridge this divergence, helping both macro and micro researchers understand fundamental endogeneity concepts by: (1) defining a typology of four distinct causes of endogeneity, (2) summarizing endogeneity causes and methods used in management research, (3) organizing the expansive methodological literature by matching the various methods to address endogeneity to the appropriate resources, and (4) setting an agenda for future scholarship by recommending practices for researchers and gatekeepers about identifying, discussing, and reporting evidence related to endogeneity. The resulting review builds literacy about endogeneity and ways to address it so that scholars and reviewers can better produce and evaluate research. It also facilitates communication about the topic so that both micro- and macro-oriented researchers can understand, evaluate, and implement methods across disciplines.

摘要：在管理学研究中，越来越多的方法论文献、综述与评论性文章视内生性为一大威胁，而实证研究中采用的内生性处理方法往往与方法论文献中提出的建议相悖。本文试图通过以下方式消除这一隔阂：本文首先定义内生性的4种成因，总结归纳管理学实证研究中出现的内生性成因与解决方案，将恰当的内生性处理手段与方法论文献匹配整理，并对投稿审稿双方给出有关内生性的识别、讨论与结果汇报的建议。本文介绍了内生性及其解决方案，帮助学者更好的进行研究创作与质量评估。本文也促进了宏微观的不同研究者之间对内生性问题的沟通共识。

内生性指的是解释变量与残差项相关，导致估计偏误，而偏误的方向往往难以判别。正因如此，内生性给因果推断与建模造成了很大挑战。近年来的管理学文献越来越多地讨论并试图解决这一问题，但学者们往往声称内生性不影响研究的基本结论。然而，当我们考察已有研究对内生性的具体处理时，常常发现：不同学者在内生性的处理上分歧很大，并且常常与计量方法论文献对内生性处理的讨论有所出入。本文以下将首先介绍内生性及其4种成因，梳理已有实证研究对内生性的讨论情况；接下来，本文会回到计量方法论文本，整理不同内生性成因对应的正确处理方式，并提供有关内生性识别、讨论、结果汇报等方面的建议。

1.The Problem of Endogeneity and Why It Matters

研究者往往关心因果关联，而识别因果最干净的方法莫过于随机试验，通过对解释变量x的随机指派，可以使得随机试验的效果不受遗漏变量的影响，从而杜绝内生性。然而，随机试验不一定合意或可行，因此研究者也经常采用档案数据、准实验数据、调查数据作为替代。分析这类数据的难点在于：若要确保估计系数反映真实的因果效应，需要满足一定前提假设。本文讨论的是外生性的假定，即残差与解释变量不相关。Wooldridge认为：理解残差项在本质上是理论问题，因为残差项是由解释变量未捕捉到的信息构成的。也正因如此，对内生性的识别处理一定要结合具体研究背景。本文参考Wooldridge(2010)，将内生性成因归纳为四类：遗漏变量，互为因果，测量误差，选择偏误。

2.How Scholars Discuss Endogeneity

本文梳理了管理学实证文献中对内生性的处理方式。本研究首先以内生性为关键词，对2014-2018年间管理学顶刊中的实证文献做了归纳（如Academy of Management Journal, Administrative Science Quarterly, Journal of Management, Journal of Applied Psychology, Strategic Management Journal等），收集了涉及内生性讨论的所有文献共435篇。

本文发现，实证文献往往会主动指出内生性的存在，但总是声称内生性已得到解决或不影响结果。在提及内生性的文献中，有58.2%提供了解决方法，30.1%使用了稳健性检验，其中只有1.5%文献在处理内生性后结果与基准回归不同。延长文献整理范围、拓宽关键词识别范围等稳健性操作也没能改变上述现象。

相较于实证文献在内生性处理方法上有意无意的滥用，评论性文章则对这一趋势进行了批评。本文发现，在210篇使用工具变量的文献中，有150篇进行了解释，但大多数并未指出内生性具体来源与工具变量的合理性。内生性处理方法的滥用会导致学者在解决内生性时有意选取不影响基准结果的处理方法，从而在研究发表上形成“内生性不影响结果”的不良趋势。

为了进一步探究学者如何解释内生性成因，本文根据此前的分类（遗漏变量，互为因果，测量误差，选择偏误）对收集的文献进行归纳。从结果看，提及次数最多的内生性成因讨论是选择偏误，占到文献量的32.1%；第二多的为“仅笼统讨论内生性”，占到了24.8%。

有几点需要着重指出。首先，近几年的很多文献把内生性的讨论单独放到附录里，本文认为：解决内生性是研究中的重要部分，不应排除在正文以外。其次，很多文献通过参考引用前人研究，以证明自己处理内生性方法得当。但这一方面会导致我们难以确定内生性处理方法得当的文章比例，另一方面也会导致前人研究在方法论上的潜在错误不断重复放大。而本文通过回顾有关内生性处理方法的计量方法论文献，发现管理学顶刊上相关理论资料其实不少，但学者往往热衷于引用前人实证研究，却不追根溯源参考最原初的计量理论。因此，本文以下将回顾计量理论文本，为学者提供方法论上的建议参考。

3.Endogeneity: Causes and Associated Solutions in the Literature

管理学中的内生性问题发端于企业研究层面，这是因为企业行为不可避免地由内生决定，而内生性的探究随后也拓展到微观领域。本文发现，管理学文献对内生性的讨论在术语与定义上不够统一规范，不同研究领域的解决方式与关注重点也不一致。本文发现，很多文献仅笼统表述内生性，却未具体说明内生性来源，这容易导致内生性处理方法的误用。本文根据内生性成因的分类，归纳整理了适当的内生性处理方式。

3.1 Cause 1: Omitted Variable Endogeneity

遗漏变量内生性指的是：遗漏变量进入残差，导致残差项与解释变量相关。但从实际研究来看，现实中的遗漏变量本来就是数不尽的，不可能彻底包含，何况有些遗漏变量无法度量（如能力因素），因此遗漏变量问题极为普遍。以下介绍可供参考的解决方案。

3.1.1 Solution 1: Design

通过随机指定参与者进入处理组或试验组，可以保证遗漏变量在处理组与试验组分布一致，从而避免内生性问题。而对于不可观测的遗漏变量（如能力），首先需要确定最重要的遗漏变量，并通过研究设计降低不可观测遗漏变量在控制组与试验组中的差异。

3.1.2 Solution 2: Control and proxy variables

如果控制变量能完美度量遗漏变量，那就可以解决内生性；但如果找不到恰当的控制变量，也可以为遗漏变量找代理变量。从本质上看，代理变量就是存在测量误差的遗漏变量，因此这又形成了新的问题：即要同时保证代理变量本身和由此产生的测量误差不会带来新的内生性。

是放任不管遗漏变量，还是用代理变量控制？这取决于代理变量与遗漏变量的吻合度，这自然又是一个主观问题。Frank(2000)与Pan and Frank(2003)构建了一种判断方法，可以估计出遗漏变量造成的偏误程度是否改变统计推断，称为混淆变量的影响阈值(Impact threshold of a confounding variable, ITCV)。ITCV有助于理解遗漏变量问题在研究中是否严重，也可当作判定控制变量多寡的原则性手段。但需要注意的是，ITCV改变了研究的重点，将研究的目光聚焦于统计推断的显著性，而不再关注估计量的无偏性。

3.1.3 Solution 3: Fixed effects

对于面板数据，可以用固定效应控制住个体异质性，即误差项中不随时间变化的部分。显然，个人能力这一不随时间变动的遗漏变量可以通过固定效应的方式控制住。但需要注意：固定效应不能根除随时间变动的内生性因素；另外，固定效应只能估计组内效应，不能估计组间效应。为此，Bliese et al.(2020)提出：控制住组内均值的随机效应模型可以代替固定效应模型，并可以同时得到组内效应和组间效应的无偏估计。

3.1.4 Solution 4: Instrumental variables

工具变量z需要同时满足外生性与相关性的假设，与y外生，与x相关。但从实际研究看，外生性的假设无法直接证明，需要研究背景的理论支撑；而与x的相关性必须是强相关，弱工具变量会造成更大的偏误。工具变量的选取可以参考这两种思路：找内生变量中外生随机的部分，或使用内生变量的滞后项。但这些仍然都需要研究背景支撑，不能一概而论。

近年来的一些新方法指出，在联立方程模型的框架内，我们可以找到模型中隐含的工具变量(model-implied instrumental variable, MIIV)，从而无需额外寻找新的外生工具变量。然而，这意味着更强的模型假定。因此MIIV只能在特定研究中发挥作用。

3.2 Cause 2: Simultaneity

反向因果指的是y作用于x，在这种情形下添加控制变量与代理变量不能解决问题，而工具变量法仍然有效。而对于面板数据，当我们控制住结果变量的滞后项，内生性的问题也可以得到缓解。如果x与y并不在同期互相影响（如：影响，影响），跨期的反向因果会导致违反残差相互独立的回归假定，出现序列相关，较难处理。反向因果的解决方案如下。

3.2.1 Solution 1: Design

随机试验通过人为操纵解释变量x创造出外生环境，而准实验的设计则是寻找外生冲击模拟随机试验。考虑到外生冲击往往不完全外生，因此需要使用计量方法做因果推断。如果观测数据不存在序列自相关，那么使用面板数据可以缓解反向因果问题，但需要首先对序列自相关进行检验。

3.2.2 Solution 2: Instrumental variables

在互为因果的内生性问题中，使用工具变量的方法与遗漏变量下的思路一样，即对每个内生变量选取至少一个工具变量。但仍值得注意的是，工具变量的选取必须结合理论背景与统计检验。

3.3 Cause 3: Measurement Error Endogeneity

实证文献很少视测量误差为内生性来源，这可能是由于绝大多数的计量模型只有当测量误差不存在时才是合意的。如果已知测量误差的起因，那么这一问题本质上就转化成遗漏变量问题。测量误差内生性的解决方案如下。

3.3.1 Solution 1: Design

利用实验设计解决测量误差的要点在于使用没有系统性偏误的测量方式。无论收集的是原始数据或档案数据，主体思路都是：使用有效的测量工具或调查设计手段去降低测量误差。而档案数据的好处是：可用的度量手段多样，所以只要多种度量手段得到的结果一致，就可以认为结果不存在误差。但仍需要注意，实验设计并不总能根除测量误差的内生性，我们还是要回到研究背景去思考残差项与解释变量是否相关。

3.3.2 Solution 2: Account for measurement error

已有研究可以直接对测量误差进行建模估计，常见的如潜变量模型中用到的联立方程模型等。这种方法可以建模刻画残差与解释变量和潜变量之间的相关性。另一种方法是利用标签变量(marker variable)，直观思路是：找到外生的具有相似测量误差的变量，它和解释变量本不相关，那么观测到的相关性就来源于测量误差，从而可以识别出测量误差的大小。

3.4 Cause 4: Selection

选择偏误分为样本自选择与选择性处理两种机制。样本自选择指的是：观测到的样本已经经过非随机的筛选；而选择性处理指的是：解释变量的大小非随机生成，而是内生处理的结果。解决方案如下。

3.4.1 [Selection into Sample] Solution 1: Design

随机试验可以缓解样本自选择，但并非万无一失。其一是外部有效性有限，如：随机指定公司员工参加培训的因果效应只适用于该公司职员。其二是随机试验需确保参与者不能自选择进入试验组与控制组，否则内生性仍无法解决。

3.4.2 [Selection into Sample] Solution 2: Heckman selection model

以Heckman (1976)为例，Heckman考察了女性劳动力在工时与工资上相对于男性的差异。这一研究的内生性问题在于：选择参与工作的女性是自选择的结果，不代表女性总体。由于无法得到不进入观测的样本信息，也就无法通过控制的思路解决问题。样本自选择的一大特征在于：自选择下的观测不是代表性样本。这一点区别于其他内生性来源。

从方法上而言，Heckman选择模型与工具变量法很像。Heckman模型的第一阶段引入外生变量w，用probit模型估计样本进入观测的概率（转化为反米尔斯比）；第二阶段用结果变量对一阶段的估计值回归。

3.4.3 [Selection of Treatment] Solution 1: Design

与上文类似，随机试验可以缓解选择性处理的内生性，但麻烦之处在于：当核心解释变量是连续型变量时，设置控制组与无穷多的试验组困难很大。我们要么花费高昂代价去人为设置不同试验组，要么找到好的外生冲击让个体自动分组。

3.4.4 [Selection of Treatment] Solution 2a: Omitted variable techniques

如果内生解释变量是连续型或定序型的，可以仿照遗漏变量内生性的处理方法来解决。

3.4.5 [Selection of Treatment] Solution 2b: Heckman treatment model

如果内生解释变量是二元离散型的，用2SLS与IV法不甚恰当，而应采用Heckman处理模型。该模型的第一阶段关注是否处理的预测值，其他部分与Heckman选择模型类似。Heckman处理模型有几点需要注意：首先，对于二元内生选择模型，处理效应的估计系数有多种可能的解释。如果处理机制不同，不同的处理效应系数可能都会不同。如：员工培训的处理效应既可以解释为员工从培训中的收益，也可以解释成未参加培训者如果参加培训的潜在收益——这两者不一定相同。而对于多元离散选择，则需要单独设计处理模型并对处理效应仔细考察。

3.4.6 [Selection of Treatment] Solution 2c: Estimating average treatment effects

对于二元处理的自选择问题，很多方法都在估计平均处理效应。这些方法可以归纳为两类：一类是用DID的方法计算处理组参与者的处理效果相较于控制组潜在处理效果的差异；另一类是用合成控制方法（包括匹配，倾向值方法，广义精确匹配等），在保证处理组与控制组具有相似性的基础上进行比较。总的而言，这些方法并不能解决内生性，而是向人们证明内生性不足为虑。

3.4.7 [Selection of Treatment] Solution 3: Regression discontinuity designs (RDDs)

最后的解决二元选择内生性的方法是断点回归，基本想法是：在外生的断点附近形成随机试验的场景，自动区分开控制组与试验组。断点两端的观测值在所有遗漏变量上均高度相似，因此可以干净的排除内生性。断点回归的要点在于：1) 如何选择带宽；2) 断点是否完全隔绝开控制组与试验组，即精准断点与模糊断点的分别。

3.5 The Possibility of Multiple Causes of Endogeneity

一项研究也可能同时存在多种内生性。首先，某一解释变量可能存在遗漏变量、测量误差等多种导致内生的因素；其次，不同的解释变量可能都具有内生性。在这两种情形下，解决某一内生性因素并不保证解决其他的内生性因素。尤其需要注意的是，任一变量的内生性会导致所有解释变量的系数均出现偏误。因此，研究者需要回到研究背景去挨个儿识别所有变量的所有内生性成因。

4.Recommendations to Bridge the Methodology-Practice Gap

通过对已有文献的梳理，本文发现：在管理学期刊中，对内生性的讨论很少探究其成因；已有研究对内生性的处理方式没有很好的说明；并且往往在文末声称自己完全解决了内生性。事实上，对内生性的处理很难做到完美，学者往往要对实证设计进行权衡。以下给出一些建议，帮助学者将实证研究与内生性的计量理论更好结合起来。

4.1 Clear Diagnosis of Endogeneity

处理内生性的第一步在于识别内生性的存在与成因。本文给出三点想法：首先，学者应按照此前总结出的内生性成因分类逐次判断，为之后针对性的处理内生性做铺垫。其次，学者在讨论内生性时应当规范专业术语，并避免对研究设计的内生性作笼统表述，而是更具体的说明内生性成因。再者，学者要在不同术语之间建立起思维联系，如omitted variable也称left out variable或missing variable。这能增进不同领域学者间的沟通探讨。

而对审稿人来说，在审稿时也应强调关注具体的内生性问题，并避免投稿人选用不恰当的内生性处理手段。总而言之，审稿投稿双方应该在内生性的问题上有具体沟通，而不能空谈。

4.2 Justify the Technique Used to Address Endogeneity

参考以往实证文献的内生性处理经验有一定作用，但仅仅依赖这种做法、而不去参考计量理论文本是不足的。其一，前人实证文献在实证研究上可能本身就存在瑕疵，或在方法论上已经过时；其二，内生性处理方法的选择依赖于特定的研究背景，正如一项研究中使用的工具变量不一定适用另一项研究。以下给出4点建议，帮助研究者证明内生性处理方法是否适当。

首先，如果处理内生性的方法错误，还不如不处理内生性，否则可能问题更严重，因此需要先考虑处理内生性是否必要。其次，一旦确定了内生性的成因，需要参考计量方法论文本，而不能仅通过引用前人实证文献为本研究背书。只有这样才能避免研究者不断重复放大前人研究中的谬误与不足。再者，在选取合意的内生性解决方案时，需要在文章里清楚阐述该方法的前提假设。最后，研究者需要提供有关内生性处理的具体细节，帮助他人明白该方法的充分必要性。

另外，审稿人应当要求投稿人清晰阐述研究中的内生性来源，并在结果汇报中具体呈现。如果文章容量有限，应当要求投稿人以附录形式展示相应内容。

4.3 Transparency in the Prognosis of Results

在汇报结果时，应当完整呈现处理内生性的统计检验过程，这样才能帮助后续研究者在前人研究的基础上进步。

4.4 A Final Recommendation

投稿审稿双方需要记住的最后一点是：任何研究都无法彻底消除所有内生性可能。各项研究都有其各自侧重点，也会从不同角度去讨论内生性，这也是为什么我们希望用不同的研究设计对同一项课题进行反复探讨，这样才能保证该课题的内生性处理是全面的。

5 Conclusion

基于对管理学文献的回顾，本文发现：在内生性的处理上，学者在内生性的诊断、方法使用的恰当性、结果汇报等方面均不够清晰。因此，本文为上述问题的解决提供了步骤说明，希望未来管理学研究能够在内生性处理上形成统一的范式。

下面再按照各种内生性问题，整理了上百篇专栏性文章。