凡是搞计量经济的，都关注这个号了
邮箱：econometrics666@126.com
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.
Source: 上财金融学院。工具变量法是为了缓解内生性问题而经常使用的一种方法。但工具变量的有效性与使用过程中的谨慎性一直是学术界关心的问题。2010年，Journal of Accounting and Economics曾发表一篇题为On the Use of Instrumental Variables in Accounting Research的论文。该文发现1995-2005年JAR、JAE和TAR三大会计顶级期刊共有42篇论文使用了工具变量。基于这些文章，该文识别了工具变量法优于OLS估计的适用条件以及使用工具变量需要做的一系列检验。
七年之后的今天，国际著名金融学家、曾RFS主编（金融学里的三大TOP期刊之一，这是非常牛掰的存在）、哥伦比亚大学商学院讲席教授姜纬（Wei Jiang）教授推出新作：Have Instrumental Variables Brought Us Closer to the Truth？该文对JF、JFE和RFS三大金融顶级期刊中255篇运用工具变量进行回归估计的论文进行研究后发现，工具变量估计法将回归估计系数平均扩大了九倍。针对该项“难以置信”的扩大效应，姜纬教授在论文中做了相关解释，同时也为运用工具变量估计方法做因果推断的学者提供了宝贵建议。我们将该篇的核心观点摘录于下，文章全文请见Review of Corporate Financial Studies。2003至2014年间，发表于国际三大金融顶级期刊（JF、JFE、RFS）的论文中，有255篇运用了工具变量法（如下图）。
相比于OLS回归，工具变量的运用使得估计参数平均扩大了九倍。姜纬教授将内生性问题根据OLS回归系数偏差的方向分为了三大类：正向性内生问题、矫正性内生问题、不确定性内生问题。255篇文章中67.1%的文章存在正向性内生问题，在这类研究中，运用OLS回归分析时所估计的系数会高估总体平均处理效应（population average treatement effect）。理论上，在存在正向性内生问题的研究中，我们预期IV回归系数应该要小于OLS 回归系数。但姜纬教授发现，在这类情况下，仍然有79.8%的研究在运用工具变量法缓解内生性问题后，其结果反而扩大了其估计系数。那这是什么原因呢？
原因：局部平均处理效应、弱工具变量及发文有偏
针对工具变量回归估计所带来的“难以置信”的扩大效应，姜纬教授从以下三大方面找寻了原因。首先，“局部平均处理效应”(LATE) 有可能会使工具变量法估计的系数被扩大。“局部平均处理效应”是由异质性产生，即每个个体的处理效应（treatment effect）是不同的。在这种情况下，工具变量的采用有可能造成只衡量了处理组一部分个体的平均处理效应，而非处理组的平均处理效应。姜纬教授在文中举了一个劳动经济学的经典问题来说明局部平均处理效应对IV结果的影响。以往的研究中，学者发现教育对收入的影响研究面临很大的内生性问题。比如，能力强的人更有可能接受更高层次的教育，而这部分人也更有能力获得更高的报酬。在此类研究中，“是否居住在大学周围”确实是一个不错的工具变量，因为考虑教育成本等因素，距离学校的远近会影响是否接受大学教育的选择，但这又和一个人的能力、天赋没有很大的相关性。但是，距离学校的远近只会影响上大学的个体中对教育成本敏感的个体的抉择；对于那些无论如何都会去上大学的个体来讲，距离学校多远多近都不会改变他们的抉择。这就是典型的局部平均处理效应。在这种情况下，教育成本敏感个体的教育回报可能会远远大于无论就近是否有学校都不会去上大学个体/会去上大学个体的教育回报。因此，在计量上这类局部平均处理效应会造成IV的估计系数比OLS的估计系数大。其次，弱工具变量也可能使得工具变量估计系数放大。如姜纬教授文中所述，运用工具变量估计的系数与真实系数之间存在一定的区别。当外生性条件无法得到完全满足时，工具变量估计系数与真实系数之间的差值同时取决于工具变量的外生性和相关性。当工具变量为弱工具变量，即相关性很小时，会放大排除性限制(exclusion restriction)对于系数估计的影响，进而使得IV的估计系数比OLS的估计系数大。第三，发文导向也可能导致已发表的论文中工具变量估计系数普遍偏大。一般来讲，关键变量的估计系数如若不显著则论文很难发表。使用工具变量会使样本估计方差变大，在这样的情况下，论文作者通常会偏爱于估计系数值更大的工具变量以保证估计系数显著。这也就是为什么我们在已经发表的论文中会看到工具变量法的估计系数远大于OLS估计系数。这样看来，工具变量也许并没有让我们更加接近事实。针对这一问题，姜纬教授对研究者们提出了如下几点建议。首先，研究者应该对内生性问题进行更详尽的分析。比如内生性问题的大小以及会如何影响估计系数（正向或是负向）。姜纬教授建议研究者可以通过样本分组的方式来进行分析，对不同子样本的回归结果进行分析可以有助于找出内生性问题对原有估计的影响机制与效果。同时，当工具变量估计出现令人难以置信的结果时，研究者需要谨慎分析其中的原因。其次，研究者应该正视工具变量的效能。如前所述，如果是弱工具变量，即使通过了弱相关检验，其估计系数也会偏离其真实系数，这是研究者需要时刻谨记的。最后，研究者应该结合事实来做分析推断。举个例子，关于双层股权与掏空的研究，如果运用工具变量法研究发现大股东与管理层利用此股权结构进行掏空并损害了5%的公司价值，那这并不稀奇。但是，当你的研究结果发现他们损害了50%甚至100%的公司价值时，那就必须警惕了。这无疑也需要你再次分析其中的原因，从而进一步接近事实真相。在不借助工具变量、断点回归和随机冲击的前提下如何完成有意义的推断首先，姜纬老师先从红酒和健康的例子出发，引出本场报告的主题。她提到简单回归发现，每天喝红酒的人身体更健康一些，从这个事实中我们可以得出什么结论？能否得出因为喝红酒所以身体更健康的结论？有人回答，不能。姜教授追问：从这个回归中，我们能够得到什么结论呢？观众积极响应：有人说有可能是因为健康的人喜欢喝红酒。“很好，”姜纬老师说, “这是一个反向的因果推断。”姜老师进一步解释：从回归结果中，我们仅仅知道喝红酒和健康状况存在显著的相关性，但是回归本身不能告诉我们两者之间是否存在因果关系。而建立因果关系是科研的重要意义所在。那么我们应该怎么做呢？通常应该借助工具变量，借助断点回归或者寻找随机冲击，来解决其中的内生问题。但是如果找不到这些工具，我们能不能完成一些有意义的学术研究呢？姜老师的讲座从六个方面阐述了如何不借助这些手段和技巧来进行一流的实证研究。平均处理效应（average treatment effect, ATE）是当前经济/金融研究中最受推崇的推断方法。但由于条件苛刻，在大多数情况下并不能实现，使得ATE并不能发挥作用。但是我们可以通过选择效应（selection effect）来帮助我们达成目的。例如在Jiang, Nelson, and Vytlacil (2014, RFS)的研究中，使用某个主要的全国性的住房抵押贷款银行的数据，研究了证券化与贷款业绩表现之间的关系。以往的研究发现筛选努力与事前的贷款销售概率之间存在负相关性。与此不同，这篇论文发现从事后而言，银行资产负债表上留存的贷款比出售的贷款有更高的不良比率。这似乎和我们的直觉相反。为什么会得到这样的结果呢？这篇论文明确区分贷款业绩与贷款出售之间的事前事后关系。事前关系是银行在决定是否发起贷款时所认为的关系，事后关系适用于贷款发起和出售期间的关系。事前事后产生了相反的结论，主要是因为投资者存在选择效应，只有质量好的贷款才能在二级市场出售，因而导致了如此关系。
另一个例子是来自Mulligan and Rubinstein(2008, QJE)的关于“女性相对工资”研究，该项研究发现，1970年到1990年，性别间的平等程度变化线（用女性工资中位数除以男性工资中位数来表示）与性别内的不平等程度变化线（用90分位的男性工资除以10分位的男性工资表示）趋势是一致的。为什么会产生这种现象呢，这是因为选择效应的存在，当女性逐步进入劳动力市场时，只有聪明的女性在与男性的竞争中能够在劳动力市场上留下来，数据不能观测到未参与工作的女性，因而导致了这个现象的存在。
什么是固定效应，固定效应有什么好处呢？在大多数面板数据中，固定效应都可以吸收大部分随时间不变的内生性，但并不能处理随时间变化的内生性。固定效应在处理内生性匹配层面表现除了相当强大的力量，但是需要提前分类数据。在Jiang, Wan, and Zhao(2016, RFS)的研究中，当董事会组成和会议议程都是内生的时候，可以对董事会的分歧做出解释吗？除非个体的投票数据是可以采用的，然后内生性匹配就可以通过固定效应被吸收掉。多维的固定效应可以作为控制变量完备集合的替代。有的研究甚至只有一个回归元，例如Fisman, Paravisini, and Vig (2017, AER)，文章的表四只包含了一个“Same Group”回归元，通过使用的是来自印度银行的办公人员和借款人的宗教、种族的二元匹配数据，借此来表明，贷款人和借款人之间的文化接近度（共同的守则、信仰和种族等）增加了信贷的数量，并减少了还款违约。
如果不平衡集群的原因和内生性有关，那么固定效应可能会失效，这时候可以通过寻找一个共同的比较对象来解决。比如说，现在要选择一个学生，有两个对象可供选择，都是财大的，一个来自经济学院，GPA为3.6；另一个是金融学院，GPA为3.7，给定这些信息我应该怎么选，有同学愿意回答一下吗？似乎没法选，因为两个同学来自不同的群体，GPA的直接比较不再具有参考性。但假设两个同学之间有一个可以共同比较的同学，是不是这两个同学就建立了间接的关系？在Brav, Jiang, Li (2017; early stage)关于投票代理权角逐中对冲基金与机构投资者的关系研究中就作出了这样的处理。研究发现，基金并不会在所有的代理权争夺事件中投出自己的一票；Pro-Activist衡量方法在不同事件中没有可比性；任何两只基金都可以在他们参与投票的代理权争夺事件的基础上进行比较；基金的相对排名可以通过两两比较的方法进行分类。
在法律或政策变化方面的双重差分(DID)分析很常见，然而法律或政策变化几乎不是随机的。预先确定的政策敞口变化可能是一个挽救办法。一方面可以借助与政策变化合规程度（Distance to compliance）层面来探讨。在Chhaochharia and Grinstein (2007, JF)的研究中探讨了2001年至2002年的公司丑闻导致了“萨班斯法案”的影响。丑闻发生后，美国证券交易所对于规定进行了多处修改。研究发现这些规定的宣告对公司价值有重大影响。与更符合规定的公司相比，较不符合规定条款的公司能够获得正的超额收益。同样在Ahern and Dittmar (2012, QJE)关于董事会多样化的研究中提到，2003年一项新法律规定要求挪威公司董事中40％必须是女性--当时公司内只有大约9％的董事是女性。通过使用女性董事会代表的变化作为配额之后公司董事会变化的工具变量，研究发现，法律公布后，女性董事配额所引起的约束导致了公司股价大幅下滑，并且随后几年内托宾Q也大幅下滑，符合企业选择董事会实现价值最大化的理念。因为配额导致董事会平均年龄变小，经验更不足，杠杆和收购增加，经营业绩恶化。另一方面可以借助交错周期（Pre-staggered cycles）层面来探讨。在Fos, Li, and Tsoutsoura (2017, RFS forthcoming)的研究中，通过借助选举年份变化，探讨了董事长选举与CEO周转率敏感性之间的关系，当董事会越接近下一次选举时，CEO周转率-表现-敏感度越高。在Shue and Townsend (2017, JF)的研究中探讨了股票期权如何影响CEO的风险承担，为了克服期权授予的内生性，通过利用多年度补偿计划的制度特征，在新的实值期权的大幅增加的时间点上产生了两种截然不同的变化类型。研究发现，给定样本期间的平均授予水平，授予的新期权增加10％将导致股票波动幅度增长2.8-4.2％。
当然，也可以通过一些事前敞口（Ex ante exposure）来探讨。这里的例子在中国很不适用，中国的父母需要负担自己孩子上学甚至以后买房子的开销，而大部分美国父母不会如此，因此许多学生上学会负担债务。在Fos, Liberman, and Yannelis (2017)的研究中，当学校学费增加的时候，低年级的学生比高年级学生未来的研究生入学率会降低，因为他们承担了更多的债务。在Lucca, Nadauld, Shen (2017, RFS R&R)的研究中，当学生通过贷款资助他们的教育时，贷款和学费的变化是相互关联的。较高的学费成本提高了学生的贷款需求，但是同时贷款供给也会影响到学费，例如通过放宽学生的资金限制，因而产生了内生性，为了克服这个联立方程问题，通过建立规则的敞口来识别贷款供给对学费变化的影响。
在Brav, Jiang, and Kim (2015, RFS)的研究中，用企业层面的数据来描述对冲基金主动干预的实际影响，研究发现共同基金干预企业三年后，企业的生产效率明显改善，但是应该怎么处理对冲基金主动干预的内生性呢？姜老师和她的合作者们并没有直接证明，而是通过驳斥各个可能的替代假设（包括管理层自愿改革假说，行业冲击假说和对冲基金股票选择假说）来证明他们自己提出的假设的正确性。姜老师提到，这篇文章在提交杂志审稿前，已经在40个会议上被宣讲和讨论，听众提出的问题使得他们的论文能够不断提高和优化。
大多数时间发生并不是随机的，但是发生的确切时间点是有时是随机的。这类似于停止时间模型，倾向不是随机的，但是确切的时间是随机的。如果结果取决于实际的行动，那么随机时间起作用；如果结果是取决于隐藏的行动，则随机时间不起作用。例如，在医学研究中，最重要被治疗但是现阶段未被治疗的个体可以作为现阶段被治疗个体的对照。在Brav, Jiang, Ma, and Tian (2017, JFE R&R)的研究中提到，专利从申请到批准的周期中位数为2.5年，方差为为1.5年。专利被授权的确切时间并不在activist掌控之下，activist也并不拥有专利授权确切日期的超前信息，因而专利被授权的日期就是随机的时间。因而，对于activist所瞄准的在[t-48，t-1]个月期间提交的专利与在[t-6，t + 6]个月内被批准的专利可能是在非常类似的情况下产生。通常来讲，我们不能断定“X导致Y”因为我们仅仅观察到了X与Y，并没有观察到二者之间的作用过程。目前，已经有很多研究开始走入黑匣子内部来揭示影响机制。例如Schwartz-Ziv and Weisbach (2013, JFE)通过研究董事会的会议记录来评估了董事会的工作模式，管理模式还是监督模式，通过分析董事会会议花在“管理”和“监督”议程上的讨论时间来作出推断，以此揭示了董事会工作模式的黑匣子。同样在Jiang, Li, Mei (2017, JF R&R)关于基金活动家套利是否导致交易失败的研究中，通过分析可能导致交易失败的各种原因挨个筛选，最后揭示出真正的影响机制，而不是借助工具变量来解决内生性。
在实证研究中，我们总是希望估计某个因素对另一个因素的因果影响，而此时不得不面对由测量误差、双向因果、遗漏变量等带来的内生性问题。实证经济学家采用得最多的方法之一就是工具变量估计（IV），通过寻找合适的工具变量估计出两个因素间的因果效应。鉴于此，给大家整理一下关于工具变量方法的重要文章，后面也会分享更多的代码和数据给大家去练习。
1.内生性问题操作指南, 广为流传的22篇文章，2.看完顶级期刊文章后, 整理了内生性处理小册子，3.如何寻找工具变量？得工具者得实证计量，4.内生性处理的秘密武器－工具变量估，5.工具变量在社会科学因果推断中的应用，6.为你的"工具变量"合理性进行辩护, 此文献可以作为范例，7.没有工具变量、断点和随机冲击，也可以推断归因，8.工具变量与因果推断, 明尼苏达Bellemare关于IV的分析，9.工具变量IV与内生性处理的精细解读，10.我的"工具变量"走丢了，寻找工具变量思路手册，11.面板数据里处理多重高维固定效应的神器, 还可用工具变量处理内生性，12.豪斯曼, 拉姆齐检验，过度拟合，弱工具和过度识别，模型选择和重抽样问题，13.工具变量先锋 Sargan，供参考，14.AEA期刊的IV靠不靠谱？15.计量大焖锅: iv, clorenz, rank, scalar, bys, xtile, newey, nlcom，16.GMM是IV、2SLS、GLS、ML的统领，待我慢慢道来，17.IV和GMM相关估计步骤，内生性、异方差性等检验方法，18.因果推断IV方法经典文献，究竟是制度还是人力资本促进了经济的发展？19.内生变量的交互项如何寻工具变量, 交互项共线咋办，20.面板数据、工具变量选择和HAUSMAN检验的若干问题，21.IV和Matching老矣, “弹性联合似然法”成新趋势，22.IV回归系数比OLS大很多咋回事, 怎么办呢? ，23.不用IV, 基于异方差识别方法解决内生性, 赐一篇文献，24.找不到IV, RD和DID该怎么办? 这有一种备选方法，25.内生转换模型vs内生处理模型vs样本选择模型vs工具变量2SLS，26.内生性, 工具变量与 GMM估计, 程序code附，27.GMM和工具变量在面板数据中的运用，28.关于工具变量的材料包, 标题,模型,内生变量,工具变量，29.必须使用所有外生变量作为工具变量吗？30.工具变量精辟解释, 保证你一辈子都忘不了，31.毛咕噜论文中一些有趣的工具变量！33.前沿: 删失数据分位数工具变量(CQIV)估计, 做删失数据异质性效应分析，34.不需要找工具变量, 新方式构建工具变量, 导师再也不用担心内生性问题了！35.关于顶级外刊工具变量的使用最全策略, 不收藏反复读就不要谈IV估计！36.如何通过因果图选择合适的工具变量？一份关于IV的简短百科全书，37.前沿: nature刊掀起DAG热, 不掌握就遭淘汰无疑！因果关系研究的图形工具!38.最清晰的内生性问题详解及软件操作方案！实证研究必备工具！39.中国女学者与其日本同行在JPE上发文了！利用独特数据, 地理断点RDD和IV研究中国环境议题！40.双胞胎样本解决遗漏变量和测量误差, LIV解决选择偏差，41.内生性处理的秘密武器－工具变量估计，42.工具变量IV必读文章20篇, 因果识别就靠他了，43.看完顶级期刊文章后, 整理了内生性处理小册子，44.“内生性” 到底是什么鬼? New Yorker告诉你，45.Heckman两步法的内生性问题(IV-Heckman)，46.最全估计方法，解决遗漏变量偏差，内生性，混淆变量和相关问题，47.非线性面板模型中内生性解决方案，48.内生性处理方法与进展，49.万能cmp程序, 有了他, 建议把其他程序全删掉！50.你的内生性解决方式out, ERM独领风骚，51.面板数据是怎样处理内生性的，52.计量分析中的内生性问题综述，53.一份改变实证研究的内生性处理思维导图，54.Top期刊里不同来源内生性处理方法，55.面板数据中heckman方法和程序(xtheckman)，56.控制函数法CF, 处理内生性的广义方法，57.二值选择模型内生性检验方法，58.2SRI还是2SPS, 内生性问题的二阶段CF法实现，59.非线性模型及离散内生变量处理利器, 应用计量经济学中的控制函数法！60.最全利用工具变量控制内生性的步骤和代码—在经管研究中的应用，61.如何选择合适的工具变量, 基于既有文献的总结和解释！62.中介效应最新进展: 中介效应中的工具变量法使用方法及其代码！63.弱工具变量的稳健性检验, 附上code和相关说明！64.工具变量对因果效应的识别和外推, 大牛的顶级评述！65.几百年一遇的工具变量让基于OLS的截面数据回归结果发到Top了, 设计巧妙让人叹服！66.一份使用工具变量回归的AER文章清单, 思路惊奇定会让你脑洞大开！67.估计工具变量回归时, 是否必须将所有外生变量用作工具变量？68.引力模型基础上的工具变量如何构建？69.必读, 宗教是如何阻碍经济发展的? 基于DID, IV和各种机制分析的AER量化史分析！70.JPE上利用地理断点RDD和IV研究中国环境议题的do文件release！71.工具变量IV估计免费课程, 文章, 数据和代码全在这里, 不学习可不要后悔！72.天下回归, 无内生性不破, 唯此神文不破, 练就内生性处理的终极大法！73.搞懂因果推断中内生性问题解决方法必读的书籍和文献已搜集好！74.2020年博导圈流传最广的一份“几十种内生性处理方法及其要求和局限”的宝典, 并附上代表性重要文献！75.因变量和内生变量是连续,有序和无序多元变量时, 该如何做工具变量估计？76.你确定找到一个好的工具变量了吗? 这将是一篇最值得你看的文章！
下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。