面板数据为什么好？读了这篇你才会明白

一般而言，面板数据模型的误差项由两部分组成，一部分是与个体观察单位有关的，它概括了所有影响被解释变量，但不随时间变化的因素（因此，面板数据模型也常常被成为非观测效应模型）；另外一部分概括了因截面因时间而变化的不可观测因素，通常被成为特异性误差或特异扰动项（事实上这第二部分误差还可分成两部分，一部分是不因截面变化但随时间变化的非观测因素对应的误差项Vt。大家通过在模型中引入时间虚拟变量来加以剥离和控制这部分因素。另一部分才是因截面因时间而变化的不可观测因素。不过一般计量经济学的面板数据分析中都主要讨论两部分，在更高级一点的统计学或计量经济学中会讨论误差分量模型，它一般讨论三部分误差）。

传统上，大家都习惯这样分类：如果把非观测效应看做是各个截面或个体特有的可估计参数，并且不随时间而变化，则模型为固定效应模型；如果把非观测效应看作随机变量，并且符合一个特定的分布，则模型为随机效应模型。

不过，上述定义不是十分严谨，而且是一个非常容易让人产生误解的。似乎固定效应模型中的非观测效应是随时间不变的，因此是固定的，而随机效应模型中的非观测效应则不是固定的，而是随时间变化的。

一个逻辑上比较一致和严谨并且越来越为大家所接受的假设是（参见Wooldridge的教材和Mundlak1978年的论文），不论固定效应还是随机效应都是随机的，都是概括了那些没有观测到的，不随时间而变化的，但影响被解释变量的因素（尤其当截面个体比较大的时候，这种假设是比较合理的）。非观测效应究竟应假设为固定效应还是随机效应，关键看这部分不随时间变化的非观测效应对应的因素是否与模型中控制的观测到的解释变量相关。如果这个效应与可观测的解释变量不相关，则这个效应称为随机效应，相关则称为固定效应。这也正是HAUSMAN检验所需要检验的假说。

非观测效应模型因为对非观测效应假设的不同，因为使用面板数据信息的不同，可以用不同的方法来估计并且得到不同的估计量，一般有四个：

（1）组内估计量（WITHIN ESTIMATOR）（FE或FD: First Difference）
（2）组间估计量（BETWEEN ESTIMATOR）
（3）混合OLS估计量（POOLED OLS ESTIMATOR）
（4）随机效应估计量（RE，GLS或FGLS估计量）

这四个估计量因为假设和使用信息的不同而不同，各有优劣势，相互之间也有密切关系。(3)和(4)分别是(1)和(2)的加权平均；(4)在特定的假设下分别可以转化成(1)和(3)；如果HAUSMAN检验表明(4)和(1)没有区别的时候意味着(1)和(2)没有区别。

随机效应模型假设未观察因素与解释变量是正交的，只不过在未观察因素里有两个部分，一是与个体单位有关的，二是完全随机的。随机效应模型在做估计的时候，是用这两个部分的方差计算出一个指数λ，来做quasi-demean，也就是说在去平均的时候是用原值的y或x减去λ乘以y或x的均值，然后用GLS估计。

极端地，当λ为0时，非观测效应是一个常数，并且所有个体都一样，就等价于Pooled OLS，当λ为1时，说明完全随机的部分可以忽略，所有未观察因素都是与单位有关的，于是就等价于FE。但FE不需要假定未观察因素与解释变量是正交的，在做FE时，固定效应都被差分掉了，所以也可得到一致的估计结果。

PANEL数据的好处之一是，如果未观察到的是固定效应，那么在做去均值(demean)时，未观察因素就被差分掉了。这样就可以减少由于未观察的因素可能与解释变量相关而导致的内生性问题。

2. 那么PANEL的FE或RE分析就避免了内生性问题吗？

只能说好一些，如果内生的问题只是由于那些不随时间变化的遗漏变量与解释变量有关造成的，这时，数据的差分就解决了内生性问题。但是，别忘记还有一部分误差，如果这部分误差里包含的因素也可能影响解释变量，那么，差分只能解决前面讲的问题，而随机项里包含的因素与解释变量之间的相关关系所导致的内生性问题依然存在。简单地讲，面板数据只能处理掉那些不随时间变化的不可观测变量(与解释变量相关或残差项相关)所带来的内生问题，而对于那些比如随着时间变化但与解释变量相关或残差项相关的内生性问题也需要通过工具变量进行解决。

3. 如果遇到上面说的第二种内生性情形怎么办？

找IV解决。类似于在OLS基础上找IV，但对PANEL的工具应该具有PANEL结构，除非你基础的估计没有使用PANEL的方法，比如说对数据用了pooled OLS方法，但能够用pooled OLS方法分析PANEL DATA的条件是很严格的。就是说，为这个内生解释变量找一个合适的工具变量，然后通过2sls或者GMM方法进行估计。

第二节关于工具变量选择

1. IV应该尽量是外生的（如历史/自然/气候/地理之类），它应该在理论上对被解释变量（以下称Y）没有直接影响，但应该通过影响被工具的变量（以下称X）而间接影响被解释变量Y。

2. 如果上述理论逻辑成立的话，将内生变量X作为被解释变量，IV和其他变量（X2）作为解释变量，我们做一个回归，然后看IV的系数是否显著(t-test)。如果选了多个IV，就用F TEST看其是否都不显著，即各个IV前面系数的联合显著性。同时，如果在多个IV中，有一个是确定为外生的，那么，可以用Sargan test of overidentifying restrictions来检验其他的IV是不是确实是外生的。

3. 如果上述都没有问题，做一下IV回归。完成后，用HAUSMAN检验，这个检验的原假说是IV回归与原回归（不用IV的回归）的变量的系数并没有显著的不同。看一下P值，如果P小于比如说0.1，或者0.05，那么，说明IV回归与原来的回归显著不同，原来的方程的确有内生性问题而导致的估计偏误。反之，如果P很高，超过0.1，或0.05，那说明IV回归与原来的回归没有显著不同，无法拒绝原来的回归没有显著的内生问题导致的估计偏误的原假设。

4. 如果选择的IV本身就影响Y，那它就不能被作为IV。例如，Y在左边，右边是X（被工具的），X2，IV。当IV被放在方程右边时，它最好是不显著影响Y的。在Acemoglu（2001）里，他就检验了他们的IV是否直接影响被解释变量，结果说明不直接影响，于是这个IV是好的。当然，一个好的IV在前面的回归中也可能是显著的（不过如果IV是通内生解释变量间接影响被解释变量的话，一般来说，应该是内生解释变量使得IV不显著，或者由于两者相关性很高，两者都不显著），咱们判断的标准依靠是t检验。这个变量显著完全有可能是因为它影响了其他显著的变量（比如这个内生变量）。如果是这样，当包括了IV在原方程中以后，其他变量（特别需要注意的是被内生变量x）的系数可能发生明显变化。

5. 工具变量效果验证

工具变量: 工具变量要求与内生解释变量相关，但又不能与被解释变量的扰动项相关。由于这两个要求常常是矛盾的，故在实践上寻找合适的工具变量常常很困难，需要相当的想象力与创作性。常用滞后变量。

需要做的检验：检验工具变量的有效性。

(1) 检验工具变量与解释变量的相关性
如果工具变量z与内生解释变量完全不相关，则无法使用工具变量法；如果与内生解释变量仅仅微弱地相关，这种工具变量被称为“弱工具变量”（weak instruments）。使用弱工具变量的后果，与在参数估计中样本容量过小而导致的系列问题问题类似。检验弱工具变量的一个经验规则是，如果在第一阶段回归中，F统计量大于10，则可不必担心弱工具变量问题。Stata命令：estat first（显示第一个阶段回归中的统计量）

(2) 检验工具变量的外生性（接受原假设好）
在恰好识别的情况下，无法检验工具变量是否与扰动项相关。在过度识别（工具变量个数>内生变量个数）的情况下，则可进行过度识别检验（Overidentification Test），检验原假设所有工具变量都是外生的。如果拒绝该原假设，则认为至少某个变量不是外生的，即与扰动项相关。Sargan统计量，Stata命令：estat overid

第三节关于HAUSMAN TSET（以下简称HT）的若干细节问题

1. 含义：“The null hypothesis is that the efficient estimator is a consistent and efficient estimator of the true parameters. If it is, there should be no systematic difference between the coefficients of the efficient estimator and a comparison estimator that is known to be consistent for the true parameters. If the two models display a systematic difference in the estimated coefficients, then we have reason to doubt the assumptions on which the efficient estimator is based.”参见手册Stata corporation, 2001, STATA 7 Reference H-P, Stata Press。

该方法是Hausman (1978)的程序化。所以，Hausman Test的命令(hausman)假设使用者知道需要比较的两个方程中哪一个是“无论原假说成立与否都是consistent”，哪一个“在原假说下不仅efficient而且consistent，但若原假说不成立，则inconsistent”。

(1) obtain an estimator that is consistent whether or not the hypothesis is true; //不管原假设成立与否都可以得到一致的结果
(2) store the estimation results under a name-consistent using estimates store;
(3) obtain an estimator that is efficient (and consistent) under the hypothesis that you are testing, but inconsistent otherwise; //在原假设下得到的结果是有效和一致的
(4) store the estimation results under a name-efficient using estimates store;
(5) use hausman to perform the test
hausman name-consistent name-efficient [, options]

举例：
(1)在关于是FE还是RE的检验中，原假说是"非观测效应与解释变量不相关"，备择假说是"两者相关"。FE是无论原假说成立与否都是consistent，而RE在原假说下是consistent，并且Asymptotically efficient（样本越大越有效），但如果原假说被拒绝，则RE不是consistent的 (Hausman, 1978)。

看一看咱们的操作步骤是怎样展开的：
sort code year //排序
tis year //时间变量是year
iis code //表示单位的是code
xtreg y x x2, fe //得到固定效应下的估计
est store fixed
xtreg y x x2, re //得到随机效应下的估计
hausman fixed //比较使用固定效应还是随机效应

(2) 比较OLS（或FE）和IV（或IVFE）
先做IV，因为，它无论如何都是consistent的，但OLS只有在原假设成立(没有内生性情况下)，即只有在没有内生性问题存在时，OLS才是consistent的。所以，我们应该先做IV估计结果。

如果不加特殊说明，STATA就会默认为先写的回归命令得到的是总是一致的估计结果，后写的得到的是备择假设下不一致的估计结果。现在HAUSMAN命令

2. 注意事项：

(1)对以上检验的理解的另一种方式是，我们先做一个假设条件要求更松的估计，然后再做一个假设条件更严格的估计。相比之下，IV（IVFE）比OLS（FE）要求更松，毕竟OLS要求BLUE。容易搞混的是，FE比RE的假设条件更松，毕竟RE要求个体不随时间变化的那些因素与解释变量不相关。具体解释如下：RE假设未观察因素与解释变量是正交的，只不过在未观察因素里有两个部分，一是与个体单位有关的，二是完全随机的，RE在做估计的时候，是用这两个部分的方差计算出一个指数λ，来做quasi-demean，也就是说在去平均的时候是用原值的y或x减去λ乘以y或x的均值，然后用GLS估计。当λ为0时，就等价于pooled OLS，当λ为1时，说明完全随机的部分可以忽略，所有未观察因素都是与单位有关的，于是就等价于FE。

但FE不需要假定未观察因素与解释变量是正交的，在做FE时，固定效应都被差分掉了，所以也可得到consistent的结果。当我们先做假设更严格的估计时，H1与一般检验一样，检验值大，P小，则原假说拒绝，应该接受假设更松的。在FE与RE的比较里，卡方大，则接受FE估计值。在OLS（FE）与IV（或IVFE）的比较里，当卡方值大时，P小时，拒绝原假说，IV结果和OLS（或FE）有不同，于是接受IV结果。

操作程序如下：

(1)比较FE和RE
sort code year //排序
tis year //时间变量是year
iis code //表示单位的是code
xtreg y x x2, fe //假设其中x是需要被工具的变量
est store fixed
xtreg y x x2, re
hausman fixed

(2)比较IVFE和IVRE
xtivreg y (x=iv) x2, fe //工具变量估计，对于FE
est store f1
xtivreg y (x=iv) x2, re //工具变量估计，对于RE
hausman f1
一般来说用不着这个比较，因为在这之前，你已经知道FE和RE谁好了，就将好的结果与它的IV结果比就行了。

(3)比较IVFE和FE
xtivreg y (x=iv) x2, fe //用工具变量的情形
est store f2
xtreg y x x2, fe //不用工具变量的情形
hausman f2
再重复一遍，如果结果是P小，卡方大才说明IV回归是必要的，原来的估计方程是有内生问题。

第四节举例

Acemoglu等人(2001)的文章是非常有代表性的使用工具变量的论文。他们试图验证制度对人均收入有影响，显然，直接做回归的话，制度就是内生的，因为好的制度可能在人均收入高的地方产生。他们找的工具变量是殖民地时代一个国家的死亡率，死亡率高欧洲人就不会定居下来，于是就会在当时建议掠夺性的制度，反之就会建立好的制度，而那时的制度对现在仍然有影响。

特别值得注意的是论文的6.3部分对于工具变量的有效性的检验。首先，他们用其他可行的变量作为替代来反复做IV回归，发现得到的结果与用死亡率作IV得到的结果基本相同。

然后，他们将死亡率本身作为外生变量放在原回归里，发现它不显著地影响被解释变量，这说明它并不直接影响被解释变量。第三，他们把只用死亡率的IV结果和同时用死亡率和其他IV的结果进行卡方检验，发现它们没有显著不同，再次说明死亡率没有直接影响，也不是通过影响制度以外的其他变量影响被解释变量的。

补充版块

一. 解释变量内生性检验

首先检验解释变量内生性(解释变量内生性的Hausman 检验：使用工具变量法的前提是存在内生解释变量。Hausman 检验的原假设为：所有解释变量均为外生变量，如果拒绝，则认为存在内生解释变量，要用IV；反之，如果接受，则认为不存在内生解释变量，应该使用OLS.)

你可以通过如下程序检验解释变量lofdi是否具有内生性：

reg ldi lofdi //普通的pooled ols回归
estimates store ols
xtivreg ldi (lofdi=l.lofdi ldep lexr) //面板数据中的工具变量法
estimates store iv
hausman iv ols //hausman检验，比较iv回归与ols回归哪种方法更好

注：(在面板数据中使用工具变量，Stata提供了如下命令来执行2SLS:xtivreg depvar [varlist1] (varlist_2=varlist_iv) （选择项可以为fe，re等，表示固定效应、随机效应等。详见help xtivreg）

如果解释变量具有内生性，则应该选用工具变量，注：工具变量个数不少于方程中内生解释变量的个数。当内生解释变量与工具变量数目相等时，我们称之为“恰好识别”，此时推荐使用2SLS (2SLS当然也可以用于过度识别情形下的估计)。2SLS的实质是把内生解释变量分成两部分，即由工具变量所造成的外生的变动部分，以及与扰动项相关的其他部分；然后，把被解释变量中的这个外生部分进行回归，从而满足OLS前定变量的要求而得到一致估计量。

二. 异方差与自相关检验

在球型扰动项的假定下，2SLS是最有效的。但如果扰动项存在异方差或自相关，则存在一种更有效的方法，即GMM。从某种意义上，GMM之于2SLS正如GLS之于OLS。恰好识别的情况下，GMM还原为普通的工具变量法；过度识别时传统的工具变量法行不通，这时有必要使用GMM，过度识别检验(Overidentification Test或J Test): estat overid

检验面板数据是否存在异方差或自相关的程序：

xtgls enc invs exp imp esc mrl,igls panel(hetero) //用可行的广义最小二乘法估计面板模型,此时假设各个面板间存在异方差
estimates store hetero
xtgls enc invs exp imp esc mrl,igls //用可行的广义最小二乘法估计面板模型,此时认为各个面板间不存在异方差
estimates store homo
local df = e(N_g) - 1
lrtest hetero homo, df(`df') //likelihood ratio test
面板自相关：xtserial enc invs exp imp esc mrl

如果认为同时存在异方差和自相关，那么可以参照下方的程序:

xtgls invest market stock, panels(hetero) corr(ar1)

咱们圈子强烈推荐下面这26篇Stata相关文章，尽管Python已经在咱们社群渐渐普及开来，但Stata在数据分析领域还是有一些特别之处。

1.Stata16新增功能有哪些? 满满干货拿走不谢

2.Stata资料全分享，快点收藏学习

3.Stata统计功能、数据作图、学习资源等

4.Stata学习的书籍和材料大放送, 以火力全开的势头

5.史上最全Stata绘图技巧, 女生的最爱

6.把Stata结果输出到word, excel的干货方案

7.编程语言中的函数什么鬼？Stata所有函数在此集结

8.世界范围内使用最多的500个Stata程序

9.6张图掌握Stata软件的方方面面, 还有谁, 还有谁?