截断和删失数据带来的问题，在经济实证研究中面对的问题

双十一的文章，计量经济圈的圈友反响强烈，现在再发这篇资料宝典的文章《Stata系统视频学习资料，望圈友们能够收藏学习（双十一特别安排）》，现在也可以获得。

截断和删失是完全不同的现象，都会导致我们的样本不完整。这些现象出现在医疗科学、工程、社会科学和其他研究领域。如果忽略截断和删失，当我们分析数据时，我们的人口参数估计就会不一致。

截断和删失会出现在处理样本的过程中，那我们就从定义左截断和左删失开始：

当低于阈值的个体在样本中不存在时，我们的数据就属于左截断。比如，我们想研究某些鱼的大小，以捕鱼网为样本，鱼小于鱼网，所以在我们的样本中是不存在的。

我们的数据从K开始左删失，如果每个个体值在样本中存在并低于K，但实际值未知。例如，我们有一个测量仪器，不能检测到一定水平以下的值时，就会发生这种情况。

我们主要讨论左截断和左删失，但是我们讨论的概念可以应用到所有的截断和删失中去：右截断、右删失和区间。

当执行截断或删失数据的估计时，我们需要使用一些工具来说明这些不完整的数据。对于截断线性回归，我们可以使用 truncreg命令；对于删失线性回归，我们可以使用intreg和tobit命令。

这篇文章，我们将要分析截断数据和删失数据的特征，并讨论用truncreg命令和tobit命令来说明不完整的数据。

截断数据

案例：皇家海军陆战队

Fogel et al.（1978）发布了皇家海军陆战队人员的身高的数据集，此数据可以扩展到2个世纪。它可以用来确定不同时期，英国男性的平均身高。Trussell and Bloom (1979)指出样本被截断，由于新兵最低身高的限制。数据被截断了（而不是删失），因为身高低于最低限制的个人都没有出现在样本中。考虑到这一事实，他们拟合了1800年到1809年期间皇家海军陆战队身高的截断分布。

由于Trussell和Bloom提到的问题，我们使用了人工数据集。我们假设人口数据服从正态分布 μ=65 和σ=3.5，并且都是左截断到64.

我们使用一个直方图来总结我们的数据：

可以看到截断点，没有小于64的数据。

如果我们忽略截断，会发生什么呢？

如果我们忽略截断，将不完整的数据视为完整的，样本均值与总体均值就会不一致，因为截断点以下的所有观测值都是缺失的。在我们的实例中，真实的均值95%都在置信区间预测平均值外。

我们可以将样本直方图与忽略截断后得出的正态分布进行比较，并且把这些值看成是人口均值和标准差的估计。

使用truncreg考虑截断

我们可以使用truncreg来估计潜在非截断分布的参数。考虑左截断64，可以使用选项ll(64)。

现在估计的值接近我们的实际模拟值μ=65, σ=3.5。

让我们将截断密度重叠到数据直方图中去。

截断分布适合我们的样本，我们分析人口分布均值等于65，标准偏差等于3.5.

删失数据

现在我们看一下删失数据的案例，看看他们和截断数据之间的区别。

案例：家庭表面尼古丁的含量情况

Matt et al. 在2004年进行了一项研究，对烟草烟雾污染吸烟者家庭的整个表面进行了评估。非常有趣的一项测量是家具表面的尼古丁含量情况。每个家庭中的擦拭样本来自每件家具。然而，尼古丁污染低于一定限度的，测量仪检测不到。

数据被删失了，而不是被截断了。当尼古丁污染低于检测极限值时，样本中仍然包含了尼古丁的检测值，这个检测值就等于最低极限值。被这项研究中的这个问题启发，我随意创建了一个人工数据集。尼古丁污染水平的日志被假定为正常。在这里，lognlevel包含尼古丁含量。用于模拟日志尼古丁含量的参数，删失数据是μ=ln(5) ，σ=2.5，左删失数据为0.1。

我们开始绘制直方图。

直方图左侧有一个尖峰，因为在检测极限以下的值被记录为等于极限值。计算样本的原始均值和标准偏差，将不会为潜在的未经审查的高斯分布提供适当的估计。

均值和标准偏差分别估计为1.68和2.4，而实际参数为 ln(5) =1.61 和2.5。

使用Tobit账户审核

我们估计均值和标准偏差分布，并使用ll选项的tobit来考虑左删失值（如果审核极限值随观测值而变化，那么可以用intreg来代替）。

潜在的未经审核的分布估计的均值为1.62，标准差2.49. 我们把未经审核的分布叠加到直方图中：

潜在的未经审核的分布匹配直方图的一部分，左边尾部补偿审查点的尖峰。

总结

在抽样数据中，删失和截断是不同的两种现象。截断高斯抽样中潜在的人口参数可以用truncreg来估计。删失高斯抽样中潜在的人口参数要用intreg或tobit来估计。

结语

我们已经讨论了删失和截断的概念，也举例说明了这两个概念的意思。与本次讨论有关的要点如下：

本次讨论是基于高斯模型之上的，但是主要的概念可以扩展到任意的分布中。以上的例子在没有协变量的情况下拟合回归模型，因此，我们可以更好地可视化删失和截断分布的形状。然而，这些概念很容易扩展到协变量的回归框架中，并且特定观测值的期望值是协变量函数。

我们已经讨论过使用truncreg和tobit来处理删失和截断数据。但是这些命令也可以应用到非删失和非截断数据中，只要这些数据是特定分布中的人口抽样。

写在后面：各位圈友，咱们的计量经济圈社群里面资料和计量咨询都很多，希望大家能够积极加入咱们这个大家庭（戳这里）。之后我们会逐步邀请社群里的圈友再直接建立微信群与圈圈对话，进去之后一定要看“群公告”，不然接收不了群信息。