老姚专栏丨与标准误有关的那些事

全文共3292个字，阅读大约需要9分钟

不少计量经济学初学者对标准误（Standard error）与标准差(Standard deviation)这两个概念存在一些混淆。本文基于一元线性回归模型，介绍了标准误的内涵以及对其的估计，并对假设检验与置信区间这些与标准误密切相关的主题进行了一个简明的梳理。

#01

从估计量谈起

标准误就是估计量的标准差，故要理解标准误，须先理解估计量（Estimator）。估计量本质上就是对我们感兴趣的参数进行估计的公式。将这个公式应用于不同的样本，一般会得到不同的估计结果。因此，估计量是一个随机变量，而不同样本下的估计结果就是这个随机变量的可能取值，简称估计值（Estimates）。

为便于理解，在此设想这样一个案例。假定我们试图通过一个一元线性回归模型来估计边际消费倾向参数。模型为：

在这里，代表消费支出，代表收入，是边际消费倾向参数。利用OLS方法，我们获得对的OLS估计量：

式（2）是一个估计边际消费倾向参数的一般性公式。现在我们把该公式应用于一个更加具体的场景。假定某地区10万居民构成总体，我们随机抽取其中1千名形成样本，以估计该地区居民的边际消费倾向参数。基于已经获得的一个样本，我们利用式（2）可以计算出一个估计值。从理论上讲，我们可以对总体进行多次抽样，获得多个样本容量均为1千的样本，进而我们可以获得多个估计值——它们都是估计量的可能取值。

#02

标准误衡量什么？

在英文中，随机变量的标准差被称为Standard deviation。估计量也是一个随机变量，那么为何要将其标准差称为Standard error呢？其实，这里的 error是指抽样误差(Sampling error）。换言之，标准误衡量的是抽样误差。

由于样本因随机抽样的偶然性而不能完全代表总体，基于样本所得到的那些估计值与待估参数存在差异，而这正是抽样误差的内涵。例如，在本文的案例中，假设我们进行多次抽样，并最终获得多个边际消费倾向参数的估计值。这些估计值一般都不会恰好等于真实参数。具体来说，真实参数会被其中一些估计值高估，被另外一些估计值低估。

当模型（1）满足高斯马尔科夫假定时，可以证明，OLS估计量具有无偏性——E(-)=0，亦即在期望意义上，估计量与真实参数不存在任何差异。这表明，虽然真实参数会被其中一些估计值高估，被另外一些估计值低估，但只要估计值足够多，这些高估与低估就会相互抵消，从而使得估计值平均来看与真实参数相等。

OLS估计量具有无偏性，意味着估计值对称地分布在左右两边。显然，它们围绕越紧密，则与的绝对差异就越小，对的估计精度就越高。鉴于估计值围绕分布的紧密程度可用估计量的标准差来反映，用估计量的标准差来衡量抽样误差就是一件水到渠成的事，而这也正是标准误称谓之缘起。

#03

假设检验之Z检验

当模型（1）满足高斯马尔科夫假定时，对于有限样本，可以证明：如果误差项服从正态分布（该假定与高斯马尔科夫假定合称为经典线性模型假定），那么估计量服从正态分布；对于大样本，基于中心极限定理可以证明：估计量渐近服从正态分布。

这个正态分布可用来表示，其中就是估计量的期望值，表明具有无偏性；就是估计量的方差，其等于标准误的平方。通过标准化，我们可以进一步获得一个服从标准正态分布的 Z 统计量：

上述这个 Z 统计量属于所谓的检验统计量，它为假设检验提供了基础。例如，一旦基于一个样本获得一个估计值，并假定是已知的，我们就可以在原假设下基于式（3）计算出一个Z值。当原假设为真时，Z 值不太可能偏离原点太远,亦即在原假设为真的前提下，Z 值偏离原点很远属于一个小概率事件。如果我们实际计算出的 Z 值确实偏离原点太远，就意味着小概率事件发生了，从而我们就有较大的把握拒绝原假设。

但不幸的是，假定已知一般来说是不现实的。为什么呢？因为在高斯马尔科夫假定下可以证明：             

在这里，是模型（1）中误差项的标准差，而问题在于，往往是未知的。因此，基于式（3）进行假设检验看起来不可行。

#04

估计标准误

若未知，则会妨碍假设检验以及对参数估计精度的判断。因此，我们需要考虑如何对其进行估计。一种非常直观的估计方法是：首先通过多次抽样获得多个样本，进而获得关于真实参数的多个估计值，然后将这些估计值作为一个样本，并计算样本标准差，最后用这个样本标准差来估计。不过问题在于，现实中我们一般只拥有一个样本，故此种方法不可行。

出路何在呢？由式（4）可知，如果我们能估计出误差项的标准差，那么问题就会迎刃而解。但新的问题是，误差项无法观测。不过，鉴于残差项与误差项的近似性，我们可以考虑利用残差项的样本标准差来估计误差项的标准差。令人高兴的是，这一思路被计量经济学中的一个重要结论所支持。该结论为：在计算残差项的样本方差时，若进行了自由度调整，则在高斯马尔科夫假定下，可证明残差样本方差是对误差方差的无偏估计。即：

在式（5）中，就是经过自由度调整后的残差样本方差，其专业术语为均方误差（Meansquared error，MSE)。进而，我们可以基于式（6）来估计误差的标准差：

式（6）中的被称为回归标准误（Standard error of regression），亦称均方根误差（Root mean squared error，RMSE）。一旦获得，则对的估计就为：

在这里，就是对的估计。

#05

假设检验之t检验

通过用替换式（3）中的，我们可以重新设计一个检验统计量，即所谓的 t 统计量，来进行假设检验。当模型（1）满足经典线性模型假定时，可以证明，t 统计量服从自由度为 N-2 的 t 分布：

证明式（8）成立的基本步骤是，式（8）可以变换为：

在式（9）中，分子Z服从标准正态分布，而分母中的服从自由度为 N-2 的卡方分布。因此，根据 t 分布的定义，可以证明式（8）成立。

接下来利用 t 统计量进行假设检验，其检验逻辑与 Z 检验相同。在此有必要对式（3）与式（8）进行比较：首先，式（3）中的是一个非随机的真实参数，而式（4）中的则是对这个真实参数的估计，是一个具有随机性的估计量；其次，正是因为分母的差异，这两个检验统计量服从不同的分布；最后，当模型满足高斯马尔科夫假定时，是对的一致估计，亦即随着样本容量趋于无穷大，从概率上看收敛于。这表明，t 分布的极限分布就是标准正态分布。

顺便再补充一点，根据概率理论，若一个随机变量服从自由度为 N-2 的卡方分布，则其期望值等于自由度 N-2 。因此，当服从自由度为 N-2 的卡方分布时，有：

显然，式（10）与式（5）等价。这表明，“均方误差是对误差方差的无偏估计”这一结论与“服从自由度为 N-2 的卡方分布”这一结论是相洽的。

#06

置信区间

一旦基于一个样本获得一个估计值，并假定已知，那么根据式（3），我们可以构建关于真实参数的置信区间。例如，鉴于：

那么在95%置信水平下，的置信区间就为。对这个置信区间的解释是：若进行重复抽样，则会获得很多，进而可构建很多的置信区间。在这些置信区间中，有95%的区间将包含真实参数。

置信区间与假设检验具有紧密的联系。例如，假设在95%置信水平下，我们获得一个置信区间为 4±2 。此区间不包含0，这意味着：如果原假设为真，那么发生了一个小概率事件——因为当原假设为真时，95%的置信区间将包含真实参数0，而现在这个置信区间竟然没有包含0。因此，我们就有95%的把握拒绝原假设。再例如，假设在95%置信水平下，我们获得一个置信区间为 4±5 。此区间包含0，这意味着：在原假设为真的情况下，并没有小概率事件发生，故我们不能拒绝原假设。

当未知时，构建类似这样的置信区间不可行。此时，我们可以根据式（8）来构建置信区间。具体来说，在95%置信水平下，的置信区间为。在这里，代表自由度为 N-2 的 t 分布的上2.5%分位点。

给定样本容量 N ，为常数。一个较有启发性的问题是，与1.96孰大孰小呢？为了回答这个问题，我们不妨回到与的区别。后者是对前者的估计，而追根溯源，两者的区别其实就是与的区别。值得注意的是，虽然是对的无偏估计，但根据Jensen不等式可以证明，低估了（点击这里复习“教科书没有讲的矩估计性质”）。因此，相应地低估了。于是，应该大于1.96，以维持置信水平不变。不过，鉴于t分布的极限分布为标准正态分布，随着N的增加，会越来越小，并最终收敛于1.96。

#07

一点补充说明

虽然与具有明显的区别，但不幸的是，鉴于常常未知而需估计，学者们为简化符号标识，一般也用来表示对标准误的估计。因此，当初学者遇到时，不妨停下来自问一下，它所代表的究竟是标准误还是对标准误的估计。

企研学术顾问 · 姚耀军

姚耀军，1976年出生，湖北利川人，浙江工商大学金融学院教授、博士生导师，浙江省高校中青年学科带头人，浙江省首期之江青年社科学者，浙江省“151人才工程”第三层次培养人员，杭州市“十三五”哲学社会科学应用经济学学科组评审专家，企研数据学术顾问。长期从事金融发展理论与实证研究，在《China & World Economy》《Frontiers of Economics in China》《金融研究》《数量经济技术经济研究》《财贸经济》《中国农村经济》等学术期刊上发表论文多篇，部分成果被《新华文摘》《中国法经济学研究》《中国经济的转型升级：新结构经济学方法与应用》《高等学校文科学术文摘》《人大复印资料》收录或者转载。主持教育部人文社科项目、浙江社会科学基金重点项目、浙江省自然科学基金项目等纵向课题多项。荣获中国制度经济学年会优秀论文奖、全国金融硕士教学案例大赛优秀案例奖、浙江省高校优秀科研成果一等奖、《金融研究》优秀论文奖、《财经研究》创刊60周年优秀论文一等奖等荣誉。担任《金融研究》《财经研究》等多个学术期刊的审稿专家。

►一周热文

数据Seminar

这里是大数据、分析技术与学术研究的三叉路口

作者：姚耀军推荐：杨奇明编辑：青酱

    欢迎扫描👇二维码添加关注