点击“蓝字”关注我们吧！

张心洁，南京师范大学数学科学学院统计学专业本科生。

模型平均方法综述（2）

频率模型平均（FMA）

上一篇文章中，我们介绍了两种频率模型平均方法，分别为基于信息准则的模型平均与基于 Mallows 准则的模型平均（MMA），在这篇文章中，我们继续介绍几种频率模型平均方法。

基于Jackknife准则的模型平均（JMA）

上次我们说到即使经过了改良，MMA方法依然不适用于异方差情形，而异方差性是现实数据特别是经济数据中的一种常见现象，下面将要介绍的JMA方法可以允许未知形式的有界异方差的存在，且同时适用于嵌套或非嵌套模型。基于Jackknife 准则的权重选择方法（简称JMA）是由 Hansen 和 Racine (2012) [1]提出的，其使用Jackknife重采样方法生成多个数据子集，则每个子集可能具有不同的方差。JMA方法对每个子集进行拟合建模，从而能够捕获到数据中的异质性，同时通过最小化交叉验证准则来进行权重的选择[10]。在线性参数模型中，交叉验证准则为权重的简单二次函数，因此可以通过数值二次规划进行求解。

考虑一组独立样本，其中，建立如下异方差线性回归模型：

其中，条件期望，，令为依赖于的条件方差。矩阵表达为，其中，均为向量。假设的估计矩阵为，线性情形下第个估计量可以表示为。我们主要关注最小二乘估计，则，其中为第个设计矩阵。

我们的目标依然是极小化均方误差（MSE），令为的权重向量且总和为1，即。则对于给定的权重，的模型平均估计为：

其中是以为参数的线性算子。

接下来我们引入权重的Jackknife选择（也称为留一交叉验证（leave-one-out cross-validation，LOOCV））。由于在JMA方法中，每个子样本是通过删除原始样本中的一个观测得到的，共有个观测，则此时的Jackknife模型平均估计可定义为

其中，第个Jackknife估计为，是由将第个观测删除计算得到的。它也可以表示为，其中，其由删除第行计算得到，则。由此我们得到Jackknife平均残差为

其中，为矩阵，则Jackknife准则为

其中为的矩阵，也被称为最小二乘交叉验证准则。因此权重的Jackknife选择是极小化的值，即

对应的模型平均估计为Jackknife Model Average（JMA）估计。可以证明，JMA估计是渐近最优的，且这种最优性在随机误差项是异方差甚至序列相关时仍然成立[3]，同时可以运用于分位数回归中[2]。

OPT模型平均

最优（OPT）权重选择方法是由Liang等(2011)[4]提出的，它建立在组合估计的均方误差上，推导了模型平均估计的MSE的精确无偏估计量，并提出了选择使得MSE估计的迹达到最小的模型权重。不同于Hansen(2007)[5]，OPT方法不需要对解释变量进行排序，且提出的准则是基于有限样本的。考虑以下线性回归模型：

其中为因变量向量， 与 为设计矩阵， 和 为参数向量。

为模型中的主要解释变量，是必选的，为次要解释变量，是可选的。若有个次要解释变量，则最大共有个拓展模型可供选择。设为模型平均过程中拓展模型的个数，如果所有的拓展模型都纳入考虑范围，则；若只有完整模型和无次要解释变量的模型，则；如果考虑Hansen(2007)提出的MMA模型，则。在实际中，可以事先排除一些明显不合理的模型，因此一般考虑个模型。

设定一类权重：

其中，参数，以及是连续的。是第个子模型中解释变量的个数，，其中为方阵。全模型情形下的最小二乘估计为，其中为列满秩的，即。，是对称幂等的且其秩为，是一个的列满秩矩阵。

这类权重包含了上述讨论的S-AIC以及S-BIC：S-AIC对应于，以及；S-BIC对应于，以及 ，另外它还包含了Smoothed Residual Mean Squares（S-RMS）以及光滑的广义交叉验证等权重[6]。

参数的选择是极小化下列准则得到的：

其中，为由构成的向量，且，且，为由作为其第个元素构成的向量。令

则权重为最优权重，被称为OPT权重，对应的估计称为OPT模型平均估计。我们可以证明，满足合理条件后，OPT估计是渐近最优的，且OPT包含了S-AIC、S-BIC等一些常用的权重。另外，准则是估计风险的近似无偏估计，因此OPT估计还具有较好的小样本性质[7]。

模型平均

上文已经提到，Hansen(2007)提出的MMA模型具有明显的缺陷，即不适用于异方差情形，因此Liu和Ryo(2013)[8]提出了一个对异方差具有鲁棒性的Mallows' 准则，并使用它进行权重的选择，称为异方差-鲁棒性（）准则。

模型的设置类似于MMA模型，即

其中，为样本数量，设是均方收敛的。与Hansen(20007)[5]以及Wan等(2010)[9]的模型不同的是，这里的残差具有异方差性，即。

设共有个候选模型，第个模型含有中任意个解释变量，且允许模型是非嵌套的，则第个近似模型为

则的模型平均估计可表示为，其中为选择集中的权重向量，。此时选择集与Hansen(2007)也是不同的，这里选择权重向量的目的是实现较小的估计损失或风险。如果将均方误差作为标准，定义损失函数为，其中为欧几里得范数。风险函数为，其中为设计矩阵。我们对损失(和风险)函数进行估计，并使用估计损失作为选择权重向量的标准，因此得到准则为

其中，为的对角矩阵，其对角线上第个元素为，为惩罚项。从而最优权重向量的估计为

这样，在一定的假设条件下，我们同样可以证明准则是渐近最优的。

参考文献

1.Hansen B E, Racine J S. Jackknife model averaging[J]. Journal of Econometrics, 2012, 167(1): 38-46.

2.Xun Lu and Liangjun Su. “Jackknife model averaging for quantile regressions”. In: Journal of Econometrics 188.1 (Sept. 2015), pp. 40–58. issn: 03044076.

3.Zhang X, Wan A T K, Zou G. Model averaging by jackknife criterion in models with dependent data[J]. Journal of Econometrics, 2013, 174(2): 82-94.

4.Liang H, Zou G, Wan A T K, et al. Optimal weight choice for frequentist model average estimators[J]. Journal of the American Statistical Association, 2011, 106(495): 1053-1066.

5.Bruce E. Hansen. “Least Squares Model Averaging”. In: Econometrica 75.4 (July 2007), pp. 1175–1189. issn: 0012-9682, 1468-0262

6.Bates J M, Granger C W J. The combination of forecasts[J]. Journal of the operational research society, 1969, 20(4): 451-468.

7.张新雨, 邹国华. 模型平均方法及其在预测中的应用[J]. 统计研究, 2011, 28(6): 97-102.

8.Qingfeng Liu and Ryo Okui. “Heteroscedasticity-robust Cp Model Averaging”. In: The Econometrics Journal 16.3 (Oct. 2013), pp. 463–472. issn: 1368-4221, 1368-423X.

9.Alan T.K. Wan, Xinyu Zhang, and Guohua Zou. “Least squares model averaging by Mallows criterion”. In: Journal of Econometrics 156.2 (June 2010), pp. 277–283. issn: 03044076.

10.Enrique Moral-Benito. “MODEL AVERAGING IN ECONOMICS: AN OVERVIEW: MODEL AVERAGING IN ECONOMICS”. In: Journal of Economic Surveys 29.1 (Feb. 2015), pp. 46–75. issn: 09500804.