相关性对模型的影响

在建模时，有个问题是必须要处理的，就是变量的相关性。当入模变量存在较大的相关性时，模型的稳定性会受到很大的影响。本文以最简单的线性模型为例，推导相关性对模型参数估计的影响。

线性模型的矩阵形式

最小二乘法的向量形式

那么该方程组的解是什么样子的呢？

解的唯一性的充要条件

线性回归模型的参数估计唯一性的充要条件

因此，相关性的存在对模型参数的估计有很大的影响。当变量的相关性较高时，可以得出很多的参数估计值，从而在同一样本上可以有很多个模型，模型的稳定性即泛化能力也会较差。

所以，在模型开发时，对相关性的处理是非常重要的，尽管有时在实践中很难完全消除相关性，但至少应该将相关性控制在一个较小的合理水平上。    

作者|小石头

来源|大数据风控的一点一滴

更多精彩，戳这里：