第4.5节 偏差、方差与交叉验证
各位朋友大家好，欢迎来到月来客栈，我是掌柜空字符。
本期推送内容目录如下，如果本期内容对你所有帮助欢迎点个赞、关个注、下回更新不迷路。
4.5 偏差、方差与交叉验证 4.5.1 偏差与方差定义 4.5.2 模型的偏差与方差 4.5.3 超参数选择 4.5.4 模型选择 4.5.5 小结
4.5 偏差、方差与交叉验证
在第4.4节中，笔者介绍了什么是正则化，以及正则化为什么能够缓解过拟合的原理。同时我们知道，越是复杂的模型越可能产生过拟合的现象，这也就为模型在其他未知数据集上的预测带来了误差，但是这些误差来自哪里，又是怎么产生的呢？知道这些误差的来源后对改善我们的模型有什么样的帮助呢？接下来笔者就来介绍关于误差分析及模型选择的若干方法。
4.5.1 偏差与方差定义
在机器学习的建模中，模型普遍的误差来自于偏差（Bias）或方差（Variance）。什么是偏差与方差呢？
如图4-18所示 [1]，假设你拿着一把枪射击红色的靶心，在你连打数十枪后出现了以下4种情况：
(1) 所有子弹都密集打在靶心旁边的位置，这就是典型的方差小（子弹很集中），偏差大（距离靶心甚远）。
(2) 子弹都散落在靶心周围的位置，这就是典型的方差大（子弹很散乱），偏差小（都在靶心附近）。
(3) 子弹都散落在靶心旁边的位置，这就是典型的方差大（子弹散乱），偏差大（距离靶心甚远）。
(4) 所有子弹都密集打在了红色靶心的位置，这就是典型的方差小（子弹集中），偏差小（都在靶心位置）。
由此可知，偏差描述的是预测值的期望与真实值之间的差距，即偏差越大，越偏离真实值，如图4-18第2行所示。方差描述的是预测值之间的变化范围（离散程度），也就是离其期望值的距离，即方差越大，数据的分布越分散，如图4-18右列所示。
4.5.2 模型的偏差与方差
上面介绍了什么是偏差与方差，那么这4种情况又对应于机器学习中的哪些场景呢？通常来讲，一个简单的模型会带来比较小的方差（Low Variance），而复杂的模型会带来比较大的方差（High Variance）。这是由于简单的模型不容易受到噪声的影响，而复杂的模型（例如过拟合）容易受到噪声的影响而产生较大的误差。一个极端的例子，这个模型不管输入是什么，输出都是常数，那么其对应的方差就会是0。对于偏差来讲，一个简单的模型容易产生较高的偏差（High Bias），而复杂的模型容易产生较低的偏差（Low Bias），这是由于越复杂的模型越容易拟合更多的样本。
如图4-19所示为模型的偏差、方差与模型复杂度的变化情况。从图中可以看出，方差随着模型的复杂度增大而上升，偏差与之恰好相反。同时，如果一个模型的主要误差来自于较大的方差，则这个模型呈现出的就是过拟合的现象，而当一个模型的主要误差来自于较大的偏差时，此时模型呈现出的就是欠拟合现象。
总结来讲，模型的高方差与高偏差分别对应于过拟合与欠拟合。如果一个模型不能很好地拟合训练样本，则此时模型呈现的就是高偏差（欠拟合）的状态。如果能够很好地拟合训练样本，但是在测试集上有较大的误差，这就意味着此时模型出现了高方差（过拟合）的状态，因此，当模型出现这类情况时，我们完全可以按照前面处理过拟合与欠拟合的方法对模型进行改善，然后在这两者之间寻找平衡。