其他
第4.2节 模型的改善与泛化（特征标准化）
各位朋友大家好，欢迎来到月来客栈，我是掌柜空字符。
本期推送内容目录如下，如果你觉得本期内容对你所有帮助欢迎点个赞、关个注、下回更新不迷路。
4.2 特征标准化 4.2.1 等高线 4.2.2 梯度与等高线 4.2.3 标准化方法 4.2.4 特征组合与映射 4.2.5 小结
4.2 特征标准化
什么是特征标准化（Standardization）呢？为什么特征需要进行标准化？在回答这两个问题之前，笔者先来介绍一下什么是等高线。
4.2.1 等高线
如图4-4所示，上面部分为的函数图形，而下面部分则为函数 的等高线。也就是说，其实等高线就是函数 向下的垂直投影，而所谓等高指的就是投影中任意一个环所代表的函数值均相等。反映在3D图形上就是，在曲面上总能找到一个闭环，使环上每一点的函数值都相等，即距离谷底的高度都相同。
4.2.2 梯度与等高线
由于梯度的方向始终与等高线保持垂直，所以理想情况下不管随机初始点选在何处，我们都希望梯度下降算法能沿着类似如图4-6左边所示的方式达到最低点，而非右边的情形。
可以看出，若同时使用梯度下降算法来优化图4-6左右两边所代表的目标函数，则显然在左边的情形下能够以更快的速度收敛得到最优解。同时，从右图可以看出，若和分别增加相同的若干个单位，则增加所带来的函数增量要远大于。例如，当初始点时，从变化至的函数增量要远远小于从变化至的函数增量，前者约等于，而后者约等于。什么样的目标函数会使等高线呈现出椭圆形的环状现象呢？答案就是，若不同特征维度之间的范围差异过大便会出现如图4-6右边所示的椭圆形等高线，具体分析将在4.2.3节中进行介绍。
在本节内容伊始，笔者便直接给出了梯度垂直于等高线的结论，下面先来大致分析一下梯度为什么会垂直于等高线。
设为平面上任意曲线，又由于曲线的法向量为。故，曲线的法向量为。可以发现，曲线也就是的法向量正好就是曲线对应的梯度，所以可以得出梯度垂直于曲线（等高线)的结论。
如图4-7所示，已知曲线，因此其在点的梯度。