第4.2节 模型的改善与泛化(特征标准化)
各位朋友大家好,欢迎来到月来客栈,我是掌柜空字符。
本期推送内容目录如下,如果你觉得本期内容对你所有帮助欢迎点个赞、关个注、下回更新不迷路。
4.2 特征标准化 4.2.1 等高线 4.2.2 梯度与等高线 4.2.3 标准化方法 4.2.4 特征组合与映射 4.2.5 小结
4.2 特征标准化
什么是特征标准化(Standardization)呢?为什么特征需要进行标准化?在回答这两个问题之前,笔者先来介绍一下什么是等高线。
4.2.1 等高线
如图4-4所示,上面部分为的函数图形,而下面部分则为函数 的等高线。也就是说,其实等高线就是函数 向下的垂直投影,而所谓等高指的就是投影中任意一个环所代表的函数值均相等。反映在3D图形上就是,在曲面上总能找到一个闭环,使环上每一点的函数值都相等,即距离谷底的高度都相同。
4.2.2 梯度与等高线
由于梯度的方向始终与等高线保持垂直,所以理想情况下不管随机初始点选在何处,我们都希望梯度下降算法能沿着类似如图4-6左边所示的方式达到最低点,而非右边的情形。
可以看出,若同时使用梯度下降算法来优化图4-6左右两边所代表的目标函数,则显然在左边的情形下能够以更快的速度收敛得到最优解。同时,从右图可以看出,若和分别增加相同的若干个单位,则增加所带来的函数增量要远大于。例如,当初始点时,从变化至的函数增量要远远小于从变化至的函数增量,前者约等于,而后者约等于。什么样的目标函数会使等高线呈现出椭圆形的环状现象呢?答案就是,若不同特征维度之间的范围差异过大便会出现如图4-6右边所示的椭圆形等高线,具体分析将在4.2.3节中进行介绍。
在本节内容伊始,笔者便直接给出了梯度垂直于等高线的结论,下面先来大致分析一下梯度为什么会垂直于等高线。
设为平面上任意曲线,又由于曲线的法向量为。故,曲线的法向量为。可以发现,曲线也就是的法向量正好就是曲线对应的梯度,所以可以得出梯度垂直于曲线(等高线)的结论。
如图4-7所示,已知曲线,因此其在点的梯度。