查看原文
其他

第4.2节 模型的改善与泛化(特征标准化)

空字符 月来客栈 2024-01-19

各位朋友大家好,欢迎来到月来客栈,我是掌柜空字符。

本期推送内容目录如下,如果你觉得本期内容对你所有帮助欢迎点个赞、关个注、下回更新不迷路。

  • 4.2 特征标准化
    • 4.2.1 等高线
    • 4.2.2 梯度与等高线
    • 4.2.3 标准化方法
    • 4.2.4 特征组合与映射
    • 4.2.5 小结

4.2 特征标准化

什么是特征标准化(Standardization)呢?为什么特征需要进行标准化?在回答这两个问题之前,笔者先来介绍一下什么是等高线。

4.2.1 等高线

如图4-4所示,上面部分为的函数图形,而下面部分则为函数 的等高线。也就是说,其实等高线就是函数 向下的垂直投影,而所谓等高指的就是投影中任意一个环所代表的函数值均相等。反映在3D图形上就是,在曲面上总能找到一个闭环,使环上每一点的函数值都相等,即距离谷底的高度都相同。

图 4-4 等高线投影图形
如图4-5所示,同样为函数的等高线图,只不过这次将它展示在二维平面。在图4-5中,任意一个环所代表的是不同取值下相等的函数值,同时可以看到中心点为对应的函数值为,通常这是通过梯度下降进行求解的最优点。

图 4-5 等高线图形

4.2.2 梯度与等高线

由于梯度的方向始终与等高线保持垂直,所以理想情况下不管随机初始点选在何处,我们都希望梯度下降算法能沿着类似如图4-6左边所示的方式达到最低点,而非右边的情形。

图 4-6 梯度下降方向图形

可以看出,若同时使用梯度下降算法来优化图4-6左右两边所代表的目标函数,则显然在左边的情形下能够以更快的速度收敛得到最优解。同时,从右图可以看出,若分别增加相同的若干个单位,则增加所带来的函数增量要远大于。例如,当初始点时,变化至的函数增量要远远小于变化至的函数增量,前者约等于,而后者约等于。什么样的目标函数会使等高线呈现出椭圆形的环状现象呢?答案就是,若不同特征维度之间的范围差异过大便会出现如图4-6右边所示的椭圆形等高线,具体分析将在4.2.3节中进行介绍。

在本节内容伊始,笔者便直接给出了梯度垂直于等高线的结论,下面先来大致分析一下梯度为什么会垂直于等高线。


为平面上任意曲线,又由于曲线的法向量为。故,曲线的法向量为。可以发现,曲线也就是的法向量正好就是曲线对应的梯度,所以可以得出梯度垂直于曲线(等高线)的结论。

如图4-7所示,已知曲线,因此其在点的梯度

图 4-7 曲线切线图形

继续滑动看下一个

第4.2节 模型的改善与泛化(特征标准化)

空字符 月来客栈
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存