其他
最小二乘法的理解(I)
白灼菜心
首先，最小二乘法（ordinary least squares）所谓的“二乘”，就是平方的意思，在TW省也叫最小平方法。
最小二乘法估计主要用于线性回归的参数估计，是解决曲线拟合问题最常用的方法。
上图是ｘ、ｙ之间的散点图，我们希望通过图找到ｘ、ｙ两者之间的关系。
简单而言，随着ｘ值得增加，ｙ也会随着增加；
当然，我们想知道ｘ、ｙ之间的定量关系，用系数／方程式表达出来
例如， ｙ＝ｋｘ＋ｂ
可以知道，不可能有一条直线ｙ＝ｋｘ＋ｂ能串起所有点，所以我们希望能找出拟合最好得一条直线，综合来说距离这些点最短的直线。
直线和点之间的距离有＋有－，如果直接相加的话最后约等于０；所以可以用距离的平方之后再求和；
最小二乘法的公式：
yi为实际值，ａ＋ｂｘ是回归方程，也就是图中的直线，ａ、ｂ分别是斜率和截距。
最小二乘法本质就是求公式中Q的最小值。
你可能喜欢：