认识非参数回归分析法

一、回归的来源

自从十八世纪利用最小二乘原理产生回归分析以来，回归分析就一直成为各研究领域数据分析的最重要方法。

进行回归分析主要有两个目的：一是探索和描述变量间的关系，另一是进行预测估计，即把回归看作是一种基于模型的数据归纳方法。

回归一词源于高尔顿(Galton)，他和学生皮尔逊(Pearson)在研究父母身高和子女身高的关系时，以每对夫妇的平均身高为X，取其一个成年儿子的身高为Y，并用直线y=33.73+0.512x来描述Y与x的关系。研究发现：如果双亲属于高个，则子女比他们还高的概率较小；反之，若双亲较矮，则子女以较大概率比双亲高。所以，个子偏高或偏矮的夫妇，其子女的身高有“向中心回归”的现象，因此高尔顿称描述子女与双亲身高关系的直线为“回归直线”。

然而，并非所有的x—Y函数均有回归性，但历史沿用了这个术语，更为精确的表达是“函数估计”。

二、函数估计

函数估计是一个经典反问题，一般定义为给定输入输出样本，求未知的系统函数。传统的方法为参数方法，即构建一个参数模型，再定义某个误差项，通过最小化误差项来求解模型的参数。

三、参数回归和非参数回归

（一）定义的不同：

1.如果表示反应变量与解释变量之间数量关系的回归函数属于由有限个参数所决定的一类函数时，即回归函数的形式已知，而其中的参数未知，则模型叫参数回归模型。

2.如果回归函数只限制属于某一光滑函数类（如函数是连续且可导的，并有平方可积的二阶导数），即属于某个无穷维的函数集合，则模型叫做非参数回归模型。

（二）假定不同：

1.参数方法尽管较为简单，但不够灵活。例如参数模型假设有误，则会导致整个求解流程失败。

2.非参数模型所需的假定要比参数模型弱得多，适用于任意分布的资料，无需提前假设参数模型的形式，而是基于数据结构推测回归曲面。

（三）分析方法不同：

参数回归分析方法首先需要对参数模型的具体形式作出选择，在此基础上参数方法不需要考虑模型拟合的光滑度问题，而一般强调拟合优度。

非参数回归模型的建模方法在于用粗糙度惩罚的思想来改进经典的方法，对回归函数进行估计，使光滑与回归自然结合，以便最佳地兼顾模型拟合的两个方面。

粗糙度惩罚的基本思想就是将模型曲线中快速波动变化的局部变异当作随机误差来处理，并进行量化以表示曲线的粗糙度，然后提出一个函数估计的问题，使得估计函数的拟合优度和光滑度之间达到最佳兼顾。

注：上图来源于网络

（四）常见模型

参数回归方法主要有：直线回归、多项式回归以及多重回归等模型。

非参数回归方法主要有kernel回归估计法、光滑样条、基函数方法和可加模型等。

（五）同一组数据的图像对比

1.参数回归

2.非参数回归

参考文献：

[1]张煜东,颜俊,王水花,吴乐南.非参数估计方法[J].武汉工程大学学报,2010,32(7):99-106.

[1]陈长生,徐勇勇,尚磊,赵东涛.多维样条回归模型及医学应用[J].中国卫生统计,2004,21(6):335-337.

[1]朋文佳,朱玉,贾贤杰,芈静.以案例为基础的参数与非参数回归教学辨析[J].淮海医药,2020,38(6):657-659.

[1]朋文佳,朱玉,贾贤杰,芈静.以案例为基础的参数与非参数回归教学辨析[J].淮海医药,2020,38(6):657-659.