另一个角度看神经网络回归-频域分析
在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量之间相互依赖的定量关系的一种统计分析方法。一元回归是回归分析中的最简单的问题。其问题的描述如下：
对于映射y=f(x)，映射关系未知，仅有解释变量x与对应的被解释变量y的一组观测样本X与Y。回归问题的目的是根据X与Y找到一个映射关系y=g(x)，使得g(x)能够尽可能准确的描述f(x)。
根据解释变量x与被解释变量y之间的关系，回归模型有多种，例如线性回归，多项式回归等。线性回归只有在x与y为线性关系时才能够有较高的回归精度。多项式回归可以对更加复杂的映射关系进行回归。但是在多项式回归问题中，多项式的次数选择是一个难题，选择不当也会使得回归的误差较大。对于这种复杂的非线性问题，神经网络回归模型的优势就变的非常的明显。
一元神经网络回归模型如图 1所示。
神经网络回归模型与神经网络分类模型的网络结构类似，最大的区别在于回归模型中网络的输出层一般没有激活函数。在图 1所示的一元神经网络回归模型中，在模型的训练阶段，将解释变量样本X与对应的被解释变量样本Y分别输入到模型的输入端与输出端，并采用反向传播算法训练神经网络。在模型的预测阶段，采用训练好的模型根据解释变量x的值来输出相应的被解释变量y的值。
在回归问题中，回归模型的精度不仅取决于回归模型的结构，还与数据的分布有关。其中，变量数据的分布可以从多个角度进行描述。本文从频域的角度来讨论数据的分布与回归精度之间的关系。
1傅里叶级数简介
法国数学家傅里叶发现，任何周期函数f(x)（或者经过周期延拓的函数）都可以用正弦函数和余弦函数构成的无穷级数来表示。根据欧拉公式，这个无穷级数可以写成e的复指数的级数形式，如下所示：
其中，复指数的频率项nω即为原函数中包含的谐波频率，复指数项的系数
2分析方法
在回归问题中，已知的是解释变量与被解释变量的观测样本集合X和Y，映射关系f(x)未知，因此不能采用解析法来计算f(x)的傅里叶级数。因此需要采用数值的方法来计算。由于X和Y都是离散值，同时为了方便说明，假设对解释变量的采样是均匀的。这样就可以采用简单的离散傅里叶变换的方式计算傅里叶级数的系数。
如前所述，为了分析神经网络模型对于不同频率分布的数据集(X, Y)回归的精确度，本文采用实验分析的方法，分别生成包含不同频率的数据集，采用相同结构的神经网络对数据集进行回归，并通过傅里叶分析的方法查看神经网络对不同频率的数据集的回归效果。
本节采用相同结构的神经网络来对包含不同频率的映射f(x)进行回归。
1网络结构与数据集
本文中采用的神经网络包含5个隐藏层，从网络的输入端到输出端每个隐藏层的神经元个数分别为200,400,400,200,100。除了输入和输出的神经元，所有的神经元采用“tanh”激活函数。训练集的解释变量由从区间[-10, 10]之间均匀采样的500个点构成。
2低频函数回归
首先采用上述神经网络模型对低频函数进行回归，原函数为：y=sin(x)。其函数图像及频谱如图 2所示。
图 2
采用神经网络对上述函数进行回归，训练得到的神经网络模型的图像及频谱如图 3所示。
图 3
从图 2和图 3中可以看出，回归得到的模型的图像和频谱与原函数的图像和频谱基本相同，也就是说神经网络能够很好地对低频函数进行回归。
3高频函数回归
对于高频函数：y=sin(30x)，其函数图像及频谱如图 4所示。
图 4
采用神经网络对上述函数进行回归，训练得到的神经网络模型的图像及频谱如图 5所示。
图 5
从图 4和图 5中可以看出，回归得到的模型的图像和频谱与原函数的图像和频谱差别很大，即神经网络模型没有能够很好的对高频函数进行回归。
4多频率函数回归1
对于包含多种频率的函数：y=sin(x)+sin(3x)+sin(30x)，其函数图像及频谱如图 6所示。
图 6
采用神经网络对上述函数进行回归，训练得到的神经网络模型的图像及频谱如图 7所示。
图 7
对比图 6和图 7可以看出，图 7的频谱图中只有基频和3倍频率的频谱，缺少30倍频率的频谱。也就是说神经网络模型没有学习到数据的高频（30倍频率）特征。
5多频率函数回归2
对于包含多种频率的函数：y=sin(x)+sin(3x)+sin(15x)+sin(30x)，其函数图像及频谱如图 8所示。
图 8
采用神经网络对上述函数进行回归，回归得到的神经网络模型的图像及频谱如图 9所示。
图 9
从图 8和图 9中可以看出，神经网络模型学习到了原函数中的15倍频率和30倍频率的特征。通过比较图 6和图 8可以发现，图 8中的原函数比图 6中多了一个15倍频率的分量。而由于多了这个分量，神经网路模型不仅学习到了部分该分量的特征，还学习到了部分更高频率（30倍频率）分量的特征。
通过以上的实验分析可以看出，在回归问题中，神经网络模型的回归精度与训练样本数据的频率分布有关。总结来说，通过上述实验可以得到以下的结论：
在回归问题中，神经网络模型更容易学习到数据的低频特征，而不容易学习到数据的高维特征。
在回归问题中，神经网络模型的回归精度与训练数据集中所有频率分量的分布有关，而不仅取决于训练数据集中的最高频率分量的频率。
天枢实验室聚焦安全数据、AI攻防等方面研究，以期在“数据智能”领域获得突破。
往期回顾
本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。
关于我们
绿盟科技研究通讯由绿盟科技创新中心负责运营，绿盟科技创新中心是绿盟科技的前沿技术研究部门。包括云安全实验室、安全大数据分析实验室和物联网安全实验室。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。
绿盟科技创新中心作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一，与清华大学进行博士后联合培养，科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。
我们持续探索信息安全领域的前沿学术方向，从实践出发，结合公司资源和先进技术，实现概念级的原型系统，进而交付产品线孵化产品并创造巨大的经济价值。
长按上方二维码，即可关注我