【强基固本】直观理解万能近似定理(Universal Approximation theorem)

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。

来源：知乎—小杰

地址：https://zhuanlan.zhihu.com/p/443284394

文本是教程"The Universal Approximation Theorem for neural networks" by Michael Nielsen 的笔记。

Universal approximation theorem

为什么MLP可以拟合任意的函数？

我们考虑一个最简单的神经网络，最后一层是sigmoid函数：

事实上这就是一个线性函数，然后经过sigmoid扭曲为一条曲线，显然，b决定了不同截距，从而导致sigmoid位置发生了平移。类似的，w决定了线的斜率，从而影响sigmoid倾斜程度：

如果我们将斜率w设置为非常大，那么这个sigmoid函数将成为一个分段函数：

如果熟悉决策树的话，其实已经可能有同学猜到这个分段函数怎么去近似任意的函数了，其实很直接，我们可以构造很多个不同的分段函数：

然后将他们以某种权重相加，就能得到一条经过两次分段的函数：

只要我们有足够多的分段函数，并且仔细调整他们相加的权重，我们就能近似任意的函数：

在多维函数也是类似的，只是变成一种对空间的划分，只要划分足够多，总能近似任意的函数。

参考资料

Pay Attention to What You Need: Do Structural Priors Still Matter in the Age of Billion Parameter Models?

Understanding the Universal Approximation Theorem

The Universal Approximation Theorem for neural networks

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“强基固本”历史文章

更多强基固本专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！