重磅|物理学家最新发现：神经网络效率 受限热力学第二定律

社群用户来源包含：麻省理工学院  斯坦福大学  牛津大学‍ 卡内基梅隆大学  剑桥大学  加州大学伯克利分校  苏黎世联邦理工学院  新加坡国立大学  普林斯顿大学  多伦多大学  帝国理工学院  墨尔本大学  香港科技大学  加州大学洛杉矶分校  清华大学  洛桑联邦理工学院  香港大学  爱丁堡大学  东京大学  香港中文大学  北京大学  复旦大学  武汉大学  南开大学  中科院等数百所名牌大学的研究生、博士以及教授；NVidia  Facebook  Baidu  Line  微软  IBM  谷歌  Bosch  Amazon  Tesla Motors  华为  英特尔  腾讯  阿里巴巴  蚂蚁金服  科大讯飞  旷世科技  碳云智能  地平线  软银投资  红杉资本等上千家全球一流AI相关企业的工程师以及技术专家。

导读：物理学家的最新研究表明: 大脑在学习新信息时，学习效率最终受到热力学定律的限制，热力学定律也同样限制着许多其它相似过程的学习效率。

热力学定律对神经网络效率的影响被发现

德国斯图加特大学的Sebastian Goldt告诉Phys.org说: “我们这项工作最重要的意义是将热力学第二定律引入到神经网络的分析中，热力学第二定律是一个非常强大的工具，它会告诉我们哪些过程是可能发生的——学习是一种以牺牲能量为代价的神经网络变换，这使我们的研究结果具有十分普遍的意义，并使我们向更深入理解神经网络的效率又迈进了一步。”

Sebastian Goldt和Udo Seifert是这篇论文的共同作者，论文已发表在最近一期的Physical Review Letters上。

新的衡量学习效率方式适用于任何不需要反馈的学习算法

所有的大脑活动都与数以亿计的神经元有关。“我们可以如何有效地学习“的问题就成了“神经元应如何响应来自其它神经元输入信号，来有效地调节输出信号”的问题。随着神经元更好的激发特定的模式，相应的想法就会在我们大脑中加强，正如俗话说的“同时激发的神经元会串联在一起“。

在新的研究中，科学家们发现学习效率受神经网络产生的熵限制。他们也证明了，神经元学习的越慢，产生的热量和熵就越少，效率也就越高。根据他们的发现，科学家们基于能量需求和热力学引进了一种新的衡量学习效率的方式。

由于结果具有一般性，它们可以用于任何不需要反馈的学习算法中，比如人工神经网络。

新发现对神经网络的多种影响

Sebastian Goldt说，从热力学的观点来看待神经网络。对他们思考如何提高效率提供了另一种工具，也给他们评价神经网络的性能提供了一种新方式，找到对应的最优的人工神经网络是有极大可能性的，但同时也具有极大的挑战。

接下来，研究人员计划分析反馈型神经网络学习算法的效率，同时也研究新模型是否具有现实可能性。

Sebastian Goldt说：“一方面，我们目前正在研究热力学是否能教会我们处理其它学习问题；另一方面，我们也正在积极实现我们的模型以及让我们的研究成果更具一般性。”

❈

全球人工智能近期经典文章推荐

❈