Nat. Mach. Intell：优化物理学和机器学习之间的协同作用

导语

物理学可以帮助我们对机器学习有更深刻的认知，反过来，先进的机器学习模型则可以帮助解决物理科学中涉及到大量数据的问题，如流体力学、高能物理或天气预报。11月16日，Nature Machine Intelligence 撰写社论文章《优化物理学和机器学习之间的协同作用》，强调了物理学和机器学习之间建立新联系会催生强大的算法。

研究领域：物理学，机器学习，神经网络

Nat. Mach. Intell.  | 作者

郭瑞东 | 译者

梁金 | 审校

邓一雪 | 编辑

原文题目：

Optimizing the synergy between physics and machine learning

原文链接：

https://www.nature.com/articles/s42256-021-00416-w

1. 物理学增进对机器学习的认知

机器学习和物理学有着长期的紧密联系。早在1982年，John Hopfield 就发现了一个这样的联系，他认为，一个由相互作用的粒子产生磁性等涌现现象的物理系统，和一个由相互作用的具有自发计算特性的神经元组成的网络有类似之处。由此衍生出的 Hopfield 神经网络是递归神经网络（RNN）的先驱，在涉及时间和动力学特性的一系列机器学习场景中有着广泛应用。

从另一个角度来看，理论物理学有望帮助我们获得对机器学习的本质认知。1984年 L. G. Valiant 的一篇经典论文是该领域的奠基之作 [1]，阐述了关于学习的严格统计理论。但随着2010年以来深度学习的兴起，深度神经网络令人惊讶的、不合理的良好性能和泛化能力，提出了进一步的问题。

在 Nature Physics 最近的一篇评论文章中 [2]，Lenka zdeborová 呼吁，可以尝试用物理学启发的方法来解决这些问题，指出基于物理学家的经验，可通过寻找能够抓住问题本质的模型，忽略诸多细节，并用分析性研究来检验模型，从而处理大量不同实验产生的观察结果。

一个典型的例子是非常成功的磁性的伊辛模型，这个模型不包含任何磁相互作用的量子力学细节或材料性质，但解释了许多不同类型的实验现象。事实上，伊辛模型在机器学习中也被证明是有用的，因为 Hopfield 网络可以看作是神经网络的伊辛模型。这方面的努力可以帮助建立对深度学习的理论理解，说明为什么它表现得这么好[3]。

2. 机器学习帮助解决物理问题

从实际应用的角度来看，有许多机会可以很好地利用最先进的机器学习模型，解决物理科学中涉及到大量数据的问题，如流体力学 [4]、高能物理 [5] 或天气预报 [6]。一个活跃的主题是，使用机器学习模型，以偏微分方程的形式学习数学法则，这是湍流之类的复杂动力学现象的基础。在 Nature Reviews Physics 最近的一篇综述文章中 [7]，George Karniadakis 和同事们讨论了物理学可以嵌入到这些方法中的各种方式，以解决复杂的动力学问题，从地震预测到分子动力学。

另一个很有前景的联系，是通过深度学习来解决优化问题，特别是组合优化问题。在这些问题中，最优解必须在一个非常大但有限的可能构型空间中找到，这个空间的大小随问题的输入大小成指数规模增长，使得基于穷举搜索的策略变得不可行。众所周知的例子包括解决魔方、旅行推销员问题，或者找到蛋白质的 3D 结构。Mohammed Hibat-Allah 等人在 [8] 中提出了一种优化的新方法，融合了经典物理学、量子物理学以及深度学习的概念，特别适用于寻找无序伊辛系统（disordered Ising systems）的基态。

在统计物理学中，优化问题可以通过一种叫做模拟退火（simulated annealing）的计算方法来解决。这是一个启发式的过程，灵感来自于冶金中的退火，材料被迅速加热，然后缓慢冷却，使得材料能够在微尺度上重新排列成具有所需特性的最佳结构。模拟退火算法通过逐渐减少热涨落，来探索一个能量空间（energy landscape），以找到其全局最小值。例如下图是一个具有明确全局最小值的粗糙能量空间的例子。

关于蛋白折叠的简化的粗糙能量图景。| Source: [9]. Credit: Springer Nature Ltd

无论是经典的还是量子的模拟退火，对于优化问题都非常有用，但是通过“降温”（减少热涨落）来探索能量空间通常是一个缓慢的过程。Hibat-Allah 等人将模拟退火和变分方法结合起来，使用递归神经网络参数化系统状态的联合分布。这种新方法被称为变分神经退火（Variational neural annealing），它显著地加快了模拟退火过程。

3. 物理学和机器学习结合的广阔前景

物理学和机器学习之间还有更多富有成效的交叉碰撞。将机器学习与量子信息方法相结合的前景令人兴奋。其中一个重点是利用量子计算机加速机器学习 [10]，也许在不久的将来就会有可靠的量子硬件。与之相对的，机器学习也正在推动量子计算的进步。感兴趣的读者可以在 Giuseppe Carleo 等人的综合评论文章 [11] 中找到更多灵感，或者关注即将到来的 NeurIPS 机器学习和物理科学研讨会[12]。

参考文献

1. L. G. Valiant. A theory of the learnable. Communications of the ACM. Volume 27 Issue 11. Nov. 1984 pp 1134–1142.https://dl.acm.org/doi/10.1145/1968.1972

2. Zdeborová, L. Understanding deep learning is also a job for physicists. Nat. Phys. 16, 602–604 (2020). https://doi.org/10.1038/s41567-020-0929-2

3. Yasaman Bahri et al. Statistical Mechanics of Deep Learning. Annual Review of Condensed Matter Physics. Vol. 11:501-528 (Volume publication date March 2020) https://doi.org/10.1146/annurev-conmatphys-031119-050745

4. Lagemann, C., Lagemann, K., Mukherjee, S. et al. Deep recurrent optical flow learning for particle image velocimetry data. Nat Mach Intell 3, 641–651 (2021). https://doi.org/10.1038/s42256-021-00369-0. https://www.nature.com/articles/s42256-021-00369-0

5. Dan Guest,  Kyle Cranmer,  Daniel Whiteson. Deep Learning and its Application to LHC Physics.  arXiv:1806.11484 [hep-ex] (2018).https://arxiv.org/abs/1806.11484

6. Ravuri, S., Lenc, K., Willson, M. et al. Skilful precipitation nowcasting using deep generative models of radar. Nature 597, 672–677 (2021). https://www.nature.com/articles/s41586-021-03854-z

7. Karniadakis, G.E., Kevrekidis, I.G., Lu, L. et al. Physics-informed machine learning. Nat Rev Phys 3, 422–440 (2021). https://www.nature.com/articles/s42254-021-00314-5

8. Hibat-Allah, M., Inack, E.M., Wiersema, R. et al. Variational neural annealing. Nat Mach Intell 3, 952–961 (2021). https://www.nature.com/articles/s42256-021-00401-3

9. Kuhlman, B., Bradley, P. Advances in protein structure prediction and design. Nat Rev Mol Cell Biol 20, 681–697 (2019). https://www.nature.com/articles/s41580-019-0163-x

10. Biamonte, J., Wittek, P., Pancotti, N. et al. Quantum machine learning. Nature 549, 195–202 (2017). https://www.nature.com/articles/nature23474/

11. Giuseppe Carleo et al. Machine learning and the physical sciences. Rev. Mod. Phys. 91, 045002 (2019). https://journals.aps.org/rmp/abstract/10.1103/RevModPhys.91.045002

12. https://neurips.cc/Conferences/2021/Schedule?showEvent=21862

（参考文献可上下滑动查看）

复杂科学最新论文

集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：

推荐阅读

点击“阅读原文”，追踪复杂科学顶刊论文