AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。
本次读书会，我们将详细探讨 AI+Science 中的重要分支，在每一个分支中探讨重要的问题，当前前沿方法，以及待解决的开放性问题。在 AI for Science 下，我们将着重探讨以下三个分支：AI 用于科学仿真，AI 用于科学设计，以及 AI 用于科学发现。在 Science for AI，我们将着重探讨物理启发下的生成模型，以及物理启发下的学习理论。
机器学习已经彻底改变了许多科学领域，解决了一系列重大问题：预测天气、模拟星系碰撞、为黑洞拍照、预测蛋白质结构、设计优化核聚变反应堆、自动化药物发现，甚至像科学家一样进行科学发现，识别复杂系统中的对称性和守恒律。重大挑战的解决方案通常涉及多个学科，因此，AI+Science 也是一个多学科交叉探索的前沿方向，吸引了来自计算机科学、数学、物理学、化学、生物学等各个领域的探索者。其中有两位研究者格外引人瞩目：物理学方向的 Max Tegmark 和计算机科学方向的 Jure Leskovec。
Max Tegmark 是麻省理工学院物理学教授、未来生命研究所（Future of Life Institute）创始人。在学术生涯的早期阶段，Max Tegmark 专注于宇宙学和量子信息的研究，利用基于信息论的数据分析工具进行宇宙微波背景辐射实验，结合最新观测数据和理论修正我们的宇宙学模型。现阶段，他的研究重点是将物理学和机器学习联系起来：AI for physics，physics for AI，利用基于物理的技术更好地理解生物和人工智能；同时也关注人工智能安全和可解释性。他在《穿越平行宇宙》一书中阐述了自己的“数学宇宙假说”（Mathematical universe hypothesis），在《生命3.0》中表达了对智能和未来生命终极形式的想象。个人主页：https://space.mit.edu/home/tegmark/。
吴泰霖，斯坦福大学计算机科学系的博士后研究员，由Jure Leskovec教授指导。他从麻省理工物理学博士毕业，其毕业论文主题为 AI for Physics and Physics for AI，本科毕业于北京大学。他的研究兴趣为 AI+Science，包括开发机器学习方法用于大规模科学和工程仿真，开发神经符号方法用于科学发现，以及由科学问题启发的表示学习（运用图神经网络、信息理论和物理等方法）。他的工作发表在NeurIPS、ICLR、UAI等顶级机器学习会议以及物理学顶级期刊上，并被 MIT Technology Review 报道。他是美国国家科学院院刊（PNAS）、Nature Communications、Nature Machine Intelligence、Science Advances等顶级期刊的审稿人。
刘子鸣，目前是麻省理工学院（MIT）物理系博士生，导师是Max Tegmark。此前2020年他从北京大学获得物理学士学位。他的研究兴趣在AI和物理的交叉：一方面 AI for Physics，利用AI工具自动化物理规律和概念的发现；另一方面 Physics for AI，利用物理启发构建AI理论和更具可解释性的模型。
由于任务的复杂度，AI用于科学仿真也能为机器学习和计算机科学提供全新的挑战，在如何设计全新的结合对称性的神经网络、表示学习、泛化理论、高性能计算、不确定性量化（uncertainty quantification）等方面有很多全新的机会。 文章列表：Lam, R., Sanchez-Gonzalez, A., Willson, M., Wirnsberger, P., Fortunato, M., Pritzel et al “GraphCast: Learning skillful medium-range global weather forecasting.”ArXiv推荐语：DeepMind 提出的一个用图神经网络作为代理模型来实现中程天气预报（7天）。其模型超越了开发了几十年的传统方法天气预报的准确度。其使用的多尺度图神经网络架构和训练方法有借鉴意义。 Li, Z., Kovachki, N. B., Azizzadenesheli, K et al. (2021b). “Fourier Neural Operator for Parametric Partial Differential Equations”. International Conference on Learning Representations(ICLR).推荐语：本文提出了基于傅里叶变换的神经算子(neural operator)架构，能够实现函数空间之间的直接映射。其在偏微分方程的模拟中具有很好的准确率，并且能够实现superresolution。 Pfaff, T., Fortunato, M., Sanchez-Gonzalez et al. (2021). “Learning Mesh-Based Simulation with Graph Networks”. International Conference on Learning Representations(ICLR)Wu et al.(2023) “Learning Controllable Adaptive Simulation for Multi-resolution Physics”. International Conference on Learning Representations(ICLR)推荐语：第一篇文章(Pfaff et al.)提出了MeshGraphNets，能够很好地进行基于网格的模拟(mesh-based simulation)，能够用于流体力学、计算机图形学等物理仿真领域。第二篇文章(Wu et al.)本文针对众多科学仿真中的多分辨率的问题，提出了一个新的方法，用一个MeshGraphNet学习系统的演化，另一个MeshGraphNet学习空间局域的再网格化（remeshing)，实现准确率和计算量的合理权衡。 Jumper et al. “Highly accurate protein structure prediction with AlphaFold”. Nature推荐语：本文提出了著名的 AlphaFold 2.0，其对蛋白质三维构象的预测的准确度极大超越了其他方法。 Deep Potential Molecular Dynamics: a scalable model with the accuracy of quantum mechanics, Physical Review Letters推荐语：本文提出了Deep Potential Molecular Dynamics的方法用于分子模拟。其模型包含系统的所有自然对称性，其准确率达到了量子力学精度。 Satorras et al.(2021) “E(n) Equivariant Graph Neural Networks”. International Conference on Learning Representations(ICLR)推荐语：本文提出了等变图神经网络，将空间平移和旋转的等变性（equivariance）植入到图神经网络的设计中，实现了在分子性质预测的优越性能。其将对称性植入神经网络的设计的思想值得学习。 相关文章
推荐人：吴泰霖、扈鸿业 设计和控制是科学和工程中的另一个核心任务。当有了准确和快速的科学仿真或者实际的实验仪器，那么在此之上可以设计系统的参数和边界条件（比如设计航天器的形状，设计药物，设计新材料）以及进行实验的设计和控制（比如设计量子纠错码，控制可控核聚变的实时磁场输入），以达到预先设定的目标。这个领域目前刚刚起步，其复杂性和难度为AI提供了一个极佳的施展空间，能够极大促进强化学习、扩散模型、图神经网络、泛化等机器学习领域新算法的开发。 另外，由于这个领域目前刚刚起步，还有很多重要的问题和领域并未或者极少有文章涉足。一些可能性如下： 1. 如何优化可控核聚变的托克马克装置的形状，或者设计新的托克马克装置？2. 如何通过机器学习设计政策（比如碳市场）或者设计大气工程以减缓全球变暖？3. 如何通过model-free的方式设计高鲁棒性的量子操控方案，实现高保真度多比特量子门？是否可以通过强化学习的方式来设计新的量子纠错码，帮助实验实现可纠错量子计算？ 文章列表：Degrave et al.(2022)“Magnetic control of tokamak plasmas through deep reinforcement learning” Nature推荐语：本文第一次将深度强化学习用于可控核聚变的实验控制。其先将强化学习算法在模拟器中训练，然后直接移植用于可控核聚变实验的控制，并且实现了之前无法实现的等离子体构象。其成功证明了深度强化学习在大型试验控制的广阔前景。 Allen et al.(2022) “Physical Design using Differentiable Learned Simulators.” NeurIPS 2022推荐语：本文在机器学习的代理模型之上，通过梯度下降学习系统的边界条件以优化目标。其表明了以机器学习代理模型为核心的设计系统的可行性和优越性。 Xu et al. (2022) “GeoDiff: a Geometric Diffusion Model for Molecular Conformation Generation.” International Conference on Learning Representations(ICLR 2022)推荐语：本文结合等变图神经网络和扩散模型用于生成分子的三维构象。其将对称性结合扩散模型的方法值得学习。 Hendrik Poulsen Nautrup, Nicolas Delfosse et al.(2019) “Optimizing quantum error correction code with reinforcement learning” Quantum推荐语：量子纠错码是实现可纠错量子计算并实现量子优势的关键，但是由于量子计算机硬件噪声的不同，针对硬件设计合适的量子纠错码是一个重要且艰巨的任务，改文章利用强化学习首次对70个qubit的surface code进行了优化，数值上展示了强化学习可以实现接近最优的量子纠错码设计。 Niu, M. Y., Boixo et al. (2019). “Universal quantum control through deep reinforcement learning.” Npj Quantum Information推荐语：结合深度神经网络的强化学习技术在最优控制方向展现了巨大的潜力。在量子计算中，如何操控底层物理体系的参数，实现高保真度且高效的量子比特门对量子技术尤为关键。本文利用TRPO强化学习对超导量子体系的参数进行优化，实现了高保真度的多量子比特门。 Wang, Z., Rajabzadeh, T et al. (2022). “Automated Discovery of Autonomous Quantum Error Correction Schemes.” PRX Quantum推荐语：该研究的主要工作是探讨如何通过引入额外的控制驱动和耗散作用来保护量子信息。其中研究人员通过利用数值变分优化来设计自主量子纠错编码，并在谐振子系统上展示了该方法的有效性，并提出了一种基于超导线路的硬件实现方案。 Sivak, V., Eickbusch, A at al. (2022). “Model-Free Quantum Control with Reinforcement Learning.” Physical Review X推荐语：模型误差是当前主流量子最优控制的瓶颈。由于数值模型和实验的不匹配，常常会导致数值优化的最优控制在实际中并不能达到理想的效果。该文章利用强化学习model-free的最优控制方案对制备高保真度量子态进行了最优控制的操作。该方案不依赖于制备量子态的保真度的实验估计，所以在所需量子测量数量和所需要制备量子态的数量上远超过传统的model-free的实验方案。 Chenfeng Cao, Chao Zhang et al.(2022). “Quantum variational learning for quantum error correction codes” Quantum推荐语：量子纠错码是实现可靠量子计算的关键。变分量子线路是不依赖可纠错量子计算机的一种针对中尺度有噪声量子计算机的变分算法。该文章首次利用变分量子线路来对量子纠错码进行优化。 Zhang, X., Wei, Z., Asad et al.(2019). “When does reinforcement learning stand out in quantum control? A comparative study on state preparation.” Npj Quantum Information推荐语：强化学习作为一种新型的技术开始被人们应用到量子最优控制问题上。然而量子最优控制问题也具有传统的优化算法，比如随机梯度下降算法。本文通过对比实验讨论了在哪些问题上，新型的强化学习算法，例如deep-Q learning, policy gradient可能会比传统的优化算法更优。
以上的这些问题，也与机器学习中的神经符号模型（neurosymbolic models）、不变学习（invariant learning）、因果学习、世界模型（world models）、主动学习（active learning）等有深刻联系。 文章列表：Iten, R., Metger, T. et al. (2020). “Discovering Physical Concepts with Neural Networks.”Physical Review Letters推荐语：这篇文章在玩具例子上展示了重要的物理概念如何在神经网络中涌现，比如相关参数、守恒量、日心说等等。 Udrescu, S., & Tegmark, M. (2020). “AI Feynman: A physics-inspired method for symbolic regression.” Science AdvancesUdrescu, S., Tan, A. T. H., Feng, J et al. (2020). “AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity.” ArXiv推荐语：这两篇文章提出了一种基于物理启发的符号回归方法。 Cranmer, M., Sanchez-Gonzalez, A., Battaglia, P. W. et al. (2020). “Discovering Symbolic Models from Deep Learning with Inductive Biases.” ArXivLemos, P., Jeffrey, N. L. S., Cranmer, M et al.(2022). “Rediscovering orbital mechanics with machine learning.” ArXiv推荐语：这两篇文章介绍了一种基于遗传算法的符号回归方法，并将其与图神经网络结合用于天体规律的发现。 Chen, B., Huang, K. L., Raghupathi, S et al. (2022). “Automated discovery of fundamental variables hidden in experimental data.” Nature Computational Science推荐语：这篇文章展示了如何用AI去提取实验数据（如视频）中的隐藏变量。 Tailin Wu,Max Tegmark. (2018). “Toward an AI Physicist for Unsupervised Learning.” ArXiv推荐语：这篇文章构造了一个AI物理学家，能够从观测数据中抽象总结出理论。它借鉴了人类物理学家的方法论：分而治之，奥卡姆剃刀，寻求理论统一，终身学习等等。 Cranmer, M., Greydanus et al. (2020). “Lagrangian Neural Networks.” ArXivGreydanus, S., Dzamba et al. (2019). “Hamiltonian Neural Networks.” Neural Information Processing Systems推荐语：这两篇文章讨论了如何从数据中学习守恒系统的拉格朗日量和哈密顿量。 Ziming Liu, Max Tegmark.(2021). “Machine Learning Conservation Laws from Trajectories” Physical Review LettersLiu, Z., Madhavan, V., & Tegmark, M. (2022).“Machine learning conservation laws from differential equations.” Physical Review推荐语：第一篇文章展示了如何把数守恒量个数的问题转化为流形学习问题，第二篇文章展示了如何把找守恒量的问题转化为解微分方程的问题。 Roohani, Y. H., Huang, K et al. (2022). “GEARS: Predicting transcriptional outcomes of novel multi-gene perturbations.” BioRxiv (Cold Spring Harbor Laboratory)推荐语：本文提出了一种方法，能够预测细胞中单个或者多个基因的扰动导致的转录反应，尤其能够泛化到训练集中没有出现过的基因扰动。通过这一文章，我们可以深入了解AI在精准医疗(precision medicine)这一重要领域的应用。 相关文章
“What I cannot create, I do not understand.” by Richard Feynman. 费曼曾经说过：“我无法理解那些我无法创造出来的东西”。同样的逻辑，对于复杂的系统/数据，如果我们可以创造/生成它，我们就能获得对它一定的理解。而物理特别擅长生成：简简单单的几条物理规律就可能生成出复杂的宇宙万物。这是物理启发的生成模型的出发点和动机。最近大火的Stable Diffusion也验证了这种思维模式的成功。
扩散模型
其他基于物理启发的生成模型
基于能量的模型
基于电动力学模型
量子生成模型
文章推荐：Gao, X., Anschuetz, E. R., Wang, S et al. (2022). “Enhancing Generative Models via Quantum Correlations.” Physical Review X推荐语：生成模型(generative model)是当代深度无监督学习中一个重要的支柱。该文章首次证明了在基于量子比特的量子生成模型上，量子关联可以提升生成模型的表达能力。 Eric R. Anschuetz, Hong-Ye Hu et al.(2022).“Interpretable Quantum Advantage in Neural Sequence Learning”ArXiv推荐语：生成模型(generative model)是当代深度无监督学习中一个重要的支柱。该文章首次证明了对于基于连续变量量子体系的生成模型，量子互文性可以提升生成模型的表达能力。该文章首次利用连续变量量子生成模型进行了语言翻译任务，并展示了在该任务上，基于同样隐变量(hidden memory)数量时，量子生成模型的表现超过了传统的GRU-RNN和Transformer。 Sohl-Dickstein, J., Weiss, E. G et al. (2015). “Deep Unsupervised Learning using Nonequilibrium Thermodynamics.” ArXivSong, Y., & Ermon, S. (2019). “Generative Modeling by Estimating Gradients of the Data Distribution.” Neural Information Processing SystemsHo, J. C., Jain, A et al. (2020b). “Denoising Diffusion Probabilistic Models.” ArXivSong, Y., Sohl-Dickstein, J., Kingma et al. (2021). “Score-Based Generative Modeling through Stochastic Differential Equations.” International Conference on Learning Representations(ICLR)Karras, T., Aittala et al.(2022). “Elucidating the Design Space of Diffusion-Based Generative Models.” ArXiv .推荐语：这几篇文章展示了扩散模型（的前世今生） 其它基于物理启发的生成模型：
基于能量的模型：
A tutorial on energy-based learning, Lecun et al.
基于电动力学的模型（性能超过扩散模型）：
Yilun Xu,Ziming Liu et al.(2022). “Poisson Flow Generative Models” ArXivXu, Y., Liu, Z., Tian, Y et al.(2023). “PFGM++: Unlocking the Potential of Physics-Inspired Generative Models.” ArXiv 相关文章
Physics-inspired learning theory@James O’Brien for Quanta Magazine 推荐人：刘子鸣 神经网络的复杂程度不言而喻，比如GPT-3有接近两千亿参数，但是这个参数量远不及物理世界的复杂度：一杯水中的分子就有1023那么多个。物理学家能够敏锐地发现复杂系统中的关键参数，发展有效理论，使得用简单几个参数描述系统并进行预测成为可能。物理学的这种“有效理论”的思想，有希望推动神经网络理论往更清晰直观的理论图像、和实验更加紧密的方向发展。
物理启发的 learning theory
物理启发下的 Machine learning theory
推荐文章：
Bahri, Y., Kadmon, J., Pennington, J et al.(2020). “Statistical Mechanics of Deep Learning.” Annual Review of Condensed Matter Physics推荐语：这篇综述文章总结了统计力学对深度学习的贡献。 Liu Ziyin&Masahito Ueda.(2022). “Exact Phase Transitions in Deep Learning” ArXiv推荐语：这篇文章给出了深度学习相变的一个基本模型。 Liu, Z., Kitouni, O., Nolte, N. S et al. (2022). “Towards Understanding Grokking: An Effective Theory of Representation Learning.” ArXiv推荐语：这篇文章将粒子相互作用理论和相图的工具应用于表示学习。 Roberts, D. K., Yaida et al. (2022). “The Principles of Deep Learning Theory.” ArXiv推荐语：这本书用场论的框架来分析神经网络。 相关文章