自旋玻璃模型简介和空腔法 | 周六直播·神经网络的统计力学课程
导语
统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发未来对人工智能和人脑等复杂系统的进一步研究。本节课程是系列课程的第二节课程，将介绍什么是自旋玻璃、自旋玻璃应用的几个经典例子、为什么需要空腔方法、空腔方法的基本思想和具体推导以及消息传递算法等内容，搭建从统计物理到神经网络重要的桥梁，帮助大家更好理解神经网络的基本原理。
中山大学教授黄海平老师将根据他的书籍内容开展【神经网络的统计力学】课程，介绍统计力学的基本原理及其在理解神经网络内部工作原理的应用。课程自9月17日开始，每周六14:00-16:00（节假日除外）进行，课程从2022年9月持续到2023年6月，欢迎想要在神经网络理论深耕的朋友扫描文中二维码报名加入课程，详情见文末。
课程简介
课程简介
本节课程是系列课程的第二节。本节课主要包括两部分：
第一部分会对自旋玻璃系统进行一个简单的介绍，帮助没有统计物理背景的朋友快速了解自旋玻璃模型的基本定义、解决问题的基本框架、和与现实生活中问题的对应。自旋玻璃模型是从统计物理的角度理解神经网络最为重要的桥梁之一，同时也是现代神经网络的起源，在后续的课程中会对自旋玻璃进行更详尽的介绍。
第二部分会以一个信息编码中的一个例子讲解空腔方法的基本思想，具体过程和应用方法。空腔方法是复杂系统研究中一种很重要的方法，能让我们能以较低的计算代价得到系统的自由能，从而推断出系统的各种性质，在优化组合，信息编码和神经网络中都有很多应用。这节课主要了解它的基本思想，将在后续的课程里看到它在神经网络中的应用。
本节课程大纲
本节课程大纲
5. 延伸阅读
负责人介绍
负责人介绍
PMI Lab：https://www.labxing.com/hphuang2018
直播信息
直播信息
直播时间：
2022年9月24日（周六）下午14:00-16:00
参与方式一：视频号预约直播
扫码付费报名课程
神经网络的统计力学
每周更新，持续报名中
课程主要目的是培养一批有望在神经网络理论深耕的青年学者（侧重学生），课程涉及黄海平老师最新出版的书籍《Statistical Mechanics of Neural Networks》的大部分内容，目标是学习统计力学的基本原理及其在理解神经网络内部工作原理的应用。书籍涵盖了用于理解神经网络原理的必要统计力学知识，包括复本方法、空腔方法、平均场近似、变分法、随机能量模型、Nishimori条件、动力学平均场理论、对称性破缺、随机矩阵理论等，同时详细描述了监督学习、无监督学习、联想记忆网络、感知器网络、随机循环网络等神经网络及其功能的物理模型以及解析理论。本书通过简洁的模型展示了神经网络原理的数学美和物理深度，并介绍了相关历史和展望未来研究的重要课题，可供对神经网络原理感兴趣的学生、研究人员以及工程师阅读参考。
书籍目录（详版）：
Chapter 1: Introduction
Chapter 2: Spin Glass Models and Cavity Method
2.1 Multi-spin Interaction Models
2.2 Cavity Method
2.3 From Cavity Method to Message Passing Algorithms
Chapter 3: Variational Mean-Field Theory and Belief Propagation
3.1 Variational Method
3.2 Variational Free Energy
3.3 Mean-Field Inverse Ising Problem
Chapter 4: Monte Carlo Simulation Methods
4.1 Monte Carlo Method
4.2 Importance Sampling
4.3 Markov Chain Sampling
4.4 Monte Carlo Simulations in Statistical Physics
Chapter 5: High-Temperature Expansion
5.1 Statistical Physics Setting
5.2 High-Temperature Expansion
5.3 Properties of the TAP Equation
Chapter 6: Nishimori Line
6.1 Model Setting
6.2 Exact Result for Internal Energy
6.3 Proof of No RSB Effects on the Nishimori Line
Chapter 7: Random Energy Model
7.1 Model Setting
7.2 Phase Diagram
Chapter 8: Statistical Mechanical Theory of Hopfifield Model
8.1 Hopfifield Model
8.2 Replica Method
8.3 Phase Diagram
8.4 Hopfifield Model with Arbitrary Hebbian Length
Chapter 9: Replica Symmetry and Replica Symmetry Breaking
9.1 Generalized Free Energy and Complexity of States
9.2 Applications to Constraint Satisfaction Problems
9.3 More Steps of Replica Symmetry Breaking
Chapter 10: Statistical Mechanics of Restricted Boltzmann Machine
10.1 Boltzmann Machine
10.2 Restricted Boltzmann Machine
10.3 Free Energy Calculation
10.4 Thermodynamic Quantities Related to Learning
10.5 Stability Analysis
10.6 Variational Mean-Field Theory for Training Binary RBMs
Chapter 11: Simplest Model of Unsupervised Learning with Binary
11.1 Model Setting
11.2 Derivation of sMP and AMP Equations
11.3 Replica Computation
11.4 Phase Transitions
11.5 Measuring the Temperature of Dataset
Chapter 12: Inherent-Symmetry Breaking in Unsupervised Learning
12.1 Model Setting
12.2 Phase Diagram
12.3 Hyper-Parameters Inference
Chapter 13: Mean-Field Theory of Ising Perceptron
13.1 Ising Perceptron model
13.2 Message-Passing-Based Learning
13.3 Replica Analysis
Chapter 14: Mean-Field Model of Multi-layered Perceptron
14.1 Random Active Path Model
14.2 Mean-Field Training Algorithms
14.3 Spike and Slab Model
Chapter 15: Mean-Field Theory of Dimension Reduction in Neural Networks
15.1 Mean-Field Model
15.2 Linear Dimensionality and Correlation Strength
15.3 Dimension Reduction with Correlated Synapses
Chapter 16: Chaos Theory of Random Recurrent Neural Networks
16.1 Spiking and Rate Models
16.2 Dynamical Mean-Field Theory
16.3 Lyapunov Exponent and Chaos
16.4 Excitation-Inhibition Balance Theory
16.5 Training Recurrent Neural Networks
Chapter 17: Statistical Mechanics of Random Matrices
17.1 Spectral Density
17.2 Replica Method and Semi-circle Law
17.3 Cavity Approach and Marchenko
17.4 Spectral Densities of Random Asymmetric Matrices
Chapter 18: Perspectives
报名加入课程
欢迎对统计力学的基本原理感兴趣的你，加入【神经网络的统计力学】课程！
课程价格：499元
本课程可开发票。
课程负责人黄海平的评论文章：
点击了解系列课程详情：