高温展开 | 周六直播·神经网络的统计力学课程第七讲
导语
统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发学者对人工智能和人脑等复杂系统的进一步研究。由中山大学黄海平教授组织的【神经网络的统计力学】系列课程，系统性梳理统计力学的基本原理及其在理解神经网络内部工作原理的应用，自2022年9月持续到2023年6月，周六授课。课程视频将在集智学园网站同步，购课回看录播请扫二维码或下拉至文末报名。
11月12日（周六）14:00-16:00 将进行系列课程的第七讲，将会介绍基于变分方法的高温展开技术，并学习如何通过高温展开得到TAP方程。TAP方程是自旋玻璃理论中最为重要的方程之一，在推断和学习问题中有着广泛的应用。本节课程会在集智学园视频号和B站直播，预约及付费报名方式见下文。
课程简介
课程简介
本主题对应SMNN书籍的第五章，具体为：
Chapter 5: High-Temperature Expansion
5.1 Statistical Physics Setting
5.2 High-Temperature Expansion
5.3 Properties of the TAP Equation
本节课程大纲
本节课程大纲
负责人介绍
负责人介绍
黄海平，中山大学物理学院教授。本科毕业于中山大学理工学院，博士毕业于中国科学院理论物理研究所，随后在香港科技大学物理系、东京工业大学计算智能系 (2012年获日本学术振兴会资助) 以及日本理化学研究所 (RIKEN) 脑科学中心从事统计物理与机器学习、 神经计算交叉的基础理论研究，2017年因在无监督学习方面的研究获得 RIKEN 杰出研究奖。于2018年入选中山大学百人计划，在物理学院组建了“物理、机器与智能” （PMI）研究小组，专注于各种神经计算的理论基础，长期目标是使用基于物理的近似来揭示机器及大脑智能的基本原理。曾主持国家自然科学基金青年基金、优秀青年基金等国家级项目。
直播信息
直播信息
参与方式一：视频号预约直播
集智学园视频号预约
集智学园 B 站免费直播，房间号https://live.bilibili.com/6782735
参与方式二：付费加入课程，查看课程回放
付费后，可参与集智学园平台直播并加入交流群获得视频回放权限。欢迎对统计力学的基本原理感兴趣的你，加入【神经网络的统计力学】课程！
双十一集智学园VIP特惠方案启动，活动周期：2022年11月10日-10月17日，欢迎点击了解，加入VIP可以解锁全站课程、读书会等福利：
双十一限时优惠：加入集智学园年费VIP，与6000+集智社区成员一起探索复杂性！
课程定价：499元
课程时间：从2022年9月17日起，每周六 14:00-16:00（节假日除外）
付费流程：
第一步：扫码付费
第二步：在课程详情页面，填写“学员信息登记表”
第三步：扫码添加助教微信，入群
神经网络的统计力学
每周更新，持续报名中
2.1 Multi-spin Interaction Models
2.2 Cavity Method
2.3 From Cavity Method to Message Passing Algorithms
3.1 Variational Method
3.2 Variational Free Energy
3.3 Mean-Field Inverse Ising Problem
4.1 Monte Carlo Method
4.2 Importance Sampling
4.3 Markov Chain Sampling
4.4 Monte Carlo Simulations in Statistical Physics
5.1 Statistical Physics Setting
5.2 High-Temperature Expansion
5.3 Properties of the TAP Equation
6.1 Model Setting
6.2 Exact Result for Internal Energy
6.3 Proof of No RSB Effects on the Nishimori Line
7.1 Model Setting
7.2 Phase Diagram
8.1 Hopfifield Model
8.2 Replica Method
8.3 Phase Diagram
8.4 Hopfifield Model with Arbitrary Hebbian Length
9.1 Generalized Free Energy and Complexity of States
9.2 Applications to Constraint Satisfaction Problems
9.3 More Steps of Replica Symmetry Breaking
10.1 Boltzmann Machine
10.2 Restricted Boltzmann Machine
10.3 Free Energy Calculation
10.4 Thermodynamic Quantities Related to Learning
10.5 Stability Analysis
10.6 Variational Mean-Field Theory for Training Binary RBMs
11.1 Model Setting
11.2 Derivation of sMP and AMP Equations
11.3 Replica Computation
11.4 Phase Transitions
11.5 Measuring the Temperature of Dataset
12.1 Model Setting
12.2 Phase Diagram
12.3 Hyper-Parameters Inference
13.1 Ising Perceptron model
13.2 Message-Passing-Based Learning
13.3 Replica Analysis
14.1 Random Active Path Model
14.2 Mean-Field Training Algorithms
14.3 Spike and Slab Model
15.1 Mean-Field Model
15.2 Linear Dimensionality and Correlation Strength
15.3 Dimension Reduction with Correlated Synapses
16.1 Spiking and Rate Models
16.2 Dynamical Mean-Field Theory
16.3 Lyapunov Exponent and Chaos
16.4 Excitation-Inhibition Balance Theory
16.5 Training Recurrent Neural Networks
17.1 Spectral Density
17.2 Replica Method and Semi-circle Law
17.3 Cavity Approach and Marchenko
17.4 Spectral Densities of Random Asymmetric Matrices
报名加入课程
课程价格：499元
第一步：扫码付费
第二步：在课程详情页面，填写“学员信息登记表”
第三步：扫码添加助教微信，入群