自旋玻璃模型简介和空腔法下 | 周六直播·神经网络的统计力学课程第三讲
导语
统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发学者对人工智能和人脑等复杂系统的进一步研究。由中山大学黄海平教授组织的【神经网络的统计力学】系列课程，系统性梳理统计力学的基本原理及其在理解神经网络内部工作原理的应用，自2022年9月持续到2023年6月，周六授课。课程视频将在集智学园网站同步，购课回看录播请扫二维码或下拉至文末报名。
10月15日（周六）14:00-16:00将进行系列课程的第三节。本节课程将介绍空腔方法的具体推导过程，空腔方法与消息传递算法的关系以及空腔方法在计算神经科学的应用等内容，帮助大家更好理解神经网络的物理原理及相关应用。本节课程会在集智学园视频号和B站直播，预约及报名方式见下文。
课程简介
课程简介
本节课程是系列课程的第三节，本节课主要包括3部分，会介绍空腔方法的具体推导过程，空腔方法与消息传递算法的关系及其在计算神经科学中的应用。
本节课程大纲
本节课程大纲
1. 为什么需要空腔方法&空腔方法的基本思想和具体推导
2. 从空腔方法到消息传递算法
负责人介绍
负责人介绍
黄海平，中山大学物理学院教授。本科毕业于中山大学理工学院，博士毕业于中国科学院理论物理研究所，随后在香港科技大学物理系、东京工业大学计算智能系 (2012年获日本学术振兴会资助) 以及日本理化学研究所 (RIKEN) 脑科学中心从事统计物理与机器学习、 神经计算交叉的基础理论研究，2017年因在无监督学习方面的研究获得 RIKEN 杰出研究奖。于2018年入选中山大学百人计划，在物理学院组建了“物理、机器与智能” （PMI）研究小组，专注于各种神经计算的理论基础，长期目标是使用基于物理的近似来揭示机器及大脑智能的基本原理。曾主持国家自然科学基金青年基金、优秀青年基金等国家级项目。
直播信息
直播信息
参与方式一：视频号预约直播或B站观看直播
1.集智学园视频号预约
参与方式二：付费加入课程，查看课程回放
付费后，可参与集智学园平台直播并加入交流群获得视频回放权限。欢迎对统计力学的基本原理感兴趣的你，加入【神经网络的统计力学】课程！
课程定价：499元
课程时间：从2022年9月17日起，每周六 14:00-16:00（节假日除外）
付费流程：
第一步：扫码付费
第二步：在课程详情页面，填写“学员信息登记表”
第三步：扫码添加助教微信，入群
神经网络的统计力学
每周更新，持续报名中
2.1 Multi-spin Interaction Models
2.2 Cavity Method
2.3 From Cavity Method to Message Passing Algorithms
3.1 Variational Method
3.2 Variational Free Energy
3.3 Mean-Field Inverse Ising Problem
4.1 Monte Carlo Method
4.2 Importance Sampling
4.3 Markov Chain Sampling
4.4 Monte Carlo Simulations in Statistical Physics
5.1 Statistical Physics Setting
5.2 High-Temperature Expansion
5.3 Properties of the TAP Equation
6.1 Model Setting
6.2 Exact Result for Internal Energy
6.3 Proof of No RSB Effects on the Nishimori Line
7.1 Model Setting
7.2 Phase Diagram
8.1 Hopfifield Model
8.2 Replica Method
8.3 Phase Diagram
8.4 Hopfifield Model with Arbitrary Hebbian Length
9.1 Generalized Free Energy and Complexity of States
9.2 Applications to Constraint Satisfaction Problems
9.3 More Steps of Replica Symmetry Breaking
10.1 Boltzmann Machine
10.2 Restricted Boltzmann Machine
10.3 Free Energy Calculation
10.4 Thermodynamic Quantities Related to Learning
10.5 Stability Analysis
10.6 Variational Mean-Field Theory for Training Binary RBMs
11.1 Model Setting
11.2 Derivation of sMP and AMP Equations
11.3 Replica Computation
11.4 Phase Transitions
11.5 Measuring the Temperature of Dataset
12.1 Model Setting
12.2 Phase Diagram
12.3 Hyper-Parameters Inference
13.1 Ising Perceptron model
13.2 Message-Passing-Based Learning
13.3 Replica Analysis
14.1 Random Active Path Model
14.2 Mean-Field Training Algorithms
14.3 Spike and Slab Model
15.1 Mean-Field Model
15.2 Linear Dimensionality and Correlation Strength
15.3 Dimension Reduction with Correlated Synapses
16.1 Spiking and Rate Models
16.2 Dynamical Mean-Field Theory
16.3 Lyapunov Exponent and Chaos
16.4 Excitation-Inhibition Balance Theory
16.5 Training Recurrent Neural Networks
17.1 Spectral Density
17.2 Replica Method and Semi-circle Law
17.3 Cavity Approach and Marchenko
17.4 Spectral Densities of Random Asymmetric Matrices
报名加入课程
课程价格：499元
第一步：扫码付费
第二步：在课程详情页面，填写“学员信息登记表”
第三步：扫码添加助教微信，入群