查看原文
其他

《神经网络的统计场论》出版招募 | 集智俱乐部「神经动力学社区」众包翻译书籍




背景




大脑活动的研究中面临的一个基本问题是:在每个神经元的观测值都有特征约束的情形下,从有限的观测数据中推断神经元网络行为并探究其信息处理机制。微观的神经元观测数据分辨率高,但受限于技术能观测的神经元数量。介观尺度集体信号能实现十万到百万个神经元信号的叠加,但这种数据只具有中等的时间分辨率。


以相互连接并作用的神经元群为单位构建模型,能够实现从微观到介观、宏观测量之间桥梁的搭建。在理想情况下,这种搭建方式还能够帮助限制微观尺度的网络运行机制。单个神经元能够接收数以千计的突触输入,并且这些突触输入服从大数定律,因此可以通过统计方程描述神经元信号的集体行为。但是这种基于统计方程的方法,只有极少能直接从微观动力学出发推导出来。


基于平均场的方法,可以将空间上一组邻近的神经元活动粗粒化成能用其平均行为表述的更大的神经元群,这也常常伴随着时间粗粒化,即用在时间上更平滑的相互作用代替神经元之间的脉冲耦合。但由于将神经元的微观动力学与宏观尺度上有意义的描述对应起来是困难的,因此粗粒化的过程需要依靠一些直觉决定平均场模型该包括哪些部分,这通常不能控制哪些效应是能够留下的,而哪些不能。


在理论固体物理研究中,能够产生丰富现象的微观相互作用是库伦相互作用,这种相互作用是对称的、瞬时的,并且随着时间的推移持续存在。而神经元系统中的相互作用往往是定向的(不对称的)、延迟的,并由短时间脉冲介导。因此,神经元网络可以看做一个特别的物理系统,具有比库伦相互作用还未知的现象。利用解释了许多固体物理学中集体行为的场论语言,有望进一步推动对大脑活动的研究。





作者




Moritz Helias 是德国亚琛工业大学于利希研究中心的组长和物理系的助理教授。他在汉堡大学获得理论固体物理学文凭,在德国弗莱堡大学获得计算神经科学博士学位。随后在日本 RIKEN Wako-Shi 和 Jülich 研究中心担任博士后职位。他的主要研究兴趣是神经网络动力学和功能及其使用统计物理学和场论工具的定量分析。


David Dahmen 是德国于利希研究中心神经科学与医学研究所的博士后研究员。他在德国亚琛工业大学获得物理学硕士学位,致力于粒子物理学的有效场论方法。之后,他转向计算神经科学领域,并于 2017 年获得博士学位。他的研究包括循环神经元网络的建模、分析和模拟,特别关注数学工具和模拟概念的开发和知识转移。他的主要兴趣是随机神经网络的场论方法、循环网络中的相关性以及局部场势的建模。





出版信息




这本书2019年在arXiv.org平台发布,并于2020年由Springer出版:

https://link.springer.com/book/10.1007/978-3-030-46444-8





主要内容




此书的目标是在一定程度上介绍统计场论的形式发展,使读者能够理解上述工作并将它们扩展到理论神经科学中出现的新问题。全书分三个部分:


第一部分(1-5章)介绍概率、矩、累积量及其关系等统计场论中的基本概念,以维克定理为例进行示例说明,并回顾统计学语境下的费曼图和微扰理论。


第二部分(6-10章)将静态的概率分布扩展到动力学系统,特别是伊藤(Ito)意义下的随机微分方程,并在Martin-Siggia-Rose-De Dominicis Janssen路径积分形式中处理。利用无序系统的概念,研究具有随机连接的网络并推导出其自洽动力学平均场论。基于动力学平均场论模型,解释神经元网络中涨落的统计量、混沌或有序状态的涌现,并在模型中加入随机性进行扩展研究。


第三部分(11-12章)以成对最大熵的伊辛模型为例对自洽动力学平均场论方程进行系统推导,并在此过程中介绍一些更高阶的概念,包括有效作用量、顶点函数和圈图展开。


主要目录

1.引言

2.概率、矩、累积量

3.高斯分布和维克(Wick)定理

4.微扰展开

5.链接簇定理

6.泛函方法的预备知识

7.随机微分方程的泛函描述

8.Ornstein-Uhlenbeck 过程:自由高斯理论

9.随机微分方程的微扰理论

10.随机网络的动力学平均场理论

11.顶点生成函数

12.将累积量展开为顶点函数的树形图

13.有效作用量的圈图展开

14.MSRDJ 形式中的圈图展开


详细目录

1 Introduction

1.1 Code, Numerics, FiguresReferences

2 Probabilities, Moments, Cumulants

2.1 Probabilities, Observables, and Moments2.2 Transformation of Random Variables2.3 Cumulants2.4 Connection Between Moments and Cumulants2.5 ProblemsReferences

3 Gaussian Distribution and Wick’s Theorem

3.1 Gaussian Distribution3.2 Moment and Cumulant-Generating Function of a Gaussian3.3 Wick’s Theorem3.4 Graphical Representation: Feynman Diagrams3.5 Appendix: Self-Adjoint Operators3.6 Appendix: Normalization of a GaussianReferences

4 Perturbation Expansion

4.1 Solvable Theories with Small Perturbations4.2 Special Case of a Gaussian Solvable Theory4.3 Example: Example: “φ3 + φ4” Theory4.4 External Sources4.5 Cancelation of Vacuum Diagrams4.6 Equivalence of Graphical Rules for n-Point Correlation and n-th Moment4.7 Example: “φ3 + φ4” Theory4.8 ProblemsReferences

5 Linked Cluster Theorem

5.1 Introduction5.2 General Proof of the Linked Cluster Theorem5.3 External Sources—Two Complimentary Views5.4 Example: Connected Diagrams of the “φ3 + φ4” Theory5.5 ProblemsReference

6 Functional Preliminaries

6.1 Functional Derivative6.1.1 Product Rule6.1.2 Chain Rule6.1.3 Special Case of the Chain Rule: Fourier Transform6.2 Functional Taylor Series

7 Functional Formulation of Stochastic Differential Equations

7.1 Stochastic Differential Equations7.2 Onsager–Machlup Path Integral7.3 Martin Martin–Siggia–Rose-De Dominicis–Janssen (MSRDJ)  Path Integral7.4 Moment-Generating Functional7.5 Response Function in the MSRDJ FormalismReferences

8 Ornstein–Uhlenbeck Process: The Free Gaussian Theory

8.1 Definition8.2 Propagators in Time Domain8.3 Propagators in Fourier DomainReferences

9 Perturbation Theory for Stochastic Differential Equations

9.1 Vanishing Moments of Response Fields9.2 Feynman Rules for SDEs in Time Domain and Frequency Domain9.3 Diagrams with More Than a Single External Leg9.4 Appendix: Unitary Fourier Transform9.5 Appendix: Vanishing Response Loops9.6 ProblemsReferences

10 Dynamic Mean-Field Theory for Random Networks

10.1 The Notion of a Mean-Field Theory10.2 Definition of the Model and Generating Functional10.3 Self-averaging Observables10.4 Average over the Quenched Disorder10.5 Stationary Statistics: Self-consistent Autocorrelation as a Particle in a Potential10.6 Transition to Chaos10.7 Assessing Chaos by a Pair of Identical Systems10.8 Schrödinger Equation for the Maximum Lyapunov Exponent10.9 Condition for Transition to Chaos10.10 ProblemsReferences

11 Vertex-Generating Function

  11.1 Motivating Example for the Expansion Around a Non-vanishingMean Value

  11.2 Legendre Transform and Definition of the Vertex-Generating Function

  11.3 Perturbation Expansion of

  11.4 Generalized One-line Irreducibility

  11.5 Example

  11.6 Vertex Functions in the Gaussian Case

  11.7 Example: Vertex Functions of the “φ3 + φ4”-Theory

  11.8 Appendix: Explicit Cancelation Until Second Order

  11.9 Appendix: Convexity of W

  11.10 Appendix: Legendre Transform of a Gaussian

  11.11 Problems

  References

12 Expansion of Cumulants into Tree Diagrams of Vertex Functions

  12.1 Definition of Vertex Functions

  12.2 Self-energy or Mass Operator

13 Loopwise Expansion of the Effective Action

  13.1 Motivation and Tree-Level Approximation

  13.2 Counting the Number of Loops

  13.3 Loopwise Expansion of the Effective Action: Higher Number of Loops

  13.4 Example: φ3 + φ4-Theory

  13.5 Appendix: Equivalence of Loopwise Expansion and Infinite Resummation

  13.6 Appendix: Interpretation of  as Effective Action

  13.7 Appendix: Loopwise Expansion of Self-consistency Equation

  13.8 Problems

  References

14 Loopwise Expansion in the MSRDJ Formalism

  14.1 Intuitive Approach

  14.2 Loopwise Corrections to the Effective Equation of Motion

  14.3 Corrections to the Self-energy and Self-consistency

  14.4 Self-energy Correction to the Full Propagator

  14.5 Self-consistent One-Loop

  14.6 Appendix: Solution by Fokker–Planck Equation

  References

15 Nomenclature


(详细目录可上下滑动查看)





出版社/合作商招募




Moritz Helias和David Dahmen两位具有不同学科背景的科学家撰写本书的目标是在一定程度上介绍统计场论的形式发展,使读者能够理解上述工作并将它们扩展到理论神经科学中出现的新问题。目标读者是物理学家、数学家、计算机科学家、神经科学家和想进入该领域的跨学科研究者,也可以作为高年级本科生和研究生的一学期的主要教材。


集智俱乐部神经动力学社区(600+人,硕博比例80%+)组织翻译了《Statistical Field Theory for Neural Networks》(神经网络的统计场论)一书。现招募对本书感兴趣的出版社对本书进行出版,也欢迎有意向基于本书内容开发课程等相关内容的机构一起基于本书内容进行策划。策划内容包括但不限于线上/线下课程、培训等。


有意向,请联系周莉,17613438759(微信同号)。





书籍推荐人




黄海平,中山大学物理学院教授。本科毕业于中山大学理工学院,博士毕业于中国科学院理论物理研究所,随后在香港科技大学物理系、东京工业大学计算智能系 (2012年获日本学术振兴会资助) 以及日本理化学研究所 (RIKEN) 脑科学中心从事统计物理与机器学习、 神经计算交叉的基础理论研究,2017年因在无监督学习方面的研究获得 RIKEN 杰出研究奖。于2018年入选中山大学百人计划,在物理学院组建了“物理、机器与智能” (PMI)研究小组,专注于各种神经计算的理论基础,长期目标是使用基于物理的近似来揭示机器及大脑智能的基本原理。

PMI Lab:https://www.labxing.com/hphuang2018。

个人主页:https://pattern.swarma.org/master/319


杨冬平,之江实验室混合增强智能研究中心研究专家。博士毕业于厦门大学物理系,曾在悉尼大学物理学院、香港浸会大学非线性研究中心攻读博士后,回国后任中国科学院海西研究院泉州装备制造研究中心研究员,类脑智能与脑科学课题组组长,具有物理、生物、神经科学、脑科学、数学和信息学等多个学科背景。在PloS Computational Biology, Physical Review E, Chaos,IEEE Transactions系列等知名期刊发表多篇论文,主持一项国家自然科学基金面上项目。

个人主页:https://pattern.swarma.org/user/19903

研究方向:睡眠,癫痫,类脑智能,专长于生物建模和计算机数值模拟,擅长平均场、线性稳定性、特征谱和特征模式、非线性动力学、时空多尺度、统计物理等数学物理理论分析。在悉尼大学物理学院攻读博士后期间对从清醒到睡眠、皮层-丘脑系统的临界规范型进行了深入研究。



神经网络的统计力学课程


统计物理方法是一座架起微观作用到宏观涌现的桥梁,2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举,他提出复本对称破缺方法解决自旋玻璃问题,这一方法也对神经网络等交叉学科产生深厚影响,激发学者对人工智能和人脑等复杂系统的进一步研究。由中山大学黄海平教授组织的【神经网络的统计力学】系列课程,系统性梳理统计力学的基本原理及其在理解神经网络内部工作原理的应用,自2022年9月持续到2023年6月,周六授课。



课程详情:

黄海平:神经网络的统计力学课程 | 50人免费名额



神经动力学模型读书会


为了促进神经科学、系统科学以及计算机科学等多领域学术工作者的交流合作,吸引更多朋友共同探索脑科学与类脑研究,周昌松、臧蕴亮、杨冬平、郭大庆、陈育涵、曹淼、刘泉影、王大辉、刘健、王鑫迪等来自国内外多所知名高校的专家学者在集智俱乐部共同发起「神经动力学模型」读书会,历时四个月研讨,近日圆满结束。

本季读书会形成了聚集500+成员的神经动力学社区,积累了40+小时综述、解读、研讨的视频记录,以及多篇社区成员总结的词条、笔记、翻译、科普资料等。现在报名加入读书会,即可加入社区交流讨论(微信),并解锁相关视频、文本资料。我们对脑的探索才刚刚起航,欢迎你一道参与,共同点亮更多脑科学研究的岛屿!




详情请见:

500+神经动力学社区成员,邀你共同点亮更多脑科学研究的岛屿



点击“阅读原文”,报名课程
继续滑动看下一个
集智俱乐部
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存