复杂系统的内部结构如何影响信息热力学？

导语

诸多物理和生物系统不仅有复杂的内部耦合关系，还与外界持续交换着能量和信息。从大脑到计算芯片，复杂系统内部的结构和耦合关系对于能量和信息的交换都有巨大的影响。5月9日，Chaos发表清华大学与华为2012实验室中央研究院的一项理论研究，分析了复杂系统内部耦合关系如何对系统与外界的能量-信息交换产生非平凡的影响，或有助于增进我们对大脑的信息加工以及计算元件的信息热力学优化的理解。

研究领域：统计物理，信息论，复杂系统

田洋 | 作者

邓一雪 | 编辑

论文题目：

Information thermodynamics of encoding and encoders

论文链接：https://aip.scitation.org/doi/full/10.1063/5.0068115

一、什么是信息热力学

当你在阅读这个句子时，你的大脑中涌现出协同的神经动力学以编码文字信息 [1,2]，并持续改变着你大脑的热力学状态（例如，神经元活动消耗了能量）[3]。这正是一个非孤立的复杂系统与外部环境有信息和能量交换的例子。类似的信息与能量交换的现象普遍存在于经典热力学体系[4-6]、量子系统 [6-8]和生物系统 [9-11]中，是许多复杂系统机能的物理基础。

信息热力学（Information thermodynamics）是一个分析各类经典和量子体系中信息与能量交换规律的统计物理分支。不严谨地说，信息热力学研究的是诸如“热力学量的交换如何导致信息的交换”、“信息增益的热力学代价是什么”和“信息擦除所需的热力学过程是什么”等问题。正如Szilard [12]和Landauer [13,14]的经典工作所指出的——每1比特的信息都是受物理规律约束的自然存在（Information is physical）。信息热力学是一门古老而年轻的学科，它的起源最早可追溯至对麦克斯韦妖（the Maxwell demon）的思考 [15]。现代意义上的信息热力学则成熟于对信息引擎（Information engines，即使用信息作为“燃料”的热力学机）的研究[16-20]，并因其对计算机硬件架构的优化指导能力得到计算机科学界的关注 [21]。

二、复杂系统的信息热力学

对于大脑等复杂系统，系统多样的内部耦合关系（例如大脑中神经元间的协同关系）在信息热力学过程中的作用是不可忽视的。如果我们将一个复杂系统视为编码器（Encoder），就能分析其编码外部环境中任意对象的信息的过程。在论文中，作者首先分析了编码器的非平衡态第二热力学定理（见图1）。

图1. 编码器在编码的信息过程中的非平衡态第二热力学定理

在特定条件下，该非平衡态第二热力学定理等价于经典的信息热力学不等式：

其中，I(X_(t), Y_(t))是互信息。该不等式说明，在等温条件下，目标成功被编码器编码的信息总是不大于系统的热力学损耗。

三、系统内部耦合关系的作用

和芯片等计算元件一样，系统的内部耦合关系（例如元件结构和电路排布）一方面直接决定其编码的信息的能力（例如计算元件的单位时间运算能力），另一方面也决定了其编码信息过程中的热力学损耗（例如计算元件的功耗）。为了理解系统内部耦合关系对信息热力学的影响，作者将编码器写作，其中X'和可以是任意两个子系统，而是两个子系统间的耦合关系。在论文中，作者研究了以下两种情况（见图2）：

• 编码器内部各元件独立的情况，即对于任意两个子系统X'和，均有。此时，编码器内各元件独立工作；

• 编码器内部各元件独立的情况，即存在子系统X'和，使得。此时，编码器内各元件协同工作（例如芯片中各计算单元由电路连接）；

图2. 编码器内部各类耦合情况的示例

通过引入信息论工具，作者发现了上述两种情况在信息热力学层面的区别（见图3）：

• 当编码器内部各元件独立或近似时，不仅编码器X整体满足，其任意子系统X'同样满足。即，对于无内部耦合关系的编码器，系统整体的热力学损耗一定大于等于该编码器内部任意子系统编码的信息量。此时，编码器整体信息热力学效率（信息增益与热力学损耗之比）大于等于任意子系统元件编码的信息热力学效率。从另一个角度来说，此时编码器的冗余量很低。

• 当编码器内部各元件不独立时，虽然编码器X整体满足，但可能存在子系统X'满足。即，对于有内部耦合关系的编码器，该编码器内部任意子系统编码的信息量可能大于系统整体的热力学损耗。此时，可能存在子系统元件编码的信息热力学效率比编码器X整体信息热力学效率更高的情况。从另一个角度来说，此时编码器的冗余量很大。对于芯片等计算元件，可以通过搜索符合条件的子系统X'作为新的编码器，此时不仅降低了系统的复杂度和功耗，还可能编码更多的信息。

图3. 编码器X内部各类耦合情况在信息热力学层面形成的差异

作者分别在Ising模型和真实神经数据上对相关理论发现进行了检验，证明了任意编码器的信息热力学过程的确会受编码器内部耦合强度的影响（见图4）。上述结果或能被进一步应用于分析对大脑信息加工过程的分析中。

图4. Ising模型和大脑的信息热力学受到系统内部耦合强度的影响

四、总结

总之，该研究分析了复杂系统内部耦合对于系统的信息热力学过程的影响。通过将任意复杂系统刻画为编码器，研究者可以对大脑和计算芯片等各类计算系统进行分析。在后续的研究中，相关工作或能为理解大脑等复杂生物系统的信息加工过程提供基础，也有望成为指导硬件和算法能耗优化的理论工具。

---

该研究由清华大学国强研究院人工智能与机器人领域自由探索研究项目(2020GQG1017)提供资助。作者感谢华为2012实验室中央研究院先进计算与存储实验室的Yaoyuan Wang和Ziyang Zhang研究员提供的支持，也特别致谢集智俱乐部的编辑在本文稿写作过程中提供的帮助。

参考文献

[1] M. M. Churchland, M. Y. Byron, J. P. Cunningham, L. P. Sugrue, M. R. Cohen, G. S. Corrado, W. T. Newsome, A. M. Clark, P. Hosseini, B. B. Scott et al., “Stimulus onset quenches neural variability: A widespread cortical phenomenon,” Nat. Neurosci. 13, 369–378 (2010). https://doi.org/10.1038/nn.2501

[2] P. Dayan and L. F. Abbott, Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems, Computational Neuroscience Series (MIT Press, 2001).

[3] G. Collell and J. Fauquet, “Brain activity and cognition: A connection from thermodynamics and information theory,” Front. Psychol. 6, 818 (2015). https://doi.org/10.3389/fpsyg.2015.00818

[4] R. Schwarz and A. Khachaturyan, “Thermodynamics of open two-phase systems with coherent interfaces,” Phys. Rev. Lett. 74, 2523 (1995). https://doi.org/10.1103/PhysRevLett.74.25235.

[5] E. Kuhl and P. Steinmann, “Mass- and volume-specific views on thermodynamics for open systems,” Proc. R. Soc. London, Ser. A. 459, 2547–2568 (2003). https://doi.org/10.1098/rspa.2003.11196.

[6] P. Talkner and P. Hänggi, “Colloquium: Statistical mechanics and thermodynamics at strong coupling: Quantum and classical,” Rev. Mod. Phys. 92, 1537 (2020). https://doi.org/10.1103/RevModPhys.92.041002

[7] M. Campisi, P. Talkner, and P. Hänggi, “Thermodynamics and fluctuation theorems for a strongly coupled open quantum system: An exactly solvable case,” J. Phys. A: Math. Theor. 42, 392002 (2009). https://doi.org/10.1088/1751-8113/42/39/392002

[8] K. Brandner and U. Seifert, “Periodic thermodynamics of open quantum systems,” Phys. Rev. E 93, 062134 (2016). https://doi.org/10.1103/PhysRevE.93.062134

[9] A. Katchalsky and O. Kedem, “Thermodynamics of flow processes in biological systems,” Biophys. J. 2, 53 (1962). https://doi.org/10.1016/S0006-3495(62)86948-3[10] H. Qian and T. C. Reluga, “Nonequilibrium thermodynamics and nonlinear kinetics in a cellular signaling switch,” Phys. Rev. Lett. 94, 116 (2005). https://doi.org/10.1103/PhysRevLett.94.028101

[11] D. T. Haynie, Biological Thermodynamics (Cambridge University Press, 2001).

[12] L. Szilard, “Über die entropieverminderung in einem thermodynamischen system bei eingriffen intelligenter wesen,” Z. Phys. 53, 840–856 (1929)

[13] R. Landauer et al., “Information is physical,” Phys. Today 44, 23–29 (1991). https://doi.org/10.1063/1.88129933.

[14] R. Landauer, “The physical nature of information,” Phys. Lett. A 217, 188–193 (1996). https://doi.org/10.1016/0375-9601(96)00453-7

[15] H. S. Leff and A. F. Rex, Maxwell’s Demon: Entropy, Information, Computing (Princeton University Press, 2014)

[16] 60. G. Diana, G. B. Bagci, and M. Esposito, “Finite-time erasing of information stored in fermionic bits,” Phys. Rev. E 87, 012111 (2013). https://doi.org/10.1103/PhysRevE.87.012111

[17] D. Mandal, H. Quan, and C. Jarzynski, “Maxwell’s refrigerator: An exactly solvable model,” Phys. Rev. Lett. 111, 030602 (2013). https://doi.org/10.1103/PhysRevLett.111.030602

[18]. D. Mandal and C. Jarzynski, “Work and information processing in a solvable model of Maxwell’s demon,” Proc. Natl. Acad. Sci. 109, 11641–11645 (2012). https://doi.org/10.1073/pnas.1204263109

[19]. Z. Lu, D. Mandal, and C. Jarzynski, “Engineering Maxwell’s demon,” Phys. Today 67, 60–61 (2014). https://doi.org/10.1063/PT.3.2490

[20] A. Chapman and A. Miyake, “How an autonomous quantum Maxwell demon can harness correlated information,” Phys. Rev. E 92, 062125 (2015). https://doi.org/10.1103/PhysRevE.92.062125

[21] T. Hylton, T. M. Conte, and M. D. Hill, “A vision to compute like nature: Thermodynamically,” Commun. ACM 64, 35–38 (2021). https://doi.org/10.1145/3431282

（参考文献可上下滑动查看）

复杂科学最新论文

集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：

推荐阅读

• 生命起源百年探索：进化论、信息论、热力学谁是主角？
  

点击“阅读原文”，追踪复杂科学顶刊论文