PRL：互信息帮助分离环境噪声与系统内部相互作用

导语

生命系统，比如神经元、蛋白质、染色体，都存在于不断变化的外部环境中，同时又充满了复杂的内部相互作用，外在扰动常常淹没内部细微变化的信号。要如何区分来自环境的噪声与系统的内在相互作用呢？近日，PRL 上的一项研究证明，可以通过计算互信息来分离内部相互作用和外部噪声。这项工作为理解生命复杂系统提供了新工具，还可能帮助解决机器学习作为一种“黑箱”方法的境况；从更广泛的意义上说，对于我们如何理解噪声也非常具有启发：噪声有时是可以忽视的偏离平均值的涨落，有时是阻碍理解的隐变量，而在适当的时间尺度上，噪声也可能对系统的功能至关重要。

研究领域：生命系统，信息论，熵

Katie Newhall | 作者

潘佳栋 | 译者

梁金 | 审校

邓一雪 | 编辑

论文题目：

Mutual Information Disentangles Interactions from Changing Environments

论文链接：https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.127.228301

1. 和环境关联的生物系统

从大脑中传输信号的神经元，到细胞核中运动的染色体，生物学中有很多系统可以被建模为在噪声环境中相互作用的粒子网络。但是，如何从实验观察中重建粒子的相互作用？[1] 如何将来自环境的噪声与系统的内在相互作用分开？[2] 这些基本问题仍然困扰人们。

最近，意大利帕多瓦大学的Giorgio Nicoletti和瑞士洛桑联邦理工学院的Daniel Busiello展示了“互信息”（Mutual Information）如何帮助回答第二个问题[3]。他们的理论将随机环境和系统中在两个粒子位置之间产生关联作用的确定性相互作用力分开。这一步是理解环境噪声在真实系统中作用的重要一步。在真实系统中，噪声产生的响应可以与系统相互作用产生的信号一样复杂。

回想一下我们的高中生物课，生物过程似乎总是决定性的，没有随机性。例如，教科书会教导说，分子马达有节奏地沿着微管行进，而离子周期性地穿过生物膜。然而，这些过程实际上充满了固有的随机性和噪音：分子马达的 "脚 "在迈步之前会四处扩散，而且马达可以完全脱离微管；离子门以随机的时间间隔在 "开放 "和 "关闭 "两种状态之间波动（fluctuate，亦即涨落），使得离子的流动断断续续。这个问题使研究人员想知道，如果涨落持续存在，这些系统如何能够正常运作？甚至更令人惊讶的是，这些系统如何通过涨落使得功能得到改进？

粗略地说，与系统相关的涨落和相互作用可分为 "内在的 "或 "外在的"，其中内在涨落和相互作用通常由系统本身引起（例如，离子门的随机打开和关闭），外在涨落和相互作用产生于系统之外（例如，离子扩散环境中的热变化，或离子门激活信号的涨落）。外在涨落可以掩盖与系统内部细微变化有关的信号，并增加类似于内在相互作用产生的关联性。这两个因素使得提取模型参数甚至是相互作用规律变得更加困难。Nicoletti 和 Busiello 使用互信息理论来解决这个问题，该理论量化了两个变量的独立程度，以解开信号中的系统和环境相关性。

2. 互信息帮助分离外部噪声与内部信号

在研究中，Nicoletti 和 Busiello 考虑了两个粒子在含有不同大小的冷热斑块的液体中扩散（图1）。两人首先计算了环境对粒子运动的影响。他们让粒子周围的温度在热和冷之间随机切换来模拟温度变化，这一行动模仿了冷热液体斑块之间的运动。他们得出了在温度斑块较大的渐近极限下（对应缓慢的温度切换），粒子位置的联合概率分布。

然后他们计算了两个粒子之间的互信息，发现它正是波动环境的香农熵（Shannon entropy）（在小斑块的渐近极限中——对应快速的温度切换——粒子是独立的，因此不包含环境对其互信息的贡献）。

Nicoletti 和 Busiello 随后对两个弹簧耦合粒子重复了计算，发现它们之间的互信息是两个未耦合粒子的环境互信息和两个耦合粒子内在相互作用的互信息的叠加。因此，他们能够分离内在和外在的影响。

图1. 漫画显示了两个由弹簧耦合的粒子在具有不同温区的液体中穿行。摆动的线条显示了由弹簧的内力和粒子运动环境的外在温度变化所产生的关联性。

3. 噪声，可能至关重要

能够约束环境对生物过程的动力学影响将有助于从数据中找出内在相互作用的属性，例如从电压记录中推断神经元之间连接的存在和强度。因为Nicoletti和Busiello的计算对互信息进行了限制，而不是给出其明确的值，所以该框架应该适用于广泛的模型。

基于信息论的方法已经被应用于解决神经科学问题，如重建大脑中神经元的连接网络[4]和绘制大脑区域间的信息流[5]。这项新工作有可能扩展这个方向的研究，为理解这些复杂系统提供另一个新工具。

该方法还可以帮助开发物理上可解释的机器学习方法，以用于探测生物系统。从广义上讲，机器学习技术利用可能包含隐变量（latent variable）的噪声数据，并将这些数据分解开来(隐变量就像环境噪音，不能被直接观察到）。但机器学习仍然是一种黑箱方法，这种新方法可能有助于改变这种情况。

Nicoletti 和 Busiello 的工作还可能有另一个影响：了解噪声的时间尺度的影响。他们认为，环境温度变化的速度影响了粒子之间来自外在涨落的互信息。系统在不同时间尺度上对噪声响应程度的变化指示着生物学中正在出现的图景：噪声并不总是可以忽视的偏离平均值的涨落，也不总是阻碍参数测量的讨厌鬼。在适当的时间尺度上，噪声对系统的功能可能至关重要[6-8]。因此，继续开发工具来分析包含噪声的系统也很重要。

参考文献：

[1]W.-X. Wang et al., “Data based identification and prediction of nonlinear and complex dynamical systems,” Phys. Rep. 644, 1 (2016).

[2]A. Hilfinger and J. Paulsson, “Separating intrinsic from extrinsic fluctuations in dynamic biological systems,” Proc. Natl. Acad. Sci. U.S.A. 108, 12167 (2011).

[3]G. Nicoletti and D. M. Busiello, “Mutual information disentangles interactions from changing environments,” Phys. Rev. Lett. 127, 228301 (2021).

[4]D. Zhou et al., “Granger causality network reconstruction of conductance-based integrate-and-fire neuronal systems,” PLOS ONE 9, e87636 (2014).

[5]B. L. Walker and K. A. Newhall, “Inferring information flow in spike-train data sets using a trial-shuffle method,” PLOS ONE 13, e0206977 (2018).

[6]B. Walker et al., “Transient crosslinking kinetics optimize gene cluster interactions,” PLOS Comput. Biol. 15, e1007124 (2019).

[7]B. Walker and K. Newhall, “Numerical computation of effective thermal equilibrium in stochastically switching Langevin systems,” arXiv:2104.13271.

[8]K. B. Patel et al., “Limited processivity of single motors improves overall transport flux of self-assembled motor-cargo complexes,” Phys. Rev. E 100, 022408 (2019).

原文链接：

https://physics.aps.org/articles/v14/162

复杂科学最新论文

集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：

推荐阅读

点击“阅读原文”，追踪复杂科学顶刊论文