Nature Phycics：信息论方法描述高阶相互作用

导语

生态系统中多个物种的相互作用、社交网络中的信息传播、大脑神经元连接，现实世界中的复杂互动往往需要高阶网络来描述。2021年底，Nature Phycics 发表论文”复杂网络中高阶相互作用的物理学“，提出用超图方法对复杂网络动力学进行建模；最近另一篇文章“解耦复杂系统中的高阶机制与高阶行为”对此做了回应，提出信息论的互补视角关注系统的高阶行为。本文是对后一篇文章的翻译。

研究领域：高阶相互作用，高阶网络，超图，信息论

Fernando E. Rosas et al. | 作者

高飞 | 译者

梁金 | 审校

邓一雪 | 编辑

论文题目：

The physics of higher-order interactions in complex systems

论文链接：

https://www.nature.com/articles/s41567-021-01371-4

文章题目：

Disentangling high-order mechanisms and high-order behaviours in complex systems

原文链接：

https://www.nature.com/articles/s41567-022-01548-5

在复杂系统的研究中，我们应该如何考虑两个以上个体之间的高阶交互，Battiston 等人在2021年对此进行了完整地综述[1]。这种高阶交互可以用超图建模，利用拓扑数据分析技术来研究。而在另一条不同的研究方向上，众多文献已经发展出基于信息论的工具，用来描述观测数据中的高阶相互依赖。虽然这两方面的工作似乎是解决同一问题的不同方法，但是在本文中，我们将阐明情况并非如此：对于高阶现象的完整刻画需要我们同时拥抱这两类方法。

Battiston 及其同事综述的方法聚焦于所谓的高阶机制（high-order mechanisms），这通常用含有超越成对交互的哈密顿量或者动力学规则来建模。一个不同但互补的视角着眼于系统最后的高阶行为（high-order behaviour），也即，能用整体但不能用部分解释的活动模式。简而言之，高阶机制指建模数据生成过程，而高阶行为指对系统的多元变量统计中涌现出的性质。例如，在自旋玻璃系统中，高阶机制是指系统哈密顿量中的高阶项，而高阶行为是指其对应的玻尔兹曼分布中涌现出的模式（图1）。

图1. 自旋玻璃系统：（左）高阶机制，（右）高阶行为。对于自旋玻璃模型，系统的机制由编码（低阶）成对连接和（高阶）多重相互作用的哈密顿量给出，形成一个超图。相反，系统的行为由编码在联合概率分布中的观察模式的频率给出，这反过来可以建立高阶相互依赖关系，如协同或冗余[6-9]。

分析数据中的高阶行为具有很长的研究历史，起源于一篇信息论中的奠基性工作[2,3]及其在生物物理学中的应用[4,5]。这些早期的努力将高阶行为形式化为部分信息分解（partial information decomposition, PID）及其后续扩展的框架下[6-8]。这些文献为分析三个及以上变量之间的高阶相互作用建立了形式基础，并描述了它们之间协同或者冗余的本质。尽管本文首要关注的是基于信息论的技术，但也有很多其他的技术框架，用来探究复杂系统的高阶动力学，具体可参看2020年一篇Physics Reports的综述。

论文题目：

Networks beyond pairwise interactions: Structure and dynamics

论文链接：

https://www.sciencedirect.com/science/article/pii/S0370157320302489

机制与行为本质上强调了不同的问题：前者强调系统是如何构建的，后者关注与系统“做”了什么有关的涌现性质。关键在于，这两个问题是不可替换的：直觉上高阶行为必然来源于高阶机制，但事实并非如此（图2）。一方面，忽略高阶行为可能会导致对复杂现象的关键性质的忽视。另一方面，如果高阶方法仅仅依赖于成对的统计数据（例如用关联矩阵建立的单纯复型网络），将不足以应对识别高阶行为的任务，因为重要的信息可能只存在于高阶联合概率分布中，而不在成对的边际概率中。我们急需能够将这两类问题联系起来的推断方法：比如一种模型选择方法，能识别出最能匹配高阶行为的高阶机制，这也是对已有低阶方法的扩展。

图2. （左）一个简单的阻挫自旋模型，负耦合的拓扑使任意一个顶点的自旋无法同时与其他两个相邻自旋保持反平行。[10]（右）阻挫自旋系统中的低阶机制和高阶行为：系统的全局相关性大大超过了三个局部成对相关性的总和，说明低阶机制产生了无法用成对统计数据解释的高阶行为。

总之，区分高阶行为和机制能够更加清楚地阐明问题假设，并选择更加合适的工具来研究。这种区别将促进致力于复杂系统研究的不同团体之间的合作，这些观点的互补性将为深化我们对高阶现象的理解提供一个更强大、更包容的途径。

参考文献

[1]  Battiston, F. et al. The physics of higher-order interactions in complex systems. Nature Physics 17, 1093–1098 (2021).

[2]  McGill, W. Multivariate information transmission. Transactions of the IRE Professional Group on Information Theory 4, 93–111 (1954).

[3]  Watanabe, S. Information theoretical analysis of multi-variate correlation. IBM Journal of research and development 4, 66–82 (1960).

[4]  Gat, I. & Tishby, N. Synergy and redundancy among brain cells of behaving monkeys. Advances in neural information processing systems 111–117 (1999).

[5]  Tononi, G., Sporns, O. & Edelman, G. M. A measure for brain complexity: relating functional segregation and integration in the nervous system. Proceedings of the National Academy of Sciences 91, 5033–5037 (1994).

[6] Williams, P. L. & Beer, R. D. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515 (2010).

[7] Lizier, J. T., Bertschinger, N., Jost, J. & Wibral, M. Information decomposition of target effects from multi-source interactions: Perspectives on previous, current and future work (2018).

[8] Mediano, P. A. et al. Towards an extended taxonomy of information dynamics via integrated information decomposition. arXiv preprint arXiv:2109.13186 (2021).

[9] Rosas, F. E., Mediano, P. A., Gastpar, M. & Jensen, H. J. Quantifying high-order interdependencies via mul- tivariate extensions of the mutual information. Physical Review E 100, 032305 (2019).

[10] Matsuda, H. Physical nature of higher-order mutual information: Intrinsic correlations and frustration. Physi- cal review E 62, 3096 (2000).

（参考文献可上下滑动查看）

复杂科学最新论文

集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：

推荐阅读

点击“阅读原文”，追踪复杂科学顶刊论文

​​​