导语
因果涌现理论 是复杂系统研究的潜力方向，为意识形成、生命起源、集体行为等一系列宏观涌现问题提供了新的研究思路。1月26日，因果涌现理论提出者Erik Hoel做客集智读书会 。在读书会上，Erik Hoel回顾了因果涌现理论的核心逻辑，并分享了他对因果涌现的最新研究进展。本文梳理了Erik讲座的核心逻辑与研究重点。
在本次报告 中，Erik首先对因果涌现理论进行了介绍：因果涌现理论认为，宏观尺度可以减少因果关系中的噪音，从而在系统的宏观尺度上形成更强的因果关系。基于此，Erik提出一种用于度量因果强度的算法框架：即有效信息框架。
Erik还进一步介绍了他的即将发表的最新工作《Causal emergence is widespread across measures of causation》[1]：这篇文章回应了对因果涌现理论的核心批评，即因果涌现可能是基于有效信息算法下的一种特例。作者通过对多种度量因果强度的算法框架进行对比得出结论：宏观因果关系是一个关于因果关系的普遍事实，而非任何特定因果关系度量下产生的特例。
最终，Erik展望了因果涌现理论的潜在应用，因果涌现理论不但可以帮助我们识别系统（例如人脑神经系统）的最优尺度，还可能帮助我们进行复杂系统的模型设计。
Erik Hoel | 讲者
张章 | 整理
邓一雪 | 编辑
自然界中自然地存在着很多尺度：小至量子，大至星系。当我们观察一个系统时，我们也可以选择不同的尺度去观测——事实上，我们一直以来也是这样做的：通过对组成物质和射线的基本粒子的理解，人们建立了粒子物理学；通过对生物大分子的结构与功能的阐述，人们建立了分子生物学，通过对微观分子的集体行为的描述，人们进一步建立了统计物理学……如上每个学科的都在关注着我们的世界这一巨大系统的某一个特定的尺度——一个系统往往存在着多个尺度，而因果涌现理论的目的便是帮助我们识别有足够信息的尺度。 让我们用一个简单的例子来说明什么是一个系统的宏观和微观尺度，以及我们将要如何根据微观尺度的系统得到宏观尺度的系统。根据因果涌现理论，我们可以从时间、空间及共同考虑时空这三个角度从系统的微观状态找到一个宏观状态，如下图： 上图是一个通用的示意图，我们可以将上图中的节点看作系统的一个状态，连边即为系统状态之间的转移概率，这样上图即表示了任一系统的状态在状态空间中的变化过程。上图也可以表示一个复杂网络，如基因网络，节点可以代表基因，而连边则代表了基因之间随机游走子的随机游走子转移概率[2] （参见：https://campus.swarma.org/course/3575） 。 我们以上图中的第一列为例来说明如何从空间角度定义处于微观和宏观尺度的系统：因为系统的原本状态包含了关于该系统的一切信息，所以我们将系统的原本状态定义为系统的微观尺度。进一步地，我们可以让系统的部分节点组成新的宏观节点，如将将BCD这三个节点规约为一个宏观节点μ|A，由此我们产生的新系统则可以表示宏观尺度的系统。 根据前述定义，我们显然可以以人为的方式任意组合节点从而产生宏观尺度的系统，但何种宏观尺度的系统是有意义的呢？因果涌现理论告诉我们，当一个宏观尺度的系统呈现出比微观尺度更清晰的因果关系，则它是有意义的。从信息的角度而言，如果通过某种组合，使得我们的到了一个呈现更多信息，具有更少不确定性的宏观系统，那么因果涌现便发生了。数学上，我们可以这样量化一个系统的因果涌现水平：
其中CSmacro 代表宏观尺度系统的因果强度，CSmicro 则代表微观尺度系统的因果强度，自然地，二者的差CE可以被用于代表因果涌现水平。现在想象这样一个系统，其系统本身的因果强度并不高 （没有明确的因果关系） ，但经过重新划定之后的宏观系统的因果强度很高 （有明确的因果关系） ，那么我们便可以用红微观因果强度的差来量化因果涌现水平了。实际上，存在着很多种方法可以对一个系统的因果强度进行量化地度量，我们将在下一小节介绍有效信息理论，该理论是最早在被用于度量因果涌现水平的因果强度量化方法。
有效信息理论可以很好的帮助我们识别任意系统的因果强度[3]，基本上，一个系统的因果越明确，其有效信息就越大。我们用如下例子来说明一个系统的有效信息如何计算： 上图使用马尔可夫转移概率矩阵来描述了一个系统从t时刻到t+1时刻之间的状态转移概率，我们可以这样定义状态A的有效信息：
上式中，EI(A)表示状态A的有效信息，该有效信息实际上由两个分布的KL散度 （一种衡量分布之间的距离的算法） 计算得来。这两个分布中， 在计算了单个状态的有效信息之后，我们可以进一步定义整个系统的有效信息为所有单个状态的有效信息的平均值，即：
以上定义是从系统处于不同状态下对未来的确定性出发来确定的。我们也可以从确定性与简并性两个概念出发来定义有效信息，其结果是完全等价的。 所谓确定性和简并性是存在于任意一种因果结构中的两种属性，他们决定着原因和结果之间的确定程度，确定性和简并性可以由上述方法计算有效信息时的KL散度进行分解得到， 但我们也完全可以从第一性原理来定义确定性，简并性以及有效信息的关系。 所谓确定性是指当我们从某个状态出发时，我们对系统下一时刻的状态的确定程度的大小，一个极端确定的系统是这样的，无论系统当前处于哪个状态，我们都以概率1确定系统下一时刻的状态。而简并性则指当系统处于某个状态时，我们对系统上一时刻状态的确定程度的大小，在一个极端简并的系统中，我们无法精确找到每一个状态对应的上一时刻的状态，因此我们可以这样定义确定性和简并性。
在一个极端确定的系统中，系统的每一个状态都以1的概率演化到另一个状态，此时的确定性大小为log2 (N)，因为无论系统处于何种状态，系统下一时刻的状态分布的熵H[ （例如每个状态都以1/2的概率转移至左右两个状态） ，此时的简并性最小，为0，因为此时 一个确定且非简并的系统具有很高的有效信息，我们可以将有效信息定义为确定性和简并性的差，这样的定义与通过计算单个状态的有效信息再求期望是等价的。如下式：
通过前文，我们知道有效信息可以被用于度量一个概率转移矩阵的因果涌现水平，同样地，我们也可以衡量一个复杂网络的因果涌现水平。其基本思想是在网络的节点上放置随机游走子，该随机游走子随着网络的连边进行游走，我们将节点类比于前文中的系统状态，将随机游走子在两个节点之间经过的概率类比于前文中系统的两个状态之间转移的概率。从而计算一个复杂网络的因果涌现水平。 若一个复杂网络的因果涌现水平较高，这意味着针对该网路，存在着这样的“宏观网络”：在这个宏观网络上，我们可以很确定一个随机游走子从哪里游走过来，又将运动到哪里去。换句话说，在这个宏观的网络上，随机游走的因果动力学是明确的，而形成宏观网络的节点组合规则明确的情况下，宏观网络的因果动力学是否明确，完全取决于微观的网络结构。 通过对我们所知的各种网络结构进行因果涌现水平对比，作者发现生物网络更容易出现因果涌现效应，而技术网络则相对不容易出现因果涌现效应。更有趣的是，作者在最新的文章中发现，因果涌现似乎与进化有关，他们对比了原核生物和真核生物的蛋白质交互作用网络，发现真核生物的蛋白质相互作用网络比原核生物展现出更强的因果涌现效应，即因果涌现的程度和物种进化的方向是相关的，这或许说明蛋白质作用网络如果在宏观尺度上涌现出更强的因果会更适合物种的进化。
如同很多创新理论一样，因果涌现理论自问世以来一直在遭遇着批评，也在批评的动力中进化和完善。针对它一个核心批评是：目前为止，我们看到的因果涌现理论都依赖于有效信息这一种度量方式，那么因果涌现理论是否是有效信息度量下产生的巧合？如果整个因果涌现理论都强烈依赖于有效信息这一因果强度的度量方式，那么因果涌现理论实际上便并没有他宣称的那么重要。 Erik Hoel的最新工作回应了这一质疑，在此工作中，作者系统地总结了12种已知的因果强度的度量方式，并发现在所有的因果强度度量方法下都发生了因果涌现，这说明因果涌现理论并非依赖于某种特定因果强度度量手段的理论。具体而言，作者发现人们对因果的度量总体上存在着这样的原则：原因和结果之间如果既存在着较强的充分性，也存在着较强的必要性，则原因和结果之间便有着明确的因果关系。而充分性和必要性的度量方法分别如下：
上式说明，如果原因c发生，我们能以较高的概率观察到结果e发生，则c和e之间存在着较强的充分性。
上式说明，如果原因c没有发生，我们也已比较高的概率观测不到结果e的发生，则c和e之间存在着较强的必要性。 实际上，我们在有效信息理论中提到的确定性和非简并性便可以看做扩展的充分性和必要性：充分性对应着有效信息理论中的确定性，若c以比较高的概率让e发生，则说明c的存在对e来说是充分的，同时也说明由c到e的转化是确定的。必要性对应着有效信息理论中的非简并性，若c的存在对e来说是必要的，同时也意味着由c到e的转化是非简并的。 这里要注意一点，充分性和确定性虽然定性一致，但他们并非完全等同：考虑一个有四个状态的系统，这四个状态分别为A、B、C、D。系统目前处于A状态，它下一时刻转移到ABCD任一状态的概率都是1/4。在这种情况下，充分性是1/4，但确定性是0，因为从A出发的到的系统未来状态和和以最大熵概率生成的系统未来状态没有任何区别。 除有效信息理论之外，其他衡量一个系统的因果强弱的理论也普遍遵循着相同的框架，例如Ellery Eells曾提出，如果c是e的原因，那么c的出现必须提升e出现的概率，即
该理论说明两个变量之间如果确定性较强且充分性较强，那么他们便有强烈的因果联系。值得一提的是，该理论被著名因果科学家，图灵奖获得者Judea Pearl在提前不知情的情况下再次发现，在科学界中，某理论的重复发现在某种程度上印证了该理论的稳健性。作者验证了类似的多个量化因果强度的理论，结果发现在所有量化指标下，宏观因果强于微观的情况都出现了，即因果涌现发生了。 因果涌现理论目前虽并未在现实世界中被大规模应用，但我们仍能够看到其可能的广阔应用前景：一个因果涌现的系统是在宏观层面比微观层面因果关系更明确的系统，显然，这种宏观的因果关系降低了系统在微观层面的不确定性和噪声，并为系统提供了容错，例如：即使神经系统在微观层面上存在着很多噪声和不确定性，它在宏观上仍然是鲁棒的，且具有稳定的因果关系，这种思想为我们进行系统设计和建模提供了指导。我们可能根据这一原则进行系统设计，从而设计出具有因果涌现特征，并具备特定功能的系统。 除此之外，因果涌现理论还可以被用于识别系统最有信息量的尺度：例如，我们常见的核磁共振成像 （fMRI） 技术便是从宏观观测大脑的典型案例，但这个尺度是否是观察大脑的最优尺度呢？因果涌现理论或许可以帮助我们找到这一问题的答案。 集智俱乐部自开展因果涌现读书会以来，共进行了十六次讨论分享，这一期我们很幸运地邀请到了因果涌现理论的提出者Erik Hoel做客读书会进行讨论。Erik的分享不但总结了因果涌现的核心逻辑，还分享了他在这一方面尚未发表的最新工作，并提出了很多有趣的观点。诸如因果涌现理论的稳健性的证明，因果涌现理论或许可以帮助我们设计具有涌现性质的复杂系统，又如因果涌现和物种进化的之间的有趣的相关性等等。我们之所以对因果涌现这一话题如此关注，其原因之一便是涌现问题一直是复杂性研究的“圣杯”，而因果涌现则是目前在这一领域非常有价值的一次探索。因此我们推荐所有对这一话题感兴趣的朋友加入读书会进行共同研究，这片沙滩上一定还有许多宝石，等着我们去发现。 严肃的科学讨论结束，让我们最后用一点时间来聊一下这次讨论会上关于科学之外的有趣的收获：关于Erik 最新小说的讨论。事实上，Erik Hoel并不仅仅是一个出色的科学家，而且是一名科幻小说作者。近期，他的处女作《The Revelations》 （启示录） 获得出版，这是一部野心勃勃的作品，从希腊神话谈到动物实验的黑暗现实，再到今天科学家们面临的一些最大的未解之谜，这部小说深入探讨了对尖端科学与意识这些有趣的话题。事实上，Erik在其个人网站上说“《The Revelations》的出版是我做过最重要的事”。 在读书会的末尾讨论环节，岳玉涛与Erik Hoel之间发生了一段有趣的对话，在此摘录如下： 岳：我们知道你是一个科学家，同时也是一个作家，我最近在亚马逊订了你的书，准备开始读。实际上我在未来可能也会写一部小说。我很好奇你是如何处理科研和写作这两回事的？
Erik：非常感谢你买了我的书（笑），实际上我小时候在我妈妈的书店长大，我也在那里工作过，所以写作和阅读一直是我的一大兴趣。我一直以来都想做的事情是把科学放进文学作品里，这在文学作品中很少见，当然你能看到很多科幻作品，但那些基本上是对科学的想象，但我想把真正的科学放进去。
我在读博士期间写小说，占用了很多时间，这件事可能让我的导师不太开心。你可能看过我发表的论文，你会发现其实我发表的论文不多，我正在努力每年只发表两到三篇我真正喜欢的文章。在时间不足的情况下，我尽量不是压缩自己的科研时间，而是关注在真正感兴趣的领域上，嗯……实际上我也不知道能不能长期这样坚持下去（笑）。对了，如果你在你的小说写作过程中有所进展，记得要告诉我。
岳：谢谢，中国实际上有很多工作机会，无论在学术界还是其他领域，如果你感兴趣，我们都很欢迎你。
Erik：那太棒了，北京sounds better and better（笑）。
集智俱乐部正在准备将Erik Hoel的小说《启示录》其译成中文，敬请期待。 参考文献
[1] Comolatti R, Hoel E. Causal emergence is widespread across measures of causation[J]. arXiv preprint arXiv:2202.01854, 2022. [2] Brennan Klein and Erik Hoel. 2020. “The Emergence of Informative Higher Scales in Complex Networks.” Complexity 2020 (2020): 1–12. [3] Erik Hoel, Larissa Albantakis, and Giulio Tononi. 2013. “Quantifying Causal Emergence Shows That Macro Can Beat Micro.” Proceedings of the National Academy of Sciences of the United States of America 110 (49): 19790–95
如果你是有经验的科研工作者，推荐报名参加我们的因果涌现主题读书会 ，其中还有Erik报告的录播，并且可以与200+相关研究者交流。
如果你是初学者，对因果涌现这个主题感兴趣但面对大框架无从下手，我们还从初学者的角度整理了一个相对合适的学习顺序和逻辑，帮助你快速get重要的信息。详情见：
扫码即可
点击“阅读原文”，了解因果涌现理论学习路径