PNAS前沿：系统何时走向崩溃？深度学习算法帮助预警临界点
导语
临界点对于预测系统崩溃或其他突然变化至关重要。然而，现有的方法并不能普适地识别出即将到来的临界点。新研究使用深度学习，能够在不考虑所研究系统特异性的情况下，从生态学、热声学、气候学和流行病学的268个场景中，以更高的灵敏度识别出临界点，并产生更少的假阳性预测。该算法的成功说明，可以挖掘一系列可能的模型来识别自然界中的临界现象。
研究领域：动力系统，机器学习，相变理论，理论生态学
Marcus Lapeyrolerie，Carl Boettiger | 作者
郭瑞东 | 译者
梁金 | 审校
邓一雪 | 编辑
从疾病的暴发，到生态系统的崩溃，临界点是我们所见的最剧烈变化的成因之一。由于其内在本质，这也是最难预测的一类现象。使用机器学习的创新方法，能否破解这一难题呢？PNAS今年9月的一篇论文，令人信服地指出了这种模型具有的潜力。通过在海量模拟数据上训练深度神经网络模型，该文证明了监督学习可以成功地区分在哪些情况下，系统正在走向临界点。
论文题目：
Deep learning for early warning signals of tipping points
论文地址：
https://www.pnas.org/content/118/39/e2106140118#abstract-2
从脑电波到全球气候变化，在一系列复杂系统中都能观测到临界点（tipping point）现象 [2]。这一系列现象背后，有一个被称为临界慢化（critical slowing down，CSD）的共同显著特征[3]，这个在突变发生前的临界信号，使得发现通用判别器成为可能。然而，之前数十年的研究说明，这件事说起来容易，做起来难 [4,5]。
基于CDS的方法有一个巨大的弱点，就是找到的规律都过于通用，在灾难性的变化（catastrophic transition）没有发生时也会出现。灾难性的变化最早是由拓扑学家 Rene Thom 提出 [6]，他提出了突变理论（catastrophe theory）。临界点不仅发生在数学家称为差异倍数（fold change）的时候，还会在那些并非灾难性的相变点附近出现，例如超临界相变或Hopf 相变[7]。
上述三种造成显著变化的相变现象都曾在自然界中被观察到[5]。例如，由于社会或环境变化，当某种病毒的基本传播系数R0超过1时，超临界相变会发生，这时每个新的病患会传染多于一个患者。三种相变中，只有倍数分叉（fold bifurcation）一旦越过阀值，会造成系统由一个稳定点急剧、不可逆地转移到另一个远处的稳定点，这一现象被称为延迟（hysteresis）。
基于临界慢化的临界点预测方法，仅仅依靠统计指标，能够对临界点给出提前预警，但不能区分灾难性和非灾难性的变化。基于深度学习的方法，通过在海量模拟数据的训练，能够准确地区分出灾难性和非灾难性变化。未来的研究可以扩展到更多类型的相变上，并且不仅基于模拟的数据进行训练，还基于真实数据，例如生物体中的时间序列数据。
不同类型的相变使用基于临界慢化的方法，不仅会产生假阳性的预测，即对那些并不是灾难性的相变点给出预警，还经常无法预测灾难性的相变点[9,10]。这些方法需要输入大量高质量的数据，才能对即将到来的相变进行预测。数据的时间不足，或精度不够，都无法进行预测。基于临界慢化的方法之所以缺乏准确度和敏感度，是由于没有看到全局图景。基于深度学习的方法通过对比正常和灾难性变化的方程，找到了全局图景。
基于临界慢化的方法类似于管中窥豹，只是从灾难性和非灾难性的图景共有的一阶项中，预测将要发生什么。而每一类相变的规范形式（normal form），则能够显示出不同类相变的微妙区别，且高阶特征能够显示出何时一个灾难性的突变来临。不过，不同于能够通过统计指标简单区分出的临界慢化，这些微妙的高阶特征很难通过简单的统计指标得出。为了克服这一挑战，该研究使用了最强大的分类工具：深度学习。
深度神经网络具备的表征能力捕捉了更多细微的特征，区分出不同类型相变的不同层面。该研究结合了两种著名的神经网络结构：在视觉领域应用广泛的卷积神经网络，以及在自然语言和时间序列数据中应用广泛的LSTM[11]，之后在四类数据中训练模型，包括fold、Hopf、超临界相变及中性过程。相比临界慢化方法，训练后的神经网络能够以更高精度识别出这四类相变。
图3. fold、超临界以及Hopf相变的示意图
尽管这样，机器学习模型的性能受限于训练数据，能够准确分区猫和狗的神经网络，却并不能区分鲶鱼。该研究只考虑了三种特定的相变，即在二维的三阶多项式这一条件下。正如作者指出，自然界中存在更丰富的情况，不仅仅是他们设想的局部分叉[12]，还包括混沌动力学[13]、相变[14]及随机过程、非平稳或长时间的瞬态动力学[15]，以及其它只可能在高阶模型中出现的现象。将这些纳入模型中将显著增加分类难度，可能需要未来在设计和训练神经网络上的技术创新。
尽管如此，需要注意的是，这些神经网络被训练的是数学而非生物学。尽管深度学习模型能够识别出高阶项中的潜在特征，但其不具有人类研究者所掌握并引入研究的背景知识。例如，在这一系统中，另一个稳定点是否已经被识别出？诸如合作性的社交行为这样的正反馈，能否促成 fold 相变发生的条件？相变是在什么时间尺度上发生的，又是在什么样的变化的环境中发生的？
如果说，不考虑系统的特异性是临界慢化方法的优势，那么这也是其最大的弱势[16]。相比统计方法，机器学习方法能够在没有先验假定，不清楚具体细节的情况下，尽可能地利用系统的生物学背景。未来的研究应该尽可能在模型训练中引入生物学细节，这样模型不仅能学到数学，也能学到生物学。
通过不仅仅展示模型的结果，还公开训练用到的源代码和数据，该研究为未来研究奠定了基础。对于任何一个研究团队来说，训练一个通用的灾难性突变的预警模型都是一大挑战。但这也不必一蹴而就。各领域的研究者，可以通过提供超越多项式模型的临界突变的模型和数据，为此添砖加瓦，最好这些数据不仅仅是数学描述，还有生物学注释。随着训练数据的多样化，有监督的模型会变得越来越难以训练，但可以成为计算机科学界的公开挑战，用以衡量其算法在这些重大科学问题上的表现。
参考文献
1 T. M. Bury et al., Deep learning for early warning signals of tipping points. Proc. Natl. Acad. Sci. U.S.A. 118, e2106140118 (2021).
2 M. Scheffer et al., Early-warning signals for critical transitions. Nature 461, 53–59 (2009).
3 C. Wissel, A universal law of the characteristic return time near thresholds. Oecologia 65, 101–107 (1984).
4 C. Boettiger, N. Ross, A. Hastings, Early warning signals: The charted and uncharted territories. Theor. Ecol. 6, 255−264 (2013).
5 M. Scheffer, S. R. Carpenter, V. Dakos, E. van Nes, Generic indicators of ecological resilience: Inferring the chance of a critical transition. Annu. Rev. Ecol. Evol.
Syst. 46, 145–167 (2015).
6 R. Thom, Structural Stability and Morphogenesis: An Outline of a General Theory of Models (Addison-Wesley, Reading, MA, 1989).
7 Y. Kuznetsov, Elements of Applied Bifurcation Theory (Applied Mathematical Sciences, Springer Science & Business Media, 2013), vol. 112.
8 S. M. O’Regan, J. M. Drake, Theory of early warning signals of disease emergence and leading indicators of elimination. Theor. Ecol. 6, 333–357 (2013).
9 C. Boettiger, A. Hastings, Quantifying limits to detection of early warning for critical transitions. J. R. Soc. Interface 9, 2527–2539 (2012).
10 C. T. Perretti, S. B. Munch, Regime shift indicators fail under noise levels commonly observed in ecological systems. Ecol. Appl. 22, 1772–1779 (2012).
11 Y. LeCun, Y. Bengio, G. Hinton, Deep learning. Nature 521, 436–444 (2015).
12 A. Hastings, D. B. Wysham, Regime shifts in ecological systems can occur with no warning. Ecol. Lett. 13, 464–472 (2010).
13 K. Tunstrøm et al., Collective states, multistability and transitional behavior in schooling fish. PLOS Comput. Biol. 9, e1002915 (2013).
14 C. Boettiger, From noise to knowledge: How randomness generates novel phenomena and reveals information. Ecol. Lett. 21, 1255–1267 (2018).
15 A. Hastings et al., Transient phenomena in ecology. Science 361, 6406 (2018).
16 C. Boettiger, A. Hastings, Tipping points: From patterns to predictions. Nature 493, 157–158 (2013).
（参考文献可上下滑动查看）
原文地址：
https://www.pnas.org/content/118/40/e2115605118
复杂科学最新论文
集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：
推荐阅读
点击“阅读原文”，追踪复杂科学顶刊论文