查看原文
其他

DeepMind再发Nature解决物理难题,图神经网络展示强大能力

Victor Bapst 集智俱乐部 2021-02-09

导语

玻璃相变(glass transtion)是物理学研究的重要命题,相变过程的本质尚未被彻底解释。本周,著名的 AI 研究机构 DeepMind 在 Nature physics 发表论文,用图神经网络模型,绕开传统的动力学定义,仅仅用粒子的初始状态就可以预测玻璃态系统的长期演变。该模型在不同温度、压强和密度范围都效果良好,展示了图网络的强大能力。


DeepMind 作为《自然》期刊的大户,最近在《自然·物理》发表了一篇论文,讲述了如何利用图神经网络研究玻璃态变化的问题。


论文题目:

Unveiling the predictive power of static structure in glassy systems

论文地址:

https://www.nature.com/articles/s41567-020-0842-8

玻璃,是我们常见却非常陌生的东西。尽管人类制造玻璃已经有2000多年的历史,但却对其物理性质了解不足。

在电子显微镜下面,一块我们平常看来光滑的玻璃,却看起来杂乱无章。原因在于,玻璃是从液态经过迅速冷却后变成的固体;我们知道液体的分子是杂乱分布的,因为液态分子没有足够的时间形成格子状的晶体,于是玻璃虽为固体,却仍冻结在液态的分子排布状态。

然而,粒子如何根据距离相互影响,以及这种影响如何随时间变化,依旧是玻璃动力学中一个尚未解决的核心问题。

在前几天刚刚去世诺贝尔奖得主菲利普 · 安德森(Philip W. Anderson)曾指出:

固体理论中最深奥、最有趣的未解决的问题可能是关于玻璃的性质和玻璃转变的理论。

图1:玻璃分子在液态和固态之间的运动变化过程
     
而 DeepMind 发表的这篇文章称其研究了一款人工智能系统(本质上是图神经网络),可以预测玻璃分子在液态和固态之间的运动变化过程。 

DeepMind 发言人表示:“我们在「玻璃动力学」(Glassy Dynamics)建模过程中所验证的心得和技术,可以应用到其他科学的核心问题中,也能够帮助揭开周围世界新事物的神秘面纱。”


1. 模拟玻璃的实际意义


玻璃相变(glass transition)在自然界是一种普遍存在的现象,不仅仅表现在窗(硅)玻璃中。在其他地方,例如在熨烫衣服时聚合物受热后,在熨斗重力作用下,会发生定向移动。一些胶体悬浮液(如冰淇淋),颗粒状材料(如沙堆),生物系统(细胞迁移)和社会行为(交通堵塞)都会发生类似的玻璃相变现象。

这本质上就是,在局部约束下,某个元素抑制了其他元素运动的系统变化。我们称这种变化为干扰相变(jamming transition)。

这种变化比较复杂,且相关性较大,以异质的方式在空间中进行传播,是一种大规模、集体的重新排列。

玻璃是这种复杂系统最典型的代表,因此也是最好的研究对象。

事实上,玻璃确实还比较神秘——尽管人类制造硅玻璃已经有几千年的历史,但是对于其背后的物理联系仍然琢磨不透,例如冷却过程中为什么粘度会上亿倍地增长,这个问题如今还是未知。

另一方面,玻璃也是能够很好将机器学习和物理问题结合的一个点,因为它比较容易模拟,也比较容易输入到基于样本的机器学习模型中。而且,最为关键的是,我们可以去分析模型本身,从而能够了解玻璃的本质。
 

2. 用图神经网络建模玻璃动力学


玻璃的建模,可以由一系列具有短程排斥势(Repulsive Potential)的粒子来模拟。这种势(更准确说应该是电势)会随粒子之间距离的增大而缩小,大到一定程度就可以认为等于零。于是可以认为只有相互靠近的粒子之间才有相互作用。
于是我们可以把这种粒子之间的关联性和局部性,建模成图结构的网络,然后用图神经网络的技术来预测玻璃的物理性质。

在DeepMind的这篇文章中,他们先根据三维输入创建一个图,其中用节点代表粒子,用边代表粒子之间的相互作用,并给它们之间的相对距离打上标签。

然后将图作为输入来训练图神经网络。如下图所示,对每个节点进行预测,并从中找到一个实值。      

图2:模型框架:a)在三维输入中,将相对距离小于2的节点连接起来,从而形成一个图形。b)图网络根据之前的嵌入和相邻节点的嵌入更新边缘,然后根据更新之后的边缘更新节点。c)整个图神经网络由一个编码器、一个解码器、几个核心应用组成。d)从编码器到更新节点的二维图示。

预测得到实值会用在计算机模拟中来观察玻璃体,从而获得的粒子移动规律。值得一提的是,这里使用的是平均初始速度和平均移动距离。

从上图可以看出,此网络架构是一种典型的图网络架构,里面包含多个神经网络。据DeepMind介绍,模型在具体运行过程中,先使用编码器网络将节点和边缘标签嵌入到高维向量空间中,然后对嵌入节点和边缘标签进行迭代更新:在所有的边缘使用同一网络并行更新之后,节点也根据其相邻的边缘嵌入和之前的嵌入进行更新。通常上述过程重复七次,便能够让局部信息在整个图网络中传播。

最后,使用解码器网络提取每个粒子的移动规律,其中解码器网络具有所有必须的属性:固有的关联性,图节点和边的排列下的不变性,以局部操作的组合方式更新嵌入。这里解码器的参数,是用随机梯度下降法得到的。

DeepMind还通过构建几个数据集来验证他们的模型,这些数据集对应于不同温度下、不同时间范围内的流动性预测。他们发现,在选择的时间尺度上,粒子会碰撞数千次,所以网络必须找到一种恰当的方法来刻画长期的动态过程。


3. 将网络预测与物理联系起来


将图网络应用到模拟的三维玻璃上后,作者发现,这些图网络的表现远远优于现有的模型,包括从标准的受物理启发的基准,到最先进的机器学习模型。      
 
图3:GNN 预测的移动率(颜色从最不活跃的蓝色到最活跃的红色)与三维盒子切片中最活跃的模拟粒子(点)的位置的比较。红色区域和点越对齐,表示性能越好。左边的平面对应着短时间尺度的预测,画面显示其网络实现了非常好的性能;右边的平面对应着比左边平面长28000倍的时间尺度,玻璃中的粒子开始扩展。动力学是异质的,粒子运动是局部相关的,但在宏观尺度上是异质的,然而该网络依旧能够做出与真实值模拟一致的预测。

通过比较预测的移动率(图3中的颜色梯度)和真实值模拟,他们发现,在短时间内,二者的一致性非常好,并且能够很好地匹配玻璃的松弛时间。

看着在松弛时间(真实玻璃的松弛时间为几千年)的时间尺度上的玻璃,就像在看着1皮秒(10的负12次方秒)上的液体:当粒子碰撞得足以开始丢失其初始位置的信息时,松弛时间会变得不那么精确。

在数字上,预测和模拟的真实值之间的关联性在非常短的时间尺度上为96%,而在玻璃的松弛时间上依旧高达64%(与此前最先进的模型相比,提高了40%)。

然而,作者并不只是简单地对玻璃建模,更重要的是理解其本质。因此,他们探索了哪些因素决定着模型是否成功,从而推断底层系统中哪些属性比较重要。

他们通过设计一个利用图网络特定架构的实验对此进行了研究。回想一下,反复应用边缘和节点的更新来定义任意给定的粒子周围的粒子壳:第一个壳由与“标记”粒子有一步之遥的所有粒子组成,第二个壳由与第一个壳由一步之遥的所有粒子组成,以此类推(见图2c 中不同的蓝色阴影部分)。

当模拟到第 n 个壳时,通过计算网络对中心粒子做出的预测的敏感性,能够计算出网络用来提取预测的区域有多大,而预测能够提供一个对物理系统中粒子相互影响的距离的估计。

图4:消融实验。在左边的实验中,一个中心粒子周围的第一个壳以外的所有粒子都被移除。在正确的实验中,通过增加第一个和第二个粒子壳之间的距离来扰动输入。

作者发现,在预测不久后或液相中将会发生什么时,第三个壳的剧烈变化(例如图4左中,所有的粒子都被移除)并没有改变网络对标记的粒子的预测。另一方面,在低温环境或对很久以后发生的事情进行预测时,在玻璃开始松弛后,即便是第五个壳的微小扰动(图4左),就会影响对标记的粒子的预测。

这些发现与关联长度会随着临近玻璃转变而增加的物理图像一致,其中关联长度计算的是粒子相互影响的距离。

关联长度的定义和研究,是物理学中相变研究的基石,也是研究玻璃时依旧存在的一个争论点。虽然这种“机器学到的”关联长度无法发直接转化为物理上可计算的量,但是它提供了令人信服的证据来证明:在临近玻璃转变过程中,系统中的空间关联会不断增加,而Deepmind 的这一网络,已经学会了提取这些关联。
 

4. 结语


结果表明,图神经网络利用隐藏在粒子周围的结构,构建了一个强大的工具预测玻璃态系统的长期动态。

Deepmind 表示,希望他们的这项技术能够对预测其他涉及到玻璃的物理量有所帮助,并期待它能够给玻璃态系统理论学家带来更多的视角。对此,他们也正在开源模型和经过训练的网络来推动这一进展。

一般而言,图网络作为一个通用的工具,正在被应用到许多包括多体交互在内的其他物理系统、包括交通、人群模拟在内的环境以及宇宙学中。

这些应用中使用的网络分析方法,也给其他领域带来了更深的理解:图网络不仅能够给帮助研究者更好地预测范围内的系统,还能够表示对系统建模至关重要的物理关联。在这些工作中,玻璃态材料中的局部粒子之间的相互作用,一直都在随时间变化。

该工作的作者认为,他们的这一结果会促进研究者在将机器学习应用到物理科学时,采用结构化模型,而在他们的示例中,模型拥有分析神经网络的内部工作原理的能力,也体现了模型能够找到了一个与难以找到的物理量相关联的量。这就表明了,机器学习不仅可以用来做定量预测,还能够用来定性地理解物理系统。

这或许意味着,机器学习系统可能能够帮助研究人员推导出基本的物理理论,最终帮助扩展而非取代人类的理解。

原文题目:
Towards understanding glasses with graph neural networks
原文地址:
https://www.deepmind.com/blog/article/Towards-understanding-glasses-with-graph-neural-networks

作者:Victor Bapst编译:蒋宝尚编辑:丛末、张爽来源:本文转载自微信公众号“AI科技评论”


资料回看


本视频对论文《How Powerful are Graph Neural Networks?》进行了解读,具体内容可以观看下面的视频资料:

http://campus.swarma.org/play/coursedetail?id=10936


论文题目:

How Powerful are Graph Neural Networks?

论文地址:

https://arxiv.org/pdf/1810.00826


主讲人:高飞

简评:本文针对目前五花八门的 GNNs 架构提出了一个理论分析框架,用以分析 GNN 对图结构数据的表征能力。一个重要的结论是:基于邻居聚合的 GNN 框架的表征能力不会超过 Weisfeiler Lehman test。在此基础上,文中提出了一个新的图网络框架 GIN,并证明其具有和 WL 同样的表征能力。



推荐阅读


图网络深度解析:为什么说图网络是 AI 的未来?

超越简单规则——用图神经网络对复杂系统进行自动建模

图网络如何助力城市大脑:跨时空大尺度网约车流量预测

从图嵌入到图分类——图网络入门综述

加入集智,一起复杂!集智俱乐部团队招新啦!






集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

◆ ◆ ◆

搜索公众号:集智俱乐部


加入“没有围墙的研究所”

让苹果砸得更猛烈些吧!



👇点击“阅读原文”,学习更多图网络内容

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存