【综述专栏】2022年最新动态图神经网络（Dynamic GNN）综述

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。

来源：知乎—頔潇

作者：https://zhuanlan.zhihu.com/p/489640605

麦吉尔大学CS巨佬刘学教授团队2022年3月发表在arxiv的一篇综述，3月27日更新了第二个版本，链接为

https://arxiv.org/abs/2203.10480

01

介绍

这篇文章主要做了三件事：

• 提出了一个动态图神经网络的范式：Three Stages Recurrent Temporal Learning Framework
• 包括属性自更新（Attribute Self-Updating）、联系过程（Association Process）和消息传递（Message Passing）
• 列出不同的动态图学习目标，包括下一时间状态、缺失标签和事件发生间隔
• 调研了离散时间动态图（DTDG）和连续时间动态图（CTDG）两种主流的动态图场景

02

动态图机器学习

本文认为图学习主要有三种task：预测点、预测边、预测（子）图

不同的图学习任务

对于动态图，主要有三种task：

• Extrapolation Learning：预测下一个时间点的点或边的状态
• Interpolation Learning：预测缺失的标签
• Time Prediction：预测下一个事件（点或边的变化）的发生时间

有监督动态图学习

03

三阶段循环时序学习框架（Three Stages Recurrent Temporal Learning Framework）

对于动态图学习，主要分为两个大步骤：

• 更新下一个snapshot的图上点和边的状态
• 根据task设置output函数

针对于第一个步骤，本文提出了Three Stages Recurrent Temporal Learning Framework来细化，分别为：

• 属性自更新（Attribute Self-Updating）：外界因素影响图上点和边的属性
• 联系过程（Association Process）：针对图上边的操作，包括生成、去除和修改
• 消息传递（Message Passing）：和之前的工作定义相同，对邻居进行聚合

属性自更新（Attribute Self-Updating）、连接过程（Association Process）和消息传递（Message Passing）

文中对此进行了举例：

• TGN和APAN使用了node memory来完成Attribute Self-Updating
• Know-Evolve、DyRep和TGAT在Attribute Self-Updating中继承观测状态里最后一个（点和边的）状态

04

离散时间动态图（DTDG）学习

定义：在每个可观测的若干离散timestamp里，会有一个给定图的snapshot

针对DTDG，文中给出两种最常见的框架

• 静态图encoder+序列decoder
• 动态图encoder+简单decoder

DTDG的常见Encoder-Decoder框架

Static Graph Encoder

文中介绍了GCN和GAT

Sequential Decoder

文中介绍了：

• 时间序列分析方法：EMA、ARIMA
• RNN家族
• 1-D卷积
• Temporal Self-Attention

Dynamic Graph Encoder

• Kalman Filter Based Encoder，又称Linear Quadratic Estimation
• EvolveGCN：经典模型之一，将GNN的参数进行时序学习，分别和GRU、LSTM结合为EGCU-H和EGCU-O
• ST-GCN：经典模型之一，被应用到人体姿势识别中，同时进行空间和时序的卷积操作

05

连续时间动态图（CTDG）学习

定义：又称streaming graph，动态图被储存为更新时间流

隐式时间Encoder

可以通过Temporal Random Walk-Based Encoder进行学习，用于边的更新，DyRep使用了该操作

显式时间Encoder

• 基于时序注意力：比如TGAT
• 基于RNN：比如TGN

显式时间Decoder

• Temporal Point Process Based Decoder（TPP）：相比于建模观测序列，时序点操作建模为一个随机过程，比如TGN和TDIG-MPNN采用了该操作

06

挑战和未来工作

• 隐式时间学习如何拓展到显式时间学习
• 大规模动态图学习
• 时序模式的重要性？（动态图是否更多内涵随机过程）
• 动态图学习Library

总的来说，这篇综述提出的Three Stages Recurrent Temporal Learning Framework可以做为一个动态图学习范式，但目前更多还是作为分类模型类型的宏观工具；文中对动态图的总结、分类和覆盖范围相较于下文更新，读者可以结合着参考。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“综述专栏”历史文章

更多综述专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！