干货！神经时间游走：连续动态图上的表征学习
点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入！
金明：
澳大利亚蒙纳士大学博士生，师从Shirui Pan (潘世瑞) 与 Yuan-Fang Li (李元放) ；主要研究方向是图机器学习，包括但不限于动态图神经网络，时空图预测，图谱神经网络等
01
介绍
该文针对的是Continuous-Time Dynamic Graphs，也就是说边和点会随着时间增删。
文章认为当前时序图神经网络(DGNNs)存在两大挑战：
• 动态图不能用常规静态GNN。
• 时序事件的不均匀分布。
这项工作是CAW(ICLR 21)的改良。具体区别：
• 在采样时除了时间信息，还会考虑其他更多信息。
• 这个工作提出了一种motif的嵌入方法。
• 使用pretext task作为训练目标。
02
定义
本文使用的是时序交互流，每次交互都有两个点和一个时间戳。
文章的目标就是得到某个时刻的和的特征和，再通过一个预测他们之间是否会出现关联。
03
模型
我们采用类似 UNISURF 的 occupancy field 来表征场景几何。UNISURF 通过 MLP 将 3D 点坐标及视线方向映射到该点的 occupancy 值和颜色，并通过立体渲染得到像素的颜色，
时序游走：时刻之前有交互的一个点，提取它的所有交互。定义从出发的随机游走:
其中是满足的最小索引。
这步操作实际上就是给每个游走中的点重新编号，让模型不能知道不同游走间是否有同一个点，而只让模型去关注结构信息。
此外，文章后面还提到了一个binary的版本。由于目标就是去预测两点的相互作用，所以对于根节点和和它们的游走组和，存在的共同游走，匿名操作可以是：
后面会用来表示已经匿名了的游走组。
时序游走采样：以往的工作在计算下一个点的概率的方法是，也就是时间越接近越有可能选择。
文中提出了一个增加考虑拓扑信息和树遍历属性的采样方式。动机有两个：
• 越接近的点应该采样概率越大(∝ exp(αt´-t)))
• 度越大的点月应该被采样(∝ exp(-β/d))
这两个概率在实际使用时会进行归一
算法伪代码：
算法1的做法还有隐患，它会过分鼓励进行深度优先搜索，进而难以进行均匀的motif采样，所以增加了第三个概率()，这个指的就是点已遍历的次数，也就是被采样的次数越多，再次被采样的概率就越小
04
编码
其中的ODESolve是GRU：
最后的是RNN网络
Loss部分，就涉及到之前说过的pretext task了。
也就是说，得到两点特征后，用mlp做预测。预测结果(0,1)做e的指数，范围是(1,e)。log里最理想的情况是，其中n是负样本数量。这样的loss确实会比一般的更难学习。
此外，如果提供了点和边的特征，可以在RNN里拼入MLP得到的结果中。
整体的训练过程：
05
实验
数据集
实验结果
提
醒
点击“阅读原文”跳转到27:23可以查看回放哦！
往期精彩文章推荐
记得关注我们呀！每天都有新知识！
关于AI TIME
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
迄今为止，AI TIME已经邀请了1000多位海内外讲者，举办了逾500场活动，超500万人次观看。
我知道你
在看
哦
~
点击 阅读原文 查看回放！