【源头活水】简单不过图卷积-Spatial Graph ConvNets

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

作者：知乎—养生的控制人

地址：https://www.zhihu.com/people/yilan-zhong-shan-xiao-29-98

01

Basic Formalism

每一层GNN通过对邻居信息进行聚合得到节点和边的再表示（representations），将层GNN进行堆叠也就相当于从L-跳邻居获取信息。

其中  代表节点  对应  层的特征向量。进一步更新的特征向量  通过对中心特征向量  和所有邻居的特征向量  进行非线性转换得到。

其中  代表的是指向节点  的邻居节点集合，如果是无向图就是  。

02

Classes of GNN Architectures

不同类型的GNN的本质就是映射函数 的不同，比如GCN，GraphSage，GIN。

比如 Sukhbaataret al., 2016(https://arxiv.org/abs/1605.07736)提出的

其中  是可学习的参数。这一结构也可以用框图来表示

from paper：Benchmarking Graph Neural Networks

03

Anisotropic GNNs

由于在图（graph）中没有特定的方向，比如在image中的上下左右，那么在比如上面Sukhbaatar的图卷积网络中的消息传递是各向同性的，简单来说就是把邻居看得同等重要。然而，不同的邻居之间的重要性应该是不一样的！

因此需要在聚合过程中考虑各向异性，比如根据节点的相对重要性给予邻居不同的权重，Marchegiani and Titov, 2017(https://arxiv.org/abs/1703.04826) 在图卷积中考虑了edge gating

其中  充当着edge gate的作用。  为可学习的参数，  为sigmoid函数  ，  代表逐元素乘法算子。

Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling

其他在GNN中引入各向异性的方式还有比如 GAT(https://arxiv.org/abs/1710.10903)， 借鉴了自然语言处理中的注意力机制；还有 MoNet(https://arxiv.org/abs/1611.08402)，依赖于图连通性的高斯混合模型。

Reference：NTU Graph Deep Learning Lab

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！