SFFAI分享 | 纪厚业：Heterogeneous Graph Attention Network【附PPT与视频资料】

关注文章公众号

回复"SFFAI27"获取PPT资料

视频资料可点击下方阅读原文在线观看

作者介绍

---

纪厚业，北京邮电大学计算机科学与技术专业博士研究生。研究兴趣包括异质图分析，网络表示学习，图神经网络等。

相关论文及代码整理在https://github.com/Jhy1993

纪厚业

导读

---

图神经网络是近年来图数据挖掘领域的热门研究方向之一，被誉为是新一代深度学习。图神经网络可以将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题。以Graph Convolutional Network，Graph Attention Network为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而，目前的图神经网络主要针对同质图（节点类型和边类型单一）设计，但真实世界中的图大部分都可以被自然地建模为异质图（多种类型的节点和边）。如何设计可以处理真实世界图数据的异质图神经网络是一个迫切需要解决的问题。

本次分享将介绍我们在异质图神经网络上的最新工作 Heterogeneous Graph Attention Network（HAN）。我们围绕异质图数据中一些基础性结构（多种类型的节点/边和元路径结构），分别设计了节点级别注意力和语义级别注意力来实现对节点全面且细致的表示：

1. Node-Level Attention可以学习元路径邻居的重要性并通过聚合操作得到节点表示。

2. Semantic-Level Attention 可以针对不同任务来学习语义信息的重要性并对语义进行融合。

具体内容介绍

---

1、首先介绍了常见的图神经网络架构并将其划分为同质图神经网络和异质图神经网络两大类。如18ICLR的Graph Attention Network（GAT）和分享者提出的HAN。GAT的模型架构如下。

2、然后分析介绍了现有GCN的局限性，即：过平滑问题。过平滑问题是指随着模型层数的加深，所学习到的节点表示变得没有区分度。如下图所示：

针对上述问题，已经有很多工作对其进行了理论分析并提出了解法。这里分享者将其划分为两大类：Fuse different order representations explicitly（E.g., 18ICML_JK-Net, 19ICML_MixHop）和Emphasize the low-order information via random-walk（E.g.,  19ICLR_PPNP）。

3、最后，分享者介绍其发表在WWW19上的最新工作Heterogeneous Graph Attention Network。相对于现有的工作，HAN最大的特点是可以处理多种不同类型的节点/边并能够融合丰富的语义信息。

模型整体架构如图 2 所示。模型主要分为 3 个模块：

1）节点级别注意力模块。

2）语义级别注意力模块。

3）预测模块。

节点级别注意力：给定某条元路径，我们可以利用节点级别注意力来学习节点的重要性并通过加权平均得到特定语义下的节点表示。

其中，是节点对（i，j）在元路径下的注意力权重。

其中，是节点在某条元路径下的表示。

语义级别注意力：给定元路径集合，语义级别注意力可以学习不同语义的重要性并加权平均得到较为全面的节点表示。

其中是各个元路径的注意力权重。然后，我们通过加权混合来得到最终的节点表示。

最后，我们基于半监督的分类loss来优化整个模型。

节点级别和语义级别的聚合过程如下图所示。

总结

---

异质图在真实世界无处不在，异质图的分析也是数据挖掘的热门方向。作者设计了一种异质图神经网络，同时在节点和语义级别利用注意力机制来对邻居信息和语义信息进行加权融合，进而学习到更加细致全面的节点表示。同时，通过对两层的注意力机制进行分析，所提模型具有较好的可解释性。

Take-home-message

---

1. Meta-path是否必要？能不能脱离meta-path做异质图神经网络？
   

2. 异质图神经网络的理论分析。

3. 基于异质图神经网络的应用。

参考文献

---

[1] Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks.

[2] Petar Veliˇckovi´c, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Li`o, and Yoshua Bengio. 2018. Graph Attention Networks.

[3] Johannes Klicpera, Aleksandar Bojchevski, and Stephan G¨unnemann. Predict then Propagate Graph Neural Networks meet Personalized PageRank.

[4] Xiao, Wang and Houye, Ji and Chuan, Shi and  Bai, Wang and Peng, Cui and P. , Yu and Yanfang, Ye. Heterogeneous Graph Attention Network.

SFFAI招募召集人！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI自2018年9月16日举办第一期线下交流，每周一期，风雨无阻，截至目前已举办28期线下交流活动，共有54位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了SFFAI的活动。SFFAI已经成为人工智能学生交流的第一品牌，有一群志同道合的研究生Core-Member伙伴，有一批乐于分享的SPEAKER伙伴，还有许多认可活动价值、多次报名参加现场交流的观众。

我们邀请你一起来组织SFFAI主题论坛，加入SFFAI召集人团队。每个召集人负责1-2期SFFAI主题论坛的组织筹划，我们有一个SFFAI-CORE团队来支持你。一个人付出力所能及，创造一个一己之力不可及的自由丰盛。你带着你的思想，带着你的个性，来组织你感兴趣的SFFAI主题论坛。

当召集人有什么好处？

谁可以当召集人？

怎样才能成为召集人？

为什么要当召集人？

了解我们，加入我们，请点击下方海报！

历史文章推荐：

录播视频，请点击下方

阅读原文

观看

↓↓

若您觉得此篇推文不错，麻烦点点在看↓↓