AAAI 2020 | 滴滴自主提出基于注意力机制的异构图神经网络模型

点击上方“蓝色字体”，选择“置顶公众号”

精彩内容，即刻送达

现实世界中的数据通常包含了多种实体类型，这些实体通过不同的实体关系互相关联形成了错综复杂的异构信息网络。为了有效地挖掘业务中广泛存在的异构信息网络，滴滴AI Labs团队自主研发了一种基于注意力机制的异构图神经网络模型（HetSANN），该模型无需使用传统模型中由专家定义的元路径，能够直接自动化地处理、挖掘原异质信息网络中丰富的语义信息，为网络中的实体提取出更有效的编码表示以应用到实体分类等下游任务中。

相较之前方法的局限性，本文的主要创新点为：

1. 提出的HetSANN模型利用基于注意力机制的图卷积神经网络直接对异质信息网络进行嵌入式表示学习，不再需要用人为定义的元路径对异质信息网络进行处理；

2. 文本还探索了异质信息网络中关系的方向性、实体类型变换过程中的循环一致性、以及HetSANN在多任务学习中的应用；

论文全文：https://arxiv.org/abs/1912.10832

异质信息网络的嵌入式表示学习

异质信息网络（又称异质图）是一种包含了两种以上顶点类型或关系类型的图结构数据（如图1a）。为了能够将异质图中蕴含的丰富语义信息嵌入到低维向量空间中，当前的主要方法是通过元路径将异质信息网络转化为同质图，再利用同质图的嵌入式表示方法学习该网络的向量表示（如图1b）。以HAN为例，该方法为学术异构信息网络定义了元路径“作者-->文章-->会议-->文章-->作者”来表示网络中“两个作者在同一个会议中发表过文章”的语义，进而得到了在该语义（元路径）上的同质图，最后利用图神经网络对该同质图进行嵌入式表示学习。

（a）                                                  (b)

图1：异构信息网络和元路径示意图

(a)关于学术信息的异构信息网络 

 (b)基于元路径的异质图嵌入式表示方法示意图

基于元路径的异构图表示学习方法依赖于领域专家预先定制的元路径，然而异质信息网络中蕴含的丰富语义信息往往很难用多个元路径穷尽。此外，在使用元路径来寻找目标顶点的邻居节点的过程中丢失了元路径途经的丰富信息，例如途经的链接边类型、顶点属性等。因此，如何在不损失异构信息的情况下对异构信息网络进行嵌入式表示学习是一项巨大的挑战。

为了能够得到更丰富的语义表示向量，本文提出了一种不再基于元路径的异构图嵌入式表示学习方法，命名为HetSANN（Heterogeneous Graph Structural Attention Neural Network）。如图2所示，HetSANN直接对原始的异质信息网络进行图结构卷积操作，通过目标任务（例如目标顶点分类等）的引导来挖掘异质信息网络中的结构信息并学习顶点的低维嵌入式表示。HetSANN的每一层为专门为异质结构网络设计的具有类型感知能力的注意力卷积层（Type-aware Attention Layer，TAL）。

图 2：HetSANN模型整体框架示意图

为了提高模型的语义捕捉能力，每个TAL采用多头注意力机制对顶点的邻域节点进行信息聚合。如图3所示，TAL中的每一个注意力头都由两部分组成：1）顶点类型空间转换操作；2）邻域信息的聚合。以图中的顶点P1为例，首先我们将顶点P1以及它的邻居节点映射到P1节点类型（文章）的隐式空间中，即，将文章类型的邻居顶点通过进行如公式（1）所示的线性变换映射到“文章”空间中，作者类型的邻居顶点通过由原本的“作者”空间映射到“文章”空间中，以此类推，P1的一阶邻居节点均映射到了“文章”这一隐式空间中来。

图 3：TAL中其中一个注意力头的运算流程示意图

随后，我们根据P1与这些邻居节点的关系类型计算每条边的注意力得分：

其中是针对关系类型r的注意力参数。由此，关于P1的所有链接边均可以计算得到一个与链接顶点类型和关系类型相关的注意力分数，在进行softmax归一化后便得到了它们对应的权重：

随后我们可以根据计算得到的权重对P1顶点的邻居信息进行加权聚合，从而得到了P1顶点在该头m的隐含层表示：

最后我们将TAL层中的M个注意力头连接起来作为该l+1层的节点隐含层表示：

考虑有向边关系的成对性

有向边通常蕴含了链接和被链接这两种语义关系，例如图1中的“write”和“written”等，这种成对的语义关系实际上互为关联，但在上述的注意力得分计算过程中，公式3中的计算方式难以捕捉这种成对关系的关联性。为此，我们提出了“语态共享”的注意力分数计算方式，即，共享成对的关系类型r和的注意力参数，并使它们具有互反关系：。将公式3改写为：

由此，采用该“语态共享”的注意力机制能够捕捉有向边关系的成对性，从而帮助模型获得更好的嵌入式表示。

实体类型变换中的循环一致性

为了保证不同类型的顶点经过公式1中的变换后映射到同一隐式空间中，我们引入了循环一致性损失。如图4所示，顶点类型为pj的顶点经过变换所到达的空间，应与其经过其它顶点类型pi再通过映射所到达的空间保持一致。

图 4：循环一致性损失示意图

由此，我们的循环一致性损失函数为：

HETSANN在多任务学习中的应用

与此前基于元路径的异质图嵌入式表示学习方法不同，HetSANN能够同时学习网络中所有节点的嵌入式表示，而不再仅仅局限于对某一类目标顶点的学习。因此，HetSANN在多任务学习上具有极大的优势，即能够对不同的顶点类型进行目标任务学习。同时，多任务学习也大大降低了HetSANN模型过拟合的风险，提高了嵌入式表示的可靠性和鲁棒性。本文在顶点分类任务上进行了相关实验，表2和图5均显现了HetSANN相比于基于元路径方法的优越性。在三个数据集上，融合了上述3种策略的HetSANN.M.R.V相比最具竞争力的GAT模型提高了3%~13%的微平均F1、3%~19%的宏平均F1。值得注意的是，HAN在DBLP数据集中“文章”顶点分类任务上取得了完美的表现，但其在“作者分类”任务上的表现却不尽人意。这是由于DBLP网络中存在的“会议”顶点能够帮助HAN通过“文章à会议à文章”元路径直接将发表在同一领域的文章关联到一起，使得HAN能够很准确的判断文章所属的类型。但在没有“会议”顶点的AMiner数据集中，HAN很难通过定义元路径来轻易的获得语义提示，因此HAN在AMiner的表现较差。纵观HetSANN在3个数据集的表现，HetSANN能够在没有任何类似元路径的语义提示的情况下获得较好的表现，预示着HetSANN能够对异质图进行有效的嵌入式表示学习以及HetSANN嵌入式表示的鲁棒性。

直播预告

【时间】2020年2月22日晚20:00

【直播地址】http://www.mooc.ai/open/course/752

相关阅读

编辑 | 贺贺

阅读原文，

查看关于论文内容！