【源头活水】Graph Transformer Networks

论文地址：http://papers.nips.cc/paper/9367-graph-transformer-networks.pdf

作者：简单且美

地址：https://www.zhihu.com/people/jian-dan-qie-mei

01

摘要

Graph neural networks (GNNs，图神经网络)广泛应用于获取图的表示学习，并在node classifification（节点分类）、link prediction（链接预测）任务上取得了当前最好的效果。当前的GNNs算法的假定数据集提供的同质的数据（相同类型的节点和边），并没有充分利用不同类型节点、不同类型边所提供的额外信息（例如，论文引用关系图中通常包括作者、会议/期刊、论文三种不同类型的节点）。该论文中提出了Graph Transformer Networks (GTNs)网络结构，不仅可以产生新的网络结构（产生新的MetaPath），并且可以端到端自动学习网络的表示。Graph Transformer layer（GTL）是GTNs的核心组件，它通过软选择的方式自动生成图的Meta-Paths（soft selection of edge types and composite relations for generating useful multi-hop connections so-called meta-paths）。实验结果表明，GTNs基于任务数据可以自动生成网络结构，并生成网络表示，且无需额外的领域知识。在节点分类任务中，取得了当前最好的结果。

02

引言

GNNs广泛应用于graph classifification（图分类）、link prediction（链接预测）、node classifification（节点分类）任务中；GNNs学习得到的 representation在social networks、citation networks、functional structure of brains、recommender systems数据集中均取得了当前最好的结果。

GNNs的缺点在于，它假定数据集合图的网络结构已事先给出，且并未区分不同类型的节点和边。这样，缺失或者虚假的连接就对GNNs的结果造成很大的影响。同时，在某些应用场景中，提前构造GNNs所需的网络结构也会费时费力。例如，citation network（引文网络）是典型的heterogeneous graph（异质网络），它拥有不同类型的节点（authors、papers、 conferences）及不同类型的边 (author-paper、paper-conference)。一种简单的处理异质网络的方法是二阶段法。首选，人工选定Meta-Path（例如，指定author-paper连接及跳数）；其次，基于Meta-Path，将整个网络当成同质网络，并采用GNNs提取网络特征。

该论文主要贡献：1、提出了Graph Transformer Networks（GTN）网络结构，采用端到端方式，可以自动找到有用的Meta-Path（含跳数），并习得网络表示；2、学习得到的Meta-Path具有一定的可解释性；3、在所有三个异质图数据集上，该方法均得到了最好的结果。

03

相关工作

（1） GNNs

通常包括两类方法，其一为频域方法，需要利用给定图的傅里叶基；其二为非频域方法，利用邻居节点的信息，直接在给定图上进行图卷积。

（2） 基于 GNNs的节点分类

传统基于人工特征的方法效果不佳。基于节点表示学习的方法取得了一定的进展，例如基于深度随机游走的DeepWalk、LINE、node2vec方法（通常采用skip-gram方式进行训练）；这些方法只考虑了网络结构，并未充分利用任务提供的其它信息。与CNNs类似，GNNs在表示学习领域取得了不错的进展（利用局部领域信息表示该节点，并进行自学习）， 常见的改进包括spectral convolution、attention mechanism on neighbors 、subsampling、inductive representation。但上述方法都只能处理同质图的情况，并未充分利用异质图的信息。

metapath2vec方法利用人工定义的Meta-Path，基于随机游走和HAN学习得到图的表示学习。很明显，人工特征工程限制了其应用范围。

04

该论文工作

论文提出的GTNs网络结构，不仅可以自动生成Meta-Path，而且可以同步学习得到网络表示，具体见下方论文原文。

（1） 一些基本概念

通过从原始图数据中抽取相同节点构成的子图，并利用子图的矩阵乘法生成Meta-Path。

GCN主要用于端到端的提取节点分类的表示向量。

（2）Meta-Path生成

Meta-Path生成参见下图，从异质原图生成不同的同质子图，利用softmax随机挑选子图Q1、Q2；利用Q1和Q2的矩阵乘法生成新的Meta-Path；简单来说，Graph Transformer Layer（GTL）主要用于随机生成Meta-Path。

（3） Graph Transformer Networks

GTNs网络结构如下，首先利用多通道采样，构造不同的数据集。其次，利用GTL生成不同的Meta-Path，并将输出的特征进行拼接，作为GCN的输入；最后，利用GCN端到端提取图的表示。

作者采用交叉熵作为损失函数，论文原文如下。

05

实验结果

（1） 提出网络结构的有效性

在节点分类任务上，论文中提出的方法具有最佳的表现。GNNs效果好于DeepWalk、metapaht2vec；GTN的效果好于GNNs。

（2） Meta-Path重要性的度量

参见如下所示内容，简单来说，Meta-Path重要性与其Attention Score正相关。

06

论文总结

该论文提出来GTNs网络架构，可以自动生成Meta-Path，同时端到端的学习得到异质网络表示，而无需先验知识（领域知识）。

07

附录

Meta-Path怎么理解。以citation network为例，它是典型的heterogeneous graph（异质网络），它拥有不同类型的节点（authors、papers、 conferences）及不同类型的边 (author-paper、paper-conference)。Meta-Path可以是APAP、APC、APCAPCAP等等；可以说，利用神经网络来自动寻找最合适的Meta-Path是该论文的核心思想。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

历史文章推荐

分享、点赞、在看，给个三连击呗！