因为科研课题涉及到图注意力机制这块，读了不少图注意力模型相关的文章。其中《Attention Models in Graphs: A Survey》对图注意力机制进行了定义、分类、对比、展望，是一篇非常值得一读的好文。文章信息：Lee J B , Rossi R A , Kim S , et al. Attention Models in Graphs: A Survey[J]. ACM Transactions on Knowledge Discovery from Data, 2019, 13(6):1-25.文章链接：https://arxiv.org/pdf/1807.07984.pdf
图注意力机制的分类一. 学习Attention权重代表工作：GAT [Velickovic et al. 2018]二. 基于相似性的Attention代表工作：AGNN [Thekumparampil et al. 2018]三. Attention-guided walk代表工作：GAM [Lee et al. 2018]
04
图注意力任务一. Node-level的任务已经提出了许多工作来研究节点级任务的图形注意，其中最值得注意的是节点分类和链接预测[Abu El-Haija et al.2017；Feng et al.2016；Han et al.2018；Thekumparampil et al.2018；Velickovic et al.2018；Zhao et al.2017]。尽管每种方法的方法和假设不同，但它们有一个共同的技术，即学习一个注意力引导的节点或边缘嵌入，然后可以用来训练分类器进行分类或链接预测。不难看出这些方法是针对节点聚类的相关任务实现的。一些值得注意的基于注意的图方法尚未提出的节点级任务包括节点/边缘角色发现[Rossi and Ahmed 2015]和节点排名[Sun et al.2009a]。二. Graph-level的任务多个工作也研究了图级任务，如图分类和图回归。在此设置中，通过关注图的相关部分来构造注意引导图嵌入。EAGCN、改良GAT、GAM和偶极子等方法[Lee et al.2018；Ma et al.2017；Ryu et al.2018；Shang et al.2018]学习一种用于更标准的基于图的分类和回归任务的图嵌入。不难看出这些方法是如何应用于图相似性搜索的相关问题的[Zheng et al.2013]。另一方面，类似于[Bahdanau et al.2015；Luong et al.2015；Xu et al.2018；Zhou et al.2018]的工作从输入图形数据生成序列。值得注意的是，graph2seq提出了一种方法，该方法输出给定输入图的序列，而不是生成序列到序列的更多方法。最后，GRAM[Choi et al.2017]将注意力应用于医学本体图，以帮助学习基于注意力的医学代码嵌入。虽然他们研究的问题是对病历（由某些医学代码描述）进行分类的问题，但他们工作的新颖之处在于将注意力应用于本体图以提高模型性能。