【源头活水】Graph: 表现再差，也不进行Pre-Training? Self-Supervised真香！

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

来源：知乎—郭达森

地址：https://zhuanlan.zhihu.com/p/150456349

最近Graph数据上面的预训练引起了大家的广泛关注。

从数据集的角度可以分为：特定Graph数据上面进行预训练，然后应用在这个特定Graph上面的一些下游任务；不同领域Graph数据拿到一起进行预训练，然后应用在其他领域的图数据上面。

目前主要的出发点还是通过Graph数据本身的一些信号，比如节点特征，边特征，图级别特征作为自监督的信号来训练整个模型。

从模型的角度来说，主要有基于Bert的模型，基于随机游走的，基于自编码器的，基于GNN的。

相关的论文如下：

1. Strategies forPre-trainingGraphNeuralNetworks. 2020. ICLR
2. GPT-GNN: Generative Pre-Training of Graph Neural Networks. 2020. KDD
3. Pre-TrainingGraphNeuralNetworksfor Generic Structural Feature Extraction. 2020
4. Self-supervised Learning: Generative or Contrastive. 2020.
5. Gaining insight into SARS-CoV-2 infection and COVID-19 severity using self-supervised edge features and Graph Neural Networks. 2020. ICML
6. When Does Self-Supervision Help Graph Convolutional Networks? 2020. ICML
7. Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labeled Nodes. 2020. AAAI
8. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training. 2020. KDD
9. Self-Supervised Graph Representation Learning via Global Context Prediction. 2020.
10. Contrastive Multi-View Representation Learning on Graphs. 2020.
11. Self-supervised Training of Graph Convolutional Networks. 2020.
12. Self-supervised Learning on Graphs: Deep Insights and New Directions. 2020.
13. GRAPH-BERT: Only Attention is Needed for Learning Graph Representations. 2020.
14. Graph Neural Distance Metric Learning with GRAPH-BERT. 2020.
15. Segmented GRAPH-BERT for Graph Instance Modeling. 2020.

参考：

https://zhuanlan.zhihu.com/p/124663407

https://zhuanlan.zhihu.com/p/112086408

https://archwalker.github.io/blog/2019/08/08/GNN-Pretraining-1.html

https://zhuanlan.zhihu.com/p/149222809

https://zhuanlan.zhihu.com/p/150281704

https://zhuanlan.zhihu.com/p/150237915

https://zhuanlan.zhihu.com/p/150112070

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！