NeurIPS 2022 | 基于结构聚类的异质图自监督学习
论文单位：
引言
现阶段，图（Graph）上的自监督学习大多都遵循图对比学习框架，这些方法通常需要先构造一系列的正样本对以及负样本对，然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。目前，研究者们已经探索了节点丢弃、连边扰动等各种生成正样本的策略，以及特征打乱、批次采样等各种生成负样本的策略。然而，已有研究工作表明，这些正、负样本的生成策略是数据集敏感的。
例如，GraphCL 通过系统性的研究发现连边扰动对社交网络比较有益，但是对生物化学网络可能有负面作用。InfoGCL 发现负样本对于更稀疏的图可能更有益。因此，在实践中，研究者们需要根据数据集以及手头任务的实际情况来探索、寻找合适的构造正、负样本的策略，这限制了已有方法的灵活性与泛化性。为了有效地应对这个问题，在本项研究中，我们提出一个基于结构聚类的异质图自监督学习方法 SHGP，它无需任何正样本或者负样本。
方法
▲ 图1 模型整体架构图
我们的主要思路是通过对异质图执行结构聚类来产生聚类标签，并利用聚类标签来监督异质图神经网络的训练。如图 1 中的模型架构图所示，SHGP 主要包括两个模块，Att-HGNN 模块可以被实现为任何基于注意力聚合机制的异质图神经网络（我们采用 ie-HGCN 模型，请参考原文），它的作用是计算节点的表示：
Att-LPA 模块将经典的标签传播算法 LPA 以及 Att-HGNN 中的注意力聚合机制进行了有机的结合，它的作用是在异质图上执行结构聚类，并将得到的聚类标签当做伪标签：
这两个模块共享相同的注意力聚合机制，即，Att-HGNN 和 Att-LPA 在每一次前向过程中都执行相同的注意力聚合，区别是 Att-HGNN 聚合的是（投影后的）特征，而 Att-LPA 聚合的是上一轮产生的伪标签，两者都有着完全相同的注意力聚合系数。我们在 Att-HGNN 的顶层构建一个 softmax 分类器，并将节点表示输入到其中来预测节点标签。模型的损失为节点预测与节点伪标签之间的交叉熵：
计算得到损失以后，我们利用梯度下降来优化所有的模型参数：
随着优化过程的进行，模型会学习到越来越好的注意力分布（包括其他参数）。更好的注意力分布则会在下一轮迭代中促进 Att-HGNN 和 Att-LPA 分别产生更好的节点嵌入（以及预测）和伪标签，进而促进模型学习得到更好的参数。这样，两个模块可以紧密地相互作用，并相互增强对方，最终使得模型学习得到具有判别性的节点表示。
实验
我们对节点的预训练表示进行聚类。在每个数据集上，我们利用 𝐾-means 算法来将节点的表示向量进行聚类。实验结果展示在图 2 中 , 可以看到，SHGP 在该任务中展现了最优的整体性能。特别是，在 MAG 数据集上，SHGP 的性能显著地超过了其他基线方法，显示了它的优越性。
▲ 图2 节点聚类结果
我们将模型学习到的节点表示进行可视化。首先利用 t-SNE 算法将节点的表示向量映射到二维欧式空间，然后利用 matplotlib 将其进行可视化，并根据节点的真实标签对其进行染色。图 3 中展示了可视化结果，可以看到，SHGP 的每个类都有着很好的内聚性，而类与类之间的界限非常清晰光滑。这说明 SHGP 能够在不需要任何真实标签的情况下，有效地学习到具有判别性的节点表示。
▲ 图3 节点表示可视化结果
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧