©PaperWeekly 原创 · 作者 | 于星橦
HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning
论文链接：
https://arxiv.org/pdf/2312.01878.pdf代码链接：
https://github.com/Starlien95/HGPrompt论文录用：
AAAI 2024 Main Technical Track作者主页：
https://xingtongyu.netlify.app/
三分钟读论文
Powered by AI © PaperWeekly
摘要
图神经网络和异质图神经网络是图学习的重要技术，然而它们基于端到端监督框架，其性能极大地依赖于特定任务的监督信息的可用性。为了降低对有标记数据的依赖，基于无监督的预训练已成为一种流行的范式，但预训练和下游任务之间往往存在差距，这源于它们训练目标的不同。为了弥合这一差距，提示学习已成为一个有前景的方向，特别是在少量样本的场景下中，无需微调预训练模型。尽管已经有一些图上的提示学习工作，但它们只处理同质图，忽视了下游应用中普遍存在的异质图。在本文中，我们提出 HGPROMPT，一种新颖的预训练和提示学习框架，不仅统一了预训练和下游任务，还通过双模板设计统一了同质和异质图。此外，我们在 HGPROMPT 中提出双提示，以帮助下游任务获取最相关的预训练知识，以弥合不仅由特征变化，还有任务间异质性差异引起的差距。最后，我们通过在三个公共数据集上的广泛实验，全面评估和分析了 HGPROMPT 的性能。
方法
首先我们介绍统一预训练和下游任务的基础：双模板设计——图模板和任务模板。
2.1.1 图模板
我们提出通过图模板统一输入图的异质性。我们的策略是根据节点类型将异质图 转换为多个同质图。具体来说，给定一个节点类型 ，我们可以从 中提取一个同质子图 ，使得：通过这种方式，异质图 可以被转换成一组同质图 ，这组图保留了不同图之间的异质性。为了同时保留不同类型间的相互作用，我们进一步考虑一个同质图 ，即它保留了 的完整拓扑结构，但它不区分异质类型。我们称将一个异质图转换成 个同质图的过程为应用图模板，记为 ：总结来说，图模板统一了下游异质图和预训练中的同质图统一为了同样的形式。同样的，当在预训练中使用异质图时，相同的图模板也可以应用于它们。接下来，为了统一不同任务，我们主要遵循 GraphPrompt 的方法，通过将不同的任务实例转换为子图，并使用子图相似性计算作为通用的任务模板。然而，在我们的双模板设计中，我们还需要考虑图模板在子图及其相似性计算的形成中的作用。
首先，对于包括链接预测和节点分类在内的节点级任务，我们可以实例化每个节点 涉及的子图 。一个常见的策略是使用广度优先搜索来提取以 为中心的多跳子图。对于图分类任务，因为它的实例已经是图形式，对于图实例 , 。下一步，我们需要获得子图 的特征表示。如果 是同质的，我们可以使用直接读出。如果 是异质的，图模板被应用来得到一组同质图 ，这些图被单独读出然后聚合他们的特征表示得到 的特征表示。也就是说：其中子图 \( S \) 的读出层进一步定义为对 \( S \) 中节点特征的聚合：这里 表示节点 在读出层之前的嵌入。因此，这些任务可以被重新表述为预测（子）图实例之间的相似性。我们采用链接预测任务进行预训练，利用大规模图数据中链接的丰富性作为自监督信息。如图 2（b）所示，考虑一个三元组（0, 1, 2），其中（0, 1）是一条边，而（0, 2）不是。它可以用来指导子图相似性的计算，使得 ，遵循我们的任务模板。通常，我们从预训练图中收集许多这样的三元组作为自监督信息 。然后，预训练损失定义为 ：预训练阶段输出训练好的模型权重，即 ，这些权重将被直接应用于在接下来将要讨论的下游任务中。我们利用基于链接预测的预训练模型来解决下游的节点分类和图分类任务。由于预训练和下游任务的目标不同，我们使用提示学习的范式来弥合差距。不同的下游任务会关注输入图的不同特征，或者不同的异质性信息。因此，我们提出了如图 2（c,d）所示的双提示，包括一个特征提示来处理特征变化，以及一个异质性提示来处理不同任务之间的异质性差异。在自然语言领域中，提示基于特定的下游任务，重新构造下游任务的输入，以更好地将下游任务与预训练模型对齐。同样，在图上，一种策略是使用提示修改输入到预训练模型的节点特征，或者是预训练模型的隐藏层或者输出层。
在这里，我们遵循 GraphPrompt 中的在读出层之前修改节点特征，这使不同的下游任务能够获得与其相关的不同的特征集合上。具体来说，在给定任务上，让 成为一个任务特定的可学习向量，用作该任务的特征提示。在特征提示下，某个子图 的读出层变为：换句话说，特征提示根据任务的特定需要修改特征的重要性。
异质性提示。当处理一个异质（子）图 的下游任务时，我们需要应用图模板，这需要使用一个额外的层来聚合来自每个同质子图的读出输出。由于存在不同的异质性信息（如不同节点/边类型所示），为了在不同任务中区分不同异质性信息的重要性，我们提出一个异质性提示来修改到聚合层的输入。具体来说，让 作为特定任务的异质性提示的任务特定可学习向量。注意异质性提示向量具有 维度，每个维度 都旨在为来自图模板 的第 个子图权重。在提示下，对于某个子图 ，应用图模板后的聚合层变为：这给出了子图 的特征表示。因此，提示能够调整子图 基于任务性质所包含的异质信息的重要性。为了对下游任务训练双提示，我们基于子图相似性采用了一种损失函数，其形式与预训练的损失函数一致。考虑一个带标签训练集 ，其中每个 是一个节点或图， 是 的类别标签，来自一组类别 。基于此，提示调优的损失定义为：子图和类原型的特征表示 和 是基于提示向量 生成的。在提示微调期间，只需要调整参数量很少的提示向量，而预训练的参数 被冻结，无需任何微调。这种高效的参数调优适用于少量样本学习，即 仅包含少数训练样本。在实验部分中，我们命名了两个我们的模型分别为 HGPrompt 和 HGPrompt +：其中 HGPrompt 用于处理预训练是同质图，但下游任务是异质图的场景；HGPrompt + 则用于处理预训练和下游任务都在异质图上进行的场景。我们沿用 GraphPrompt 的实验设置，在 3 个公开异质图数据集（ACM, DBLP, Freebase）上进行了节点分类和图分类任务，并与多个常用的基线模型进行了比较。
实验结果证明，HGPrompt 的表现优于所有基线模型，证明 HGPrompt 能有效统一预训练中的同质图和下游任务中的异质图，从而将预训练知识释放到下游任务上。同时，HGPrompt + 取得了比 HGPrompt 更好的效果，进一步说明了使用图模板来统一异质性信息的有效性。
HGPrompt 在我们所关注的少样本场景下，始终表现出优于所有基线模型的性能。随着样本数的增加，一些微调模型的性能超过了 HGPrompt，这与提示学习和微调学习各自的优势一致。而 HGPrompt + 因为在预训练阶段利用了异质性信息，则始终表现出优于所有基线模型的性能。
我们进一步进行了消融实验来分析是否我们的设计是有效的。实验结果证明，我们的双模板和双提示设计都起到了重要作用。
在这项研究中，我们深入探讨了异构图上的少样本提示学习的挑战。我们引入了 HGPrompt，旨在统一同质和异构图之间。具体而言，我们提出了双模板技术，以统一下游任务与预训练。接着我们提出了双提示技术，以缩小由特征和任务间异质性差异所造成的差距。在三个基准数据集上的全面评估进一步展示了 HGPrompt 的优势，它在性能上一致超越了现有的基线模型。
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧