​AAAI 2023 | 基于历史对比学习的时序知识图谱推理

©PaperWeekly 原创 · 作者 | 徐奕

单位 | 上海交通大学Acemap

研究方向 | 数据挖掘

论文标题：

Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

论文链接：

https://arxiv.org/abs/2211.10904

代码链接：

https://github.com/xyjigsaw/CENET

时序知识图谱

知识图谱（KGs）作为人类知识的集合，在自然语言处理、推荐系统和信息检索等领域显示展现了很好的前景。传统的 KG 通常是一个静态知识库，它使用图结构数据拓扑，并以三元组（s, p, o）的形式集成事实（也称为事件），其中 s 和 o 分别表示主语（头实体）和宾语（尾实体）实体，p 作为关系类型表示谓词。

在现实世界中，由于知识不断发展，时序知识图谱（TKG）的构建和应用成为领域热点，其中三元组（s, p, o）扩展为四元组，增加了时间戳 t，即（s, p, o, t）。下图是由一系列国际政治事件组成的 TKG。

▲ 图1. 时序知识图谱（子图）

时序知识图谱推理

TKG 为许多下游应用提供了新的视角和见解，例如决策、股票预测和对话系统，从而引发了人们对 TKG 推理的强烈兴趣。在这项工作中，我们专注于在 TKG 上预测未来的事件。

为了对 TKG 的结构和时间特征进行建模以用于未来事件预测，一些主流的模型例如 RE-NET 利用自回归方法，可以很容易地预测重复或周期性事件。然而，在 TKG 数据集 ICEWS（综合危机预警系统）中，新事件约占 40%。

预测这些新事件非常具有挑战性，因为它们在历史时间轴上具有较少的交互痕迹。例如，图 2 的右侧部分显示了查询（the United States, Negotiate, ?, t+1）及其相应的新事件（the United States, Negotiate, Russia, t+1），其中大多数现有方法由于过度关注频繁的重复事件，因此在此类查询中通常会获得错误的结果。

▲ 图2. 现有模型存在的问题

另一方面，在推理过程中，现有方法在对整个图中所有候选实体的概率得分进行排名时，而没有任何的 bias。我们认为，在处理不同事件的缺失实体时，这种 bias 是十分必要的，这在现实社会中也是如此，例如，对于重复或周期性事件，我们应该优先考虑一些频繁发生的实体，而对于新事件，则需更多地关注历史交互较少的实体。

基于历史对比学习的时序知识图谱推理

在这项工作中，我们将超越历史信息的限制，从整个知识中挖掘潜在的时序模式。为了更清晰地阐述我们的设计，我们将与当前查询中的实体相关联的过去事件称为该查询历史事件，其他事件称为非历史事件。我们直观地认为，TKG 中的事件不仅与其历史事件相关，还与未观察到的潜在因素间接相关。我们所能看到的历史事件只是冰山一角（图2）。

我们提出了一种新的 TKG 推理模型，称为 CENET（Contrasive Event Network）。下图给出了模型的框架图。

▲ 图3. CENET模型框架：左侧部分从历史和非历史依赖关系中学习实体的分布。右侧部分是历史对比学习的两个阶段，其目的是识别高度相关的实体，输出是布尔掩码向量。中间部分是基于掩码的推理过程，它将从历史和非历史依赖关系中学习到的分布与掩码向量相结合，以生成最终结果。

给定真实的尾实体为 o 的查询（s, p, ?, t），CNENT 考虑其历史和非历史事件，并通过对比学习识别重要实体。具体而言，模型首先采用基于复制机制的评分策略来建模历史事件和非历史事件的相关性（公式 1 和 2）。

▲【公式1】

▲【公式2】

此外，所有查询都可以根据其真实对象实体分为两类：尾实体是历史实体或非历史实体。因此，CENET 自然采用监督对比学习损失来训练两类查询的表示（即公式 3 中的 ），进一步帮助训练输出为布尔值的分类器，以识别哪些实体应该受到更多关注。在推理过程中，CENET 结合了历史和非历史依赖性的分布，并根据分类结果进一步采用基于掩码的策略来考虑高度相关的实体。

▲【公式3】

▲ 图4. 历史对比学习：CENET 在第 1 阶段使用对比损失学习表示，在第 2 阶段使用交叉熵损失训练二元分类器。

实验

4.1 数据集

我们选择了五个基准数据集，包括三个基于事件的 TKG 和两个公共 KG。这两种类型的数据集以不同的方式构建。前三个基于国际政治事件的 TKG 由 ICEWS18、ICEWS14 和 GDELT 组成，事件是离散的。后两个公共 KG（WIKI 和 YAGO）中的事件可能会连续地存在很长时间。

▲ 表1. 数据集

4.2 对比实验

我们选取了 15 个业界最新的 TKG 推理模型作为基线，并采用 Mean Reciprocal Ranks（MRR）和 Hits@1/3/10（the proportion of correct predictions ranked within top 1/3/10）作为评价指标。下表给出了结果。结果表明，CENET 在大多数指标上明显优于所有现有方法，在基于事件的数据集上，与以前最先进的基线相比，Hits@1 至少获得了 8.3% 的相对提升。

▲ 表2. 基于事件的 TKG 对比实验结果

▲ 表3. 公共 KG 对比实验结果

4.3 消融实验

我们分析了模型中每一个关键组成的性能，下表给出了消融实验的结果。可以看到，同时考虑历史和非历史依赖项比只单独考虑历史依赖能取得更好的效果，历史对比学习策略以及基于掩码的推断均能取得优越的性能。

▲ 表4. 消融实验

4.4 案例分析

案例分析给出了模型在预测重复性事件与新事件上的案例。

▲ 图5. 案例分析

结论

在本文中，我们提出了一种新的用于事件预测的时序知识图谱模型——对比事件网络（CENET）。CENET 的关键思想是学习整个实体集的令人信服的分布，并在对比学习框架中从历史和非历史依赖性中识别重要实体。实验结果表明，CENET 在大多数指标上都显著优于所有现有方法，尤其是在 Hits@1 的指标上。未来工作包括探索知识图中的对比学习能力，例如找到更合理的对比学习对（contrastive pairs）。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·