从OGB评测看大规模知识图谱表示：从TripleRE、InterHT再到Trans模型赏析

在前面的文章中，我们讲述了大规模知识图谱表示模型的一些工作。

我们知道，在规模知识图谱表示学习上，基于距离公式的知识表示方式成为当前的一个流派，为了解决一对多、多对多、对称性、反对称性以及组合性的问题，先后涌现出了TransE,TransR等模型；

该榜单数据来源于Wikidata知识库，涵盖现实世界约250万个实体之间的500多种不同关系，构成了1700多万个事实三元组。

而从2021年年底开始至今，随着360TripleRE模型的提出，该榜单逐步受到大家关注，并陆续出现了科大讯飞InterHT模型、度小满TranS模型等系列模型。

本文主要围绕着这一工作，对三个现有模型进行索引介绍，供大家一起参考。

一、20211217-360 TripleRE模型

去年年末，由360提出的TripleRE，全名Knowledge Graph Embeddings Via Triple Relation Vectors，直译过来就是通过三份关系向量进行知识图谱嵌入。

创新的将TransE与pairRE进行融合。

1、模型示意图

PairRE模型，将头实体和尾实体分别做投影，得到一个向量表示，可以有效的建模对称性关系。而是否可以将TransE与它进行融合呢。

带着这种思想，我们提出了tripleRE，在原有2段关系向量的基础上，加入一个中间翻译向量，形成三段。

我们可以看到的是，中间翻译向量为0的时候，也就等同于PairRE。

2、score function公式

TripleRE共设计了三个score-function，其中第三个版本中，在InterHT的启发下, 我们发现实体的转换形成可以学到更多的实体信息，因此我们尝试在TripleRE中加入基于实体的转换表示，并将实体分为三个部分, 即h1, h2, h3和t1, t2, t3。

而为了降低参数量，我们将nodepiece与TripleRe进行了融合，实验证明，这个是有效果的。

3、lossfunction公式

下面展示了TripleRE模型的score function：

二、20220210-科大讯飞InterHT模型

2022年2月，科大讯飞参赛团队提出融合不同角色实体（头实体和尾实体）语义信息的知识图谱嵌入模型InterHT。

有趣的是，在模型示意图上，InterHT与TripleRE十分类似，有谱异曲同工之妙。

1、模型示意图

2、score function公式

下面展示了InterHT模型的score function：

其中，其中ta是辅助尾部实体向量，ha是辅助尾部实体向量，与TripleRE类似，该模型也同样的在公式(1)的基础上加上了一个单位矩e。

H◦(ta+e)是头实体的表示，它结合了尾部的信息，t◦(ha+e)是尾实体的表示，整合了头部的信息，同样的，也使用NodePiece学习固定大小的实体词汇表，以降低参数量。

3、lossfunction公式

三、20220419-度小满TranS模型

以前的模型通常专注于改进1对N、N对1和N对N关系的实体表示，但忽略了单一关系向量。

因此，2022年4月，度小满AI团队提出了两实体间多样化的关系合成模式，形成TranS模型。

1、模型示意图

从模型上看，我们发现，trans比tripleRE和IntelHT更为复杂，相当于进一步增加了一层投影，先后做了两次投影操作，以此捕捉实体之间的关系合成特征。

2、score function公式

下面展示了Trans的距离度量函数：

同样的，该模型也加上了一个单位矩，如：h◦ ̃t→h◦( ̃t+e),t◦h ̃→t◦(h ̃+e)，并同样适用nodepiece来解决oov以及降低参数量问题。

3、lossfunction公式

下面展示了Trans模型的score function：

总结

我们知道，在规模知识图谱表示学习上，基于距离公式的知识表示方式成为当前的一个流派，为了解决一对多、多对多、对称性、反对称性以及组合性的问题，先后涌现出了TransE,TransR等模型。

本文以OGB-wikikg2这一评测出发，介绍了TripleRe，interHT以及Trans三个模型，这些模型之间形成了一个很好的创新追逐的模型之路，也透露出如何更好的捕捉头尾实体之间的交互，并建立复杂关系模式上的核心问题。

对于更细致的模型，以及模型的实现代码，可以查看参考文献中的地址，相信大家会有更多的收获。

参考文献

1、https://vixra.org/pdf/2112.0095v3.pdf
2、https://arxiv.org/abs/2202.04897.pdf
3、https://arxiv.org/pdf/2204.08401.pdf

关于我们

老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

就职于360人工智能研究院、曾就职于中国科学院软件研究所。

老刘说NLP，将定期发布语言资源、工程实践、技术总结等内容，欢迎关注。

对于想加入更优质的知识图谱、事件图谱实践、相关分享的，可关注公众号，在后台菜单栏中点击会员社区->会员入群加入。