NAACL 2021 | QA-GNN：基于语言模型和知识图谱的问答推理

©PaperWeekly 原创 · 作者｜刘兴贤

学校｜北京邮电大学硕士生

研究方向｜自然语言处理

论文标题：

QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

论文地址：

https://arxiv.org/abs/2104.06378

代码repo：

https://github.com/michiyasunaga/qagnn

该论文被收录于 NAACL 2021，作者是来自 Stanford 的 Michihiro Yasunaga、Hongyu Ren、Antoine Bosselut、Percy Liang and Jure Leskovec 。

基于知识图谱的问答（KBQA），是自然语言处理中的一个热门领域，最近的工作集中于知识图谱上的多跳推理以及语言模型与知识图谱的融合。目前的方法需要解决两个问题：

1. 在给定上下文的条件下，如何从规模巨大的知识图谱中检索出相关的知识；

2. 如何进行问答上下文与知识图谱的联合推理。

本文提出了一个新的模型：QA-GNN，通过两个关键性创新来尝试解决上述问题：

1. 相关性评分

在给定问答上下文的条件下，使用语言模型计算相关性评分，估计知识图谱中的实体对于给定上下文的重要性。

2. 联合推理

将问答上下文与筛选出的知识图谱的子图构建一张联合图，使用基于 GNN 的消息传递来更新彼此的表示。

该文章在 CommonsenseQA 以及 OpenBookQA 数据集上，进行了实验，实验表明，QA-GNN 方法比 fine-tune LM 与现有的 LM+KG 方法分别提高了 5.7% 和 3.7% ，以及处理结构化推理（如否定问题）的能力，比目前的fine-tune LM有 4.6% 的提升。

论文动机

目前现有的方法，对于 QA 上下文使用 LM 处理，对于 KG 使用 GNN 进行处理，并且并不相互更新彼此的表示，也不做语义的对齐表示。因此 QA 上下文与 KG 的分离表示可能会限制模型执行结构化推理的能力（比如处理否定问题）。因此本篇工作主要在于 QA 上下文与 KG 的融合表示。

相关性评分

对中心实体附近 few-hop 的节点截为子图，对每一个 entity 与 QA 上下文做 concat，然后使用预训练语言模型（本文使用的是 RoBERTa），计算它们的相似程度。

对于每个节点 ，QA 的上下文 ，节点 的相关性评分为：

联合推理

联合推理模块使用预训练语言模型（本文中使用 RoBERTa）将 QA 上下文编码，将其视为一个额外节点，添加到相关的子图中去。这样生成的图被称为 working  graph。

对于 working graph 中的每个节点，使用相关性评分增强它们的特征。最后使用一个 attention-base GNN 模块做推理。

对于 working graph 中的每个节点，使用下式更新节点的表示，其中 表示 t 的所有邻居， 表示 对 的 attention weight， 表示来自邻居 s 向 t 传递的消息。

其中在邻居节点之间传递的消息是什么呢？

首先我们定义节点的 type embedding： 

到 的 relation embedding： 

其中 是一个线性变换， 是一个两层的 MLP。

最后我们定义从 到 传递的消息：

其中 也是一个线性变换。

节点类型、关系和 score-aware attention

将相关性评分 过一个 MLP 得到其 embedding 。

然后我们通过下式得到 query 和 key vector：

最后我们注意到式 2 中还有一个 attention weight，为：

其中 。

最终，在得到了 GNN 中节点的表示后，我们计算条件概率：

选择概率最高的作为问题的答案。

在测试集的候选答案上，使用 cross entropy loss 作为损失函数。

实验结果

▲ CommonsenseQA上的测试结果

▲ OpenBookQA上的测试结果

▲ 消融实验

总结

本文提出了 QA-GNN，利用预训练语言模型与 GNN 融合 QA 上下文与 KG。

使用相关性评分，从知识图谱中检索实体相关子图，并衡量每个节点对于 QA 上下文的重要程度，这保证了我们在后续进行融合时，能够注意到这样的相关性信息。

接着通过将 QA 上下文视作一个节点添加进 KG，通过工作图连接两个信息源，并通过 GNN 消息传递联合更新它们的表示。

本文是 GNN 在融合 QA 上下文与 KG 的一个尝试，在问答任务上相比现有的预训练语言模型、以及预训练 +KG 模型，都有不小的提升。同时，使用 attention-base GNN，能够可视化知识图谱中节点之间的注意力关系，有助于提高 QA 可解释性和结构化推理的能力。

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：[e-mail] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。