Language Is Not ALL You Need && 知识图谱的两种应用

引言

 最近的研究成果表示，大型的自然语言模型不仅能应用到自然语言处理，还可以应用到图像等方向。为此今天给大家分享的第一篇叫做「Language Is Not ALL You Need」，「作者将提出了一种多模态大型语言模型」，该模型可以处理文本/图像任务。另外第二篇和第三篇，作者「从知识图谱（KG）出发，分别将其应用到下游任务结合和QA问答中」，并且都取到了不错的效果。(本文分享论文可以后台回复：20230320 获取，另外您也可以在文末直接复制连接进行自行下载。如果觉得对您有用，点个赞吧，感谢)

Language Is Not ALL You Need

 大型语言模型(LLMs)已经成功地作为跨各种自然语言任务的通用接口。只要我们能够将输入和输出转换为文本，基于LLM的接口就可以适应任务。例如，摘要任务的输入是一个文档，输出是它的摘要。因此，我们可以将输入文档提供给语言模型，然后生成生成的摘要。尽管在自然语言处理方面取得了成功的应用，但它仍在努力将 LLM 原生地用于多模态数据，例如图像和音频。作为智能的基础部分，多模态感知是实现通用人工智能的必要条件，无论是知识获取还是与现实世界打交道。更重要的是，解锁多模态输入极大拓宽了语言模型的应用到更多高价值领域，如多模态机器学习、文档智能和机器人技术。 本文介绍了 Kosmos-1，这是一种多模态大型语言模型 (MLLM)，它可以感知一般模态、在上下文中学习（即少样本）并遵循指令（即零样本）。具体来说，我们在网络规模的多模式语料库上从头开始训练 Kosmos-1，包括任意交错的文本和图像、图像-说明对和文本数据。我们在没有任何梯度更新或微调的情况下，在广泛的任务上评估各种设置，包括零样本、少样本和多模态思维链提示。

 实验结果表明，Kosmos-1 在 (i) 语言理解、生成，甚至无 OCR NLP（直接输入文档图像），(ii) 感知语言任务，包括多模态对话、图像字幕、视觉问题等方面取得了令人印象深刻的表现 回答，以及 (iii) 视觉任务，例如带有描述的图像识别（通过文本指令指定分类）。我们还表明，MLLM 可以从跨模态迁移中受益，即将知识从语言迁移到多模态，以及从多模态迁移到语言。此外，我们还引入了一个 Raven IQ 测试数据集，用于诊断 MLLM 的非语言推理能力。

知识图谱（KG）表示融合。

 知识图(KG)可以为很多自然语言处理任务提供背景知识。在为KG相关任务设计模型时，最关键的任务是设计知识表示融合(KRF)模块，该模块从KG学习元素表示，并将它们与相关任务表示融合。而由于跨任务融合时需要考虑的KG和视角不同，因此需要在任务之间需要设计特定的KRF模型。 在本文中，提出了一个新的知识图谱预训练模型KGTransformer，它可以作为一个统一的KRF模块，用于不同的KG关联任务。我们用三个自监督任务预训练KGTransformer，并将采样子图作为输入。为了方便使用，本文还提出了一种通用的提示调优机制，将任务数据作为三重提示，以允许任务KG和任务数据之间灵活的交互。

 在三个任务（三分类，零样本图像分类和问题回答）上评估预训练的KGTransformer。KGTransformer始终比专门设计的任务模型获得更好的结果。通过实验，我们证明了预先训练的KGTransformer可以作为一个通用的、有效的KRF模块，用于与KG相关的任务。

基于知识图谱的QA

 逻辑编程是在知识图谱上获取精确解的最有效方法之一，因为它会生成问题的精确解。主要问题是在给定自然语言问题的情况下提出正确的查询并不容易。在这项工作中，我们认为，对于基于知识的问答，我们可以将表示问题的任务和事实知识记忆的任务分开。也就是说，不需要构建嵌入知识图谱实体的模型，而是可以训练语言模型来学习以中间查询形式表示问题，并使用逻辑编程语言来存储我们的知识，并基于请求对其进行推理。 在本文中，我们展示了用这个强大的工具装备语言模型的可能性。我们在MetaQA数据集上选择多跳问答任务，因为数据集提供了问题的推断路径，并且更容易用相应的逻辑形式注释每个问题。该数据集包含大约300K个训练示例，其中答案实体距离知识图中的问题实体有1、2或3个跳。我们使用Prolog在MetaQA数据集的知识图上构建知识库，并对序列到序列转换器进行微调，以逻辑形式将自然语言问题表示为查询。然后，我们使用Prolog来回答问题。上图显示了该方法的整体流程。

 实验发现，与之前使用完整训练数据集或其中很大一部分的方法相比，该模型可以用不到1%的训练数据回答测试数据集中的所有问题，准确率为100%。

论文&&源码

Paper1：https://arxiv.org/pdf/2303.03922v1.pdf

Code：https://github.com/zjukg/kgtransformer

Paper2：https://arxiv.org/pdf/2303.02206v1.pdf

Code：https://github.com/navidmdn/logic_based_qa

Paper3：https://arxiv.org/pdf/2303.07992v1.pdf

Code：https://github.com/microsoft/unilm

推荐阅读

[5] 如何评估ChatGPT回答复杂问题的能力(开源)

点击下方链接🔗关注我们

「资料整理不易，点个赞、再看吧」