ACL 2024 | InstructGraph：改进大语言模型的图数据理解与生成

©PaperWeekly 原创 · 作者 | 孙秋实

单位 | 新加坡国立大学

研究方向 | 自然语言处理

论文题目：

InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

论文链接：

https://arxiv.org/pdf/2402.08785

代码链接：

https://github.com/wjn1996/InstructGraph

Graph指令数据：

https://huggingface.co/datasets/wjn1996/InstructGraph

当大语言模型遇到图，会发生什么样的化学反应呢？最近由华东师范大学（ECNU）和加州大学圣地亚哥分校（UC San Diego）联合提出了针对提升大模型在图推理和图生成能力的 InstructGraph 框架。该工作被 ACL 2024 接收。

背景：LLM与Graph

众所周知，大语言模型（Large Language Models，LLMs）是通过自回归式的 Causal Language Modeling 实现预训练，自然语言文本遵循着 token-by-token 的序列形式实现文本生成和推理。然而，图（Graph）则不是序列模式的数据，因此，如何让一个以序列为感知的大语言模型很好地理解一个图数据，是一大挑战。

最近一些工作尝试将图神经网络等模型集成在大模型基座上，使得模型能够按照原先的图学习模式感知图，并借助大模型的生成能力实现推理。然而这类方法存在两个不足：

• 需要改变大模型的结构，使得模型很难自适应到任意的图，同时这类方法也无法有效地将图与文本很好的进行兼容；
• 只能够实现由图到文（Graph2Text）的转换，而无法实现图文之间的相互转换，例如 Text2Graph [1]。

为了让大语言模型更好更有效地理解图或生成图，该工作提出 InstructGraph 框架，并考虑从三个方面来实现这一目的。

• Prompt Engineering：在输入模板层面上，如何将图与文实现比较好的对齐；
• Instruction-tuning：在监督微调时，如何让大模型能够很好地完成图推理与生成任务；

• Preference Optimization：在偏好对齐时，如何让那个大模型能够更准确地实现图的理解和生成，缓解幻觉问题。

提示工程：结构上对齐

文本是序列化的数据，图是结构化的数据，如何在输入层面上在不介入外部模型的条件下很自然地实现统一对齐呢？该工作想到了使用代码（Code）作为中间表示。

Code 是一种天然的包含结构化信息的序列数据，现如今大语言模型之所以能够具备很强的推理性能，也得易于代码数据的引入。因此，如果将图用代码的形式来表达，那么就巧妙地实现了图文的统一结合，而对于大语言模型来说，处理图和处理代码相似，无需刻意地在输入感知上对图进行专门的表示学习。

为此提出 Code-like Format Verbalizer，对于任意一个图，都可以转换为一个代码的结构模式。

基于这个 Code-like Format 形式，在做图到文（Graph2Text）时，大模型可以像理解代码一样理解图，然后通过文本生成完成回答；在做文到图（Text2Graph）时，大模型可以像写代码一样生成一个图。这一过程充分利用了大语言模型的代码理解和生成的能力。

图指令微调

对于 GPT-4、GPT-4o 等超大规模的模型，在提示工程的引导下大模型已然可以完成的很不错。但是对于较为小规模的模型，效果依然不行，那么就需要对小模型进行监督微调来赋予其图推理和生成的能力。

本文将图指令微调划分为两大范式：

• 图推理：给定一个 Query 和一个 Graph，回答问题；
• 图生成：给定一个 Query，生成一个 Graph。

为了达到这个目的，该工作收集了来自 29 个不同的针对图推理和生成的任务，并进行了数据预处理和指令构建，最终构建了大约 1.6M 语料。数据来自 Wikipedia、Wikidata、DBPeidia、FIFA、Freebase、OGB、PubMed、Amazon、CiteSeerX、MoveLens、InstructUIE、InstructIE、ConceptNet、NLGraph、ArXiv、LastFM 等。

对这些图任务进行了更为细致的划分，划分为 4 个 Group，如下所示：

Graph Structure Modeling

图结构建模任务旨在设计相应的指令，让 LLM 能够理解 Graph 结构相关的信息，包括图连通性、环、最短路径等信息。先前工作 NLGraph [2] 提出了 8 种与 Graph 结构相关的 benchmark。这里挑选了前 7 个任务的训练集作为训练数据。

另外还增加了两个 NLGraph 中没有提及的任务：

• Graph Degree Prediction：给定一个 Graph，计算目标节点的度数，有向图则包括入度和出度。

• Graph Diameter：给定一个 Graph，计算其直径。

Graph Language Modeling

图语言建模旨在设计相应的指令，让大模型根据 Graph 来完成语言建模。这里包含若干类别的任务：

• Caption Generation：基于 Wikipedia 和 Wikidata，针对 Wikidata 给定的一个知识图谱，生成出 Wikipedia 中的文本描述；

• Question Answering：输入一个 Graph，给定一个问题 Query，回答相应的问题；

• Nodel Classification：输入一个 Graph，对其中一个节点进行分类；

• Link Prediction：输入一个 Graph，对其中两个节点的边类型进行预测；

• Relevance Inspection：输入一个 Graph 和一个文本描述，判断图文之间的相关性；

• Collaboration Filtering：输入一个协同图（二分图），预测两侧节点之间的关系；

Graph Generation Modeling

图生成建模旨在让大模型根据指令生成一个 Graph。生成的过程等价于生成 Code。图生成包含两个类别的任务，分别是根据文本生成一个图，类似于信息抽取和知识图谱构建；另一个任务则是生成一个结构图。

Graph Thought Modeling

除了针对 Graph 进行理解和推理以外，对于普通的文本生成和推理任务也可以间接利用 Graph。例如数学计算推理时，原始的 Chain-of-Thought（CoT）是通过 text-based reasoning chain 的形式进行推理的，而我们可以敦促模型先生成一个计算图，然后再基于这个计算图生成答案。这一过程也类似于大模型 Agent 中的 Planning 环节。

所有任务数据列举如下所示：

图偏好对齐

先前的很多面向 Graph+LLM 的工作，均忽略了 Graph 相关的偏好优化问题。我们发现 LLM 在针对 Graph 进行 instruction-tuning 阶段，同样存在一些偏好问题。我们认为除了 LLM 本身存在的 harmless、helpless 等问题外，针对 Graph 也依然存在如下问题：

• 输入的 graph 可能存在错误、冗余，或于大模型本身存在冲突的信息。

例如输入的 graph 中，存在冲突的关系，例如 a -> b [relation="r"], b -> a [relation="r"] 输入的graph（尤其是知识图谱等），存在与真实知识冲突的，例如输入的graph 中国 -> 日本 [relation="接壤"]

• 大模型生成的内容与输入的 graph 存在不一致（内部幻觉）；

例如在 KBQA 时，大模型可能回答的答案可能不在子图中出现过。如果子图中没有，应该修正回答为“正确答案是 xxx，不过如果只关注给定的图，则不存在答案”

• 大模型生成的内容与真实知识存在不一致（外部幻觉）；

大模型生成的内容中有错误事实信息；大模型生成 graph 时，出现胡编乱造 “给你三个节点，生成含有十条边的图”：这个问题很显然无法回答，需要让 LLM 优化。

为了避免过多的人工介入，构建偏好数据主要通过负采样的形式实现。负采样数据来源于两种途径：

• 启发式构建：修改 graph 结构，从而获得错误的 graph，其与对应的文本不一致；

• ChatGPT 改写：设计 instruction，让模型编造一个与 graph 信息不一致的文本；

P.S.：需要获得错误的文本区间

提出两种 non-reward 的图对齐训练方法：Graph-based DPO（GDPO），即利用 DPO 的优化算法，根据上述两个 graph 存在的特性，构建 pair 数据。

实验

实验中，挑选 LLaMA2-7B  作为基座进行模型微调和对齐。整体实验如下图所示，InstructGraph 的总体性能超越 GPT-4。超越了GPT-4 约 13%，超越 GPT-3.5约 38%。

针对信息抽取任务的图生成任务，进行了较为细粒度的评估。生成一个图通常包含两个角度，一个是判断实体/节点的准确性、另一个是实体/节点之间关系的准确性，结果如下图所示：

针对偏好对齐训练后的模型，实验结果如下所示：

可发现，经过偏好对齐调优后的模型性能可以进一步得到提升，提升效果接近 10%。此外，InstructGraph 在通用的 NLP 任务上效果也能够保持与 LLaMA2 相似的结果。

参考文献

[1] Text2Graph: Harnessing Large Language Models to Generate Knowledge Graphs from Text https://medium.com/@zakaria.hamane1/text2graph-harnessing-large-language-models-to-generate-knowledge-graphs-from-text-141405c67272

[2] Can Language Models Solve Graph Problems in Natural Language? https://arxiv.org/pdf/2305.10037.pdf

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·