EMNLP 2023 | 基于大语言模型的复杂任务认知推理算法CogTree

©来源 l 阿里云大数据AI平台

近日，阿里云人工智能平台 PAI 与华东师范大学张伟教授团队合作在自然语言处理顶级会议 EMNLP 2023 上发表了基于认知理论所衍生的 CogTree 认知树生成式语言模型。

通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。

论文标题：

From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models

论文作者：

严俊冰、汪诚愚、张涛林、何晓丰、黄俊、张伟

论文链接：

https://arxiv.org/abs/2311.06754

三分钟读论文

Powered by AI © PaperWeekly

背景

随着深度学习在自然语言处理、机器翻译等任务上的不断发展，人们对如何将深度学习应用到自然语言处理中越来越感兴趣，由此出现了大语言模型（例如 GPT-3.5），并已在文本生成、情感分析、对话系统等多个任务上取得了重大突破。大语言模型通常基于大规模文本数据进行预训练，然后通过微调在特定任务上进行优化，以生成高质量的文本输出。

然而，对于语言模型而言，复杂的逻辑推理问题和数学问题的求解仍然是很困难的。并且，传统的语言模型缺乏认知能力。在处理涉及冗长的推理链或多步解决方案的问题时，对于问题及其当前回答的评估是很重要的。然而，目前的方法例如 Chain-of-thought 等通常缺乏对于中间过程的验证。并且大型语言模型的部署和推理成本相对较高，特别是在利用无参数更新的推理增强技术时。这些技术需要大量的上下文和多步的答案生成，进一步增加了推理成本和时间。

因此，本文研究面向轻量化大模型的复杂任务推理，使用较小规模的模型（7B），构建双系统生成推理树，大大增强模型在复杂数学问题和逻辑推理问题上的回答能力。提出了一种大模型面向复杂数学问题的求解方法。

该方法基于人类的认知理论，通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。

算法概述

为了解决上述大模型对复杂任务推理准确度不高且推理成本大的问题，CogTree 采用双系统的方式，用大模型分别构建两个系统：直觉系统和反思系统，使用直觉系统生成原问题分解的假设，使用反思系统验证假设的正确性，引导直觉系统后续的生成。模型框架图如下所示：

通过双系统迭代式的生成一棵推理树，增强大模型的推理能力。本方法的创新性是面向大语言模型，设计了一套新的推理框架，增强大模型在复杂数学问题上的推理能力。

2.1 直觉系统

直觉系统的生成能力是构建认知树的基础。因此，选择仅包 decoder-only 的模型（例如，GPT2-XL 或 LLaMA-7B）作为直觉系统。通过上下文方法来增强直觉系统的能力。定义查询 为逻辑推理问题的最终目标或数学问题。

在逻辑推理问题的情况下，分解 涉及将目标进一步分解为较小问题，通过对这些分解进行推理，可以实现最终目标。对于数学问题，它指的是从原始问题中导出的子问题之一，解决这个子问题有助于解决整个原始问题。分解集合表示训练集中所有示例的分解集合。从推理分解集合中检索 个示例 (例如，查询：；分解：询 )，然后将它们用作模型输入的上下文。输出可以生成为 。

这里， 代表从分解集合 中检索到的 个示例，其中 。使用直觉系统获取当前查询的表示，并计算与集合中其他查询的表示的余弦相似度。然后，我们从集合中检索出最相似的 个查询。其中 是一个连续语言序列。

2.2 反思系统

反思系统在作用上与直觉系统不同。直觉系统依赖于快速直觉进行生成，而反思系统的作用是评估直觉系统的生成结果以确定其可接受性。反思系统通过采用两种方法来验证结果：中间过程的验证和整个推理链的验证。给定当前状态 （查询： 与分解：），使用与直觉系统相同的模型架构的反思系统来生成一个验证当前状态的分数 。这可以表示为 。

此外，基于完整的推理链 。使用反思系统来产生一个整体分数 ，可以表示为 。反思系统与直觉系统不同，其主要任务是评估和验证当前状态和整个推理链的可行性，而不是像直觉系统那样产生快速假设。这种评估过程有助于确保生成的假设和推理过程是合理的。

2.3 训练

2.3.1 直觉系统

Supervised Fine-tuning (SFT) 已经证明了其在对其人类意图上的有效性。在我们的方法中，直觉系统通过利用上下文示例将查询 (即复杂问题) 分解为子问题。由于我们使用生成模型作为直觉系统，因此在自回归计算期间，仅对生成的文本 (不包括给定的上下文) 进行损失计算。

给定一个长度为 的样本，表示为 ，其中 。我们定义上下文示例的序列长度为 。我们使用标准的语言建模目标来最大化以下似然函数：

2.3.2 反思系统

反思系统采取与直觉系统相同的训练方法，利用正负样本让模型从中生成分类结果。由于反思系统主要关注状态 的判断，损失函数可以定义如下：。

算法精度评测

为了验证 CogTree 算法的有效性，我们在 Entailment Bank 逻辑推理数据集以及 GSM8K 数学问题数据集上进行了测试，效果证明 CogTree 对大模型复杂任务上的回答准确率提升明显：

我们也将算法与其他基于大模型微调的方法进行对比，证明了 CogTree 框架的有效性。

为了更好地服务开源社区，CogTree 算法的源代码即将贡献在自然语言处理算法框架 EasyNLP 中，欢迎 NLP 从业人员和研究者使用。

EasyNLP 开源框架：

https://github.com/alibaba/EasyNLP

参考文献

[1] Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022

[2] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. 2021a. Training verifiers to solve math word problems. CoRR, abs/2110.14168

[3] Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Olivier Bousquet, Quoc Le, and Ed H. Chi. 2022. Least-to-most prompting enables complex reasoning in large language models. CoRR, abs/2205.10625

[4] Jonathan St B. T. Evans. 1984. Heuristic and analytic processes in reasoning. British Journal of Psychology, 75(4):451–468

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·