【含源码】Apple AI 研究人员提出“先计划后生成”(PlanGen) 框架

喜欢我们的文章，点击上方AINLPer，关注一下叭！

😀各位，周末愉快，劳逸结合，注意休息~

引言

    近年来，神经网络的发展推动了数据到文本生成的进步。然而，在某些实际应用中，神经模型缺乏控制生成输出结构的能力，这在文本生成任务中是个不小的挑战。针对这问题，来自 Apple 和剑桥大学的研究人员提出一种先计划后生成的框架，以提高神经数据到文本模型的可控性。题目：Plan-then-Generate: Controlled Data-to-Text Generation via Planning.

论文：https://arxiv.org/pdf/2108.13740.pdf

Github：https://github.com/yxuansu/plangen

数据集：https://github.com/google-research-datasets/ToTTo

如果您不便下载：回复： PlanGen  获取原文。

正文开始

1背景介绍
    首先有的小伙伴可能对于控制输出结构不是很了解，这里举个简单的例子：    假设我们有一个机器人助理，当我们问机器人：“谁在《流浪地球》中演的刘培强”，比较自然的回答应该是：“吴京在《流浪地球》中演的刘培强”;作为对照，我们换一种方式：“吴京在《流浪地球》中出演的是什么角色”，得到的比较自然的回答应该是：“吴京在《流浪地球》中出演的是刘培强”。虽然这两个答案在语义上是等效的，但使用最合适的结构生成答案可以让人觉得，这个对话系统听起来不那么机械化并且易于理解。

    所以说加强控制生成输出结构的能力，能够有效的提高人机对话质量，给与我们更好的服务体验。目前对于我们来说，模型控制其输出结构的能力要至少要满足以下两点，才能是比较理想的模型：

    1、模型的输出结构能够更加自然，能够符合我们日常交流习惯。

    2、允许模型通过简单地更改输入计划信息（即内容计划）来生成具有不同结构的输出，这可能有利于其他应用程序，例如释义和数据增强。

2PlanGen

    面对这个挑战，来自 Apple 和剑桥大学的研究人员提出一种先计划后生成的框架（PlanGen），以提高神经数据到文本模型的可控性。

    PlanGen 由两个组件组成：内容规划器和序列生成器。内容规划者首先预测他们的输出将遵循的最有可能的计划。此后，序列生成器使用数据和内容计划作为输入生成结果。

    为了确保 PlanGen 模型的可控性，研究小组采取了额外的步骤，提出了一个结构感知强化学习目标，鼓励从内容计划中生成输出。他们使用有序的令牌列表，因为它的简单性和广泛的适用性。就表格数据而言，内容计划中的每个标记都是表格中的一个槽键。以 RDF 格式存储的图形数据由表示三元组谓词的标记表示。

3实验结果    

    研究人员通过在具有不同数据结构的两个基准上进行测试来验证他们提出的模型：具有表格数据的 ToTTo 数据集和具有图形数据的 WebNLG 数据集。所提出的模型比以前最先进的方法实现了更好的性能。人工和自动评估都表明了这一点，输出包含高度可控的结构，可以实现他们在发电质量方面设定的目标。

    1、在ToTTo数据集上的测试结果：

    2、在WebNLG数据集上的测试结果：

♥如果您喜欢AINLPer的文章♥

点击下方链接🔗关注我们叭

资料整理确实不易，帮忙点个【赞】、【在看】吧