干货！结构化知识的统一建模和多任务学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

基于结构化知识的任务（SKG）利用结构化知识来完成用户请求，例如对数据库的语义解析和对知识库的问答。由于SKG任务的输入和输出是异构的，它们在历史上被不同的社区分开研究，这限制了对SKG的系统和兼容研究。在本文中，我们通过提出UnifiedSKG框架来克服这一限制，该框架将21个SKG 任务统一为文本到文本格式，旨在促进系统的 SKG 研究，而不是仅限于单个任务，领域，或数据集。我们展示了像 T5 这样的大型语言模型，在必要时进行简单的修改，在所有 21个 任务上实现了最先进的性能。UnifiedSKG有助于研究多任务、零样本和少样本学习。我们证明了使用 UnifiedSKG进行多任务前缀调整可以提高大多数任务的性能，并展示 T0、GPT-3 和 Codex 在 SKG 的零样本和少样本学习中的不足。UnifiedSKG还支持对跨 SKG 任务的结构化知识编码变体进行一系列受控实验。我们发现 T5 对结构化知识编码变化的敏感性因任务而异。UnifiedSKG很容易扩展到更多任务，并将开源在https://github.com/hkunlp/unifiedskg

本期AI TIME PhD直播间，我们邀请到香港大学计算机系助理教授——余涛，为我们带来报告分享《结构化知识的统一建模和多任务学习》。

余涛：

香港大学计算机系助理教授，博士毕业于耶鲁大学，目前在华盛顿大学自然语言处理实验室访问。他的研究兴趣在自然语言处理(NLP)。具体研究方向和兴趣包括但不限于对话问答系统，语义解析，自然语言界面，和人机交互。

基于结构化知识的任务（SKG）利用结构化知识来完成用户请求，例如对数据库的语义解析和对知识库的问答。由于SKG任务的输入和输出是异构的，它们在历史上被不同的社区分开研究，这限制了对SKG的系统和兼容研究。

我们通过提出UnifiedSKG框架来克服这一限制，该框架将21个SKG任务统一为文本到文本格式，旨在促进系统的SKG研究，而不是仅限于单个任务、领域或数据集。我们展d示了像T5这样的大型语言模型，在必要时进行简单的修改，在所有21个任务上实现了最先进的性能。UnifiedSKG有利于研究多任务、零样本和少样本学习。我们证明了使用UnifiedSKG进行多任务前缀调整可以提高大多数任务的性能，并展示T0、GPT-3和Codex在SKG的零样本和少样本学习中的不足。UnifiedSKG还支持对跨SKG任务的结构化知识编码变体进行一系列受控实验。我们发现T5对结构化知识编码变化的敏感性因任务而异。UnifiedSKG很容易扩展到更多任务。

在互联网时代，我们日常都会接触到大量的数据。这些数据可以分为非结构化数据和结构化数据。非结构化数据如图像、文本和视频。结构化数据指的是数据库、知识图谱存储的数据，这些数据都存在于一定的结构化格式。

基于结构化知识数据的任务可以统称为 Structured Knowledge Grounding (SKG)。这些任务的共同性都是基于这些结构化知识进行推理查询来回答或满足用户的自然语言问题和请求，比如语义解析 Semantic Parsing是其中经典的一个SKG问题：用户会问一个关于database或knowledge graph的问题，这个任务就是把将自然语言问题转化为逻辑形式的结构（机器可以懂的语言）。如左图中，便是把问题转化为SPARQL的语句。之后便可以在knowledge graph上执行而得到问题的答案。

这些不同的任务都是在不同的NLP Community里学习的，而且把他们定义成不同的任务。如下图，彼此之间都是分开进行学习然后产生不同的task model。

随后根据方向发展也会产生新的任务，新的模型。

但也因为这个特点，各structure knowledge多元化，input和output不一样，阻碍了彼此之间的knowledge sharing。

因此目标是进行统一，做打破彼此任务之间的边界的第一次简单尝试，使得这些可以在同一个UnifiedSKG framework下进行学习并在这些任务上取得不错的结果。

 UnifiedSKG将SKG的数据集、模型、代码、实验和评估指标标准化到一个单一的框架中，却拥有不同的input和output。这个framework中含有21个不同task

Motivation

1）希望这个framework可以促进不同SKG task之间的knowledge sharing，尤其是在针对同一knowledge。

2）SKG任务的标注成本较高，数据量通常较小

3）一个模型可以处理多个请求，节省空间、维护和计算成本。

4）适应和分析的统一框架

• 更好地利用预先训练的语言模型(PLMs)。

• 更可控，更公平的分析比较。

• 在SKG中促进更广泛和更有力的研究

接下来我们来看下UnifiedSKG framework也可以在这些SKG Task上取得非常好的成绩。

首先我们来针对这个 text to text model框架去unified这些input和output。我们采用t5—sequence to sequence model。对于这些input，我们有这些structured knowledge，总体上看有3个不同的input

User request：用户的问题，string形式

Linearized：

比如把表格或者knowledge graph转化成flattened string。

上述这三个input作为t5的input sequence

对于output：

通过这些形式，我们便可以去unified这些task的input与output。然而问题产生了，这样的方式是否可以让t5 达到比较好的performance，在针对这么多的task情况下。

结论显示，我们这种general且简单的framework是可以在全部21个task上达到state-of-the-art performance的。我们去设置不同size的t5——base、large、3billion。在绝大多数task上都不用做modification可以达到state-of-the-art performance。

为了进行更好的对比，所以在不同size的t5——base、large、3billion都运行了一下。

结构化知识的统一建模和多任务学习实现了知识共享和跨任务泛化，极大地提高了整体性能。

从上图中，是t5-base和t5-large在每个SKG task的training数据上单独的跑一个t5 所得到的分数。

对于MT-P：Multi-task prefix tuning，分两步

1）对t5-large加一个比较小的perfix，这个prefix对所有的task都是shared prefix。然后我们将这21个task的training数据合成一个training数据，到converge聚集之后。

2）针对每个task都有个prefix，用shared prefix去initialize每个task的prefix，然后在每一个task的数据上继续finetune这些task-specific的prefix。

最近T0、GPT3, Codex这些model使得zero-shot和few-shot这些概念比较火。

由于SKG task相对更复杂一些，所以在zero-shot和few-shot的learning上也会比较复杂，很少在SKG task做test

我们选取了一些比较有代表性的task来做zero-shot和Few-shot learning初始的study，我们看下他们各自的performance

我们可以在统一的unified framework做一些可控的实验，使我们能发现对SKG task 有重要性的structured knowledge encoding的方法。如下初始实验，针对structured knowledge encoding，有两个主要的input——User request和structured knowledge

UnifiedSKG进一步实现了一系列关于SKG任务中结构化知识编码选择重要性的控制实验。

T5对结构化知识编码的变化很敏感，并且在不同的任务中，这种敏感性有所不同。比如下表中，在structured knowledge里面改变order，table中不同的column顺序去test，发现performance下降很多。说明这些model对order还是比较敏感

之后如何训练 Unified framework 去产生一些general robust的Structured Knowledge Encoding 方法，也是个重要研究方向。

之后我们来看下error Analysis，随着t5 size增加，error会越来越少，但是T5-3B仍然可能产生无效或无意义的输出。

Future Directions 未来方向预测

• 训练 Unified SKG framework 去产生一些general robust的Structured Knowledge Encoding 方法（linearization? input limits?）

• 针对一些Unified SKG task来做zero-shot和Few-shot learning初始的study

• 用unified SKG task进行多任务学习

• General pretraining methods 使得unified SKG task在这些task上取得更好的performance

• Extending and benchmarking可以用realistic SKG tasks去包括更多的realistic SKG tasks

提

醒

论文题目：

UnifiedSKG: Unifying and Multitasking Structured Knowledge Grounding withText-to-Text Language Models

点击文末“阅读原文”，即可观看本场回放

整理：林    则

审核：余    涛

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了550多位海内外讲者，举办了逾300场活动，超120万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看回放！