ACL 2022 | KPT: 文本分类中融入知识的Prompt Verbalizer

©作者 | 胡声鼎

单位 | 清华大学

来源 | TsinghuaNLP

论文标题：

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

收录会议：

ACL 2022

论文链接：

https://arxiv.org/abs/2108.02035

代码链接：

https://github.com/thunlp/KnowledgeablePromptTuning

背景

利用 Prompt Learning（提示学习）进行文本分类任务是一种新兴的利用预训练语言模型的方式。在提示学习中，我们需要一个标签词映射（verbalizer），将 [MASK] 位置上对于词表中词汇的预测转化成分类标签。例如 {POLITICS: "politics", SPORTS: "sports"} 这个映射下，预训练模型在 [MASK] 位置对于 politics/sports 这个标签词的预测分数会被当成是对 POLITICS/SPORTS 这个标签的预测分数。 

手工定义或自动搜索得到的 verbalizer 有主观性强覆盖面小等缺点，我们使用了知识库来进行标签词的扩展和改善，取得了更好的文本分类效果。同时也为如何在 Prompt Learning 下引入外部知识提供了参考。

方法

我们提出使用知识库扩展标签词，通过例如相关词词表，情感词典等工具，基于手工定义的初始标签词进行扩展。例如，可以将 {POLITICS: "politics", SPORTS: "sports"} 扩展为以下的一些词：

▲ 表1: 基于知识库扩展出的标签词

▲ 图1: 以问题分类任务为例的KPT流程图

之后我们可以通过一个多对一映射将多个词上的预测概率映射到某个标签上。

但是由于知识库不是为预训练模型量身定做的，使用知识库扩展出的标签词具有很大噪音。例如 SPORTS 扩展出的 movement 可能和 POLITICS 相关性很大，从而引起混淆；又或者 POLITICS 扩展出的 machiavellian（为夺取权力而不择手段的）则可能由于词频很低不容易被预测到，甚至被拆解成多个 token 而不具有词语本身的意思。因此我们提出了三种精调以及一种校准的方法。

2.1 频率精调

我们利用预训练模型 M 本身对于标签词 v 的输出概率当成标签词的先验概率，用来估计标签词的先验出现频率。我们把频率较小的标签词去掉。

▲ 公式1: 频率精调。C代表语料库

2.2 相关性精调

有的标签词和标签相关性不大，有些标签词会同时和不同标签发生混淆。我们利用 TF-IDF 的思想来赋予每个标签词一个对于特定类别的重要性。

▲ 公式2: 相关性精调，r(v,y)是一个标签词v和标签y的相关性，类似于TF项。右边一项则类似IDF项，我们要求这一项大也就是要求v和其非对应类相关性小。

2.3 可学习精调

在少样本实验中，我们可以为每个标签词赋予一个可学习的权重，因此每个标签词的重要性就变成：

▲ 公式3：可学习的标签词权重

2.4 基于上下文的校准

在零样本实验中不同标签词的先验概率可能差得很多，例如预测 basketball 可能天然比 fencing 大，会使得很多小众标签词影响甚微。我们使用校准的方式来平衡这种影响。

▲ 公式4: 基于上下文的校准，分母是公式1中的先验概率。

使用上以上这些精调方法，我们知识库扩展的标签词就能有效使用了。

实验

▲ 表2：零样本文本分类任务

如表 2 所示，零样本上相比于普通的 Prompt 模板，性能有 15 个点的大幅长进。相比于加上了标签词精调的也最多能有 8 个点的提高。我们提出的频率精调，相关性精调等也各有用处。

▲ 表3：少样本文本分类任务

如表 3 所示，在少样本上我们提出的可学习精调搭配上相关性精调也有较大提升。AUTO 和 SOFT 都是自动的标签词优化方法，其中 SOFT 以人工定义的标签词做初始化，可以看到这两种方法的效果都不如 KPT。

▲ 图2: SPORTS和BUSINESS类的知识库扩展的标签词对于预测的贡献

标签词的可视化表明，每一条句子可能会依赖不同的标签词进行预测，完成了我们增加覆盖面的预期。

总结

最近比较受关注的 Prompt Learning 方向，除了 template 的设计，verbalizer 的设计也是弥补 MLM 和下游分类任务的重要环节。我们提出的基于知识库的扩展，直观有效。同时也为如何在预训练模型的的利用中引入外部知识提供了一些参考。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·