NAACL 2022 | DiffCSE：基于差异的句向量对比学习方法

©作者 | 曾伟豪

单位 | 北京邮电大学

研究方向 | 对话摘要生成

论文标题：

DiffCSE：Difference-based Contrastive Learning for Sentence Embeddings

论文来源：

NAACL 2022

论文链接：

https://arxiv.org/pdf/2204.10298.pdf

代码链接：

https://github.com/voidism/DiffCSE

Motivation

通过对比学习来学习 sentence embeddings 的表示。一般的思路：对于单个样本利用 multiple augmentations 的方法来构造 positive pairs。这些方法的训练目标在于让 representations对于 augmentation transformation 是 invariant的。（比如常用的 dropout-based 的方法）

然而有些的 augmentation 的方法（如对 input 进行 deletion 或者 replacement）往往会改变原句的意思，因此，理想的 augmentation 方法应当对于这些 transformations 应当是 not invariat 的。

在计算机视觉领域，此为 equivariantcontrastive learning，通过在不敏感的 image transformations（如灰度变化）使用对比损失，而在敏感的 image transformations（如图片的旋转）上使用 prediction loss。

Contribution

实验表明 DiffCSE 在 unsupervised sentence representation learning methods 达到了 SOTA 的效果。在 se-mantic textual similarity tasks 上超越 SimCSE 2.3 个 absolute points。

Difference-based Contrastive Learning

作者的方法很简单，将 SimCSE 中标准的对比学习目标域与基于 sentence embeddings 的差异预测目标结合。

上图的左边即为 SimCSE 的训练目标：

上图的右边 ELECTRA 中差异预测训练目标的 conditional 版本。包括 generator 和 discriminator。

对于给定的长度为 T 的句子 x，在 x 上进行随机的 mask 以获得 ，使用预训练好的 MLM 模型作为 generator 来恢复 mask tokens，得到 ，使用 discriminator 来进行替换的 token 检测的任务（RTD），对于句子中的每一个 token，模型需要预测该 token 是否被替换。

最终的训练目标：

Discriminator 的梯度会反向传播到 sentence encoder 上，使得 sentence encoder 能够包含句子 x 的完整意思，从而使 Discriminator 能够区分 x 和 的细微区别。

训练过程中固定 generator 的参数，而优化 sentence encoder 和 discriminator。在获取 sentence embedding 时，只需要 sentence encoder 的输出。

Note：

最近在整理 ACL 和 NAACL 的论文，会优先更新在博客上。

ACL 2022中的对话生成：

https://zeng-wh.github.io/2022/04/22/Dialogue-in-ACL-2022/

NAACL 2022中的对比学习：

https://zeng-wh.github.io/2022/04/23/%E5%AF%B9%E6%AF%94%E5%AD%A6%E4%B9%A0-in-NAACL-2022/

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·