复旦邱锡鹏团队 | 综述：自然语言处理中的范式转换

Machine Intelligence Research

在深度学习的时代，多数自然语言处理(NLP)任务的建模已经融合到几种主流范式中。然而，分散在不同自然语言处理任务中的范式转换尚未得到系统的综述和分析。复旦大学邱锡鹏教授团队试图总结这一研究领域的最新进展和趋势，即范式转换或范式转移。文章回顾了近年来这种范式转换的现象，并重点介绍了几种有可能解决不同NLP任务的范式。相关成果发表于MIR 2022年第三期中，全文免费下载！

图片来自Springer

全文导读

在深度学习的时代，多数自然语言处理(NLP)任务的建模已经融合到几种主流范式中。

例如，我们通常采用序列标记范式来完成一系列任务，如词性标记、命名实体识别(NER)和组块分析等，并采用分类范式来完成情感分析等任务。

来自论文

随着预训练语言模型的快速发展，近年来出现了一种范式转换的新兴趋势，即通过对任务的输入输出形式进行修改，从而在新范式下完成一个NLP任务。

在完成许多任务时，范式转换都取得了巨大的成功，并正成为提升模型性能的一种新兴方法。此外，其中一些范式在统一大量NLP任务方面显示出巨大的潜力，从而有可能构建一个单一的模型来处理不同的任务。

虽然取得了不少成功，但这些分散在不同自然语言处理任务中的范式转换尚未得到系统的综述和分析。复旦大学邱锡鹏教授团队试图总结这一研究领域的最新进展和趋势，即范式转换或范式转移。

文章回顾了近年来这种范式转换的现象，重点介绍了几种有可能解决不同NLP任务的范式。

文章的组织结构如下。第二部分给出了七种范式的正式定义，并介绍了它们完成的代表性任务和实例模型。第三部分展示了不同NLP任务中发生的范式转变。第四部分讨论了几个突出的范式的设计和挑战，这些范式在统一大多数现有NLP任务方面表现出了巨大的潜力。第五部分简要讨论了近期趋势和未来方向。

全文下载

Paradigm Shift in Natural Language Processing

Tian-Xiang Sun, Xiang-Yang Liu, Xi-Peng Qiu,  Xuan-Jing Huang

https://link.springer.com/article/10.1007/s11633-022-1331-6

https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1331-6

【本文作者】

孙天祥

博士研究生

刘向阳

硕士研究生

邱锡鹏

教授

黄萱菁

教授

特别感谢本文第一作者、复旦大学孙天祥博士对以上内容的审阅和修改！

∨

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。

▼MIR往期好文推荐▼最新好文 | 基于因果推断的可解释对抗防御高质量综述集锦 | 涵盖进化计算、深度视听学习、目标跟踪......高质量约稿集锦 | 涵盖掌纹及掌静脉识别、手势识别、自监督学习.......
AI最前沿 | 聚焦知识挖掘、5G、强化学习等领域；来自联想研究院、中科院自动化所等团队中科院自动化所何晖光团队 | 一种基于RGEC的新型网络
联想CTO芮勇团队 | 知识挖掘：跨领域的综述
主编谭铁牛院士寄语, MIR第一期正式出版！华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
北科大殷绪成团队 | 弱相关知识集成的小样本图像分类
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法
▼数据库收录信息▼喜报 | MIR被 ESCI 收录！喜报 | MIR 被 EI 与 Scopus 数据库收录新春喜报！MIR入选“中国科技核心期刊”

点击"阅读原文"免费下载全文