达摩院深度语言模型体系AliceMind开源！

今天，阿里巴巴达摩院正式开源深度语言模型体系AliceMind。

历经三年研发，AliceMind从通用语言模型StructBERT的基础上，拓展到多语言、生成式、多模态、结构化、知识驱动等领域，能力全面。

AliceMind先后登顶GLUE等六大AI权威榜单，还入选了2021世界人工智能大会最高奖SAIL奖TOP30榜单。

自然语言处理（NLP）被誉为AI皇冠上的明珠。

传统NLP模型制作复杂，耗时耗力，且用途单一，难以复用，犹如手工作坊。但近几年兴起的预训练语言模型，正在改变局面，有望让语言AI走向入可规模化复制的工业时代。

如果用炼钢来类比，以前要获得一个可用的NLP应用模型，要从铁矿石开始炼钢，周期长，费用高，产量低；但现在有了开源的预训练语言模型，相当于有了现成的粗钢，只需要把粗钢炼成所需的特定钢材，效率大为提升。

AliceMind先后登顶了GLUE Benchmark、多语言XTREME在内的六大权威AI榜单，上周再次登顶的多模态权威榜单VQA Challenge 2021。AliceMind战胜了微软、Facebook等几十家国际顶尖团队，将纪录从去年第一名的76.36%显著提升到79.78%，接近人类水平（80.78%）。

霸榜背后，是AliceMind持续创新和进化。

达摩院团队在BERT基础上提出优化模型StructBERT，2020年多次在NLP顶级赛事GLUE Benchmark上夺冠。该模型通过在句子和词级别引入两个新的目标函数，好比给AI装上“语法识别器”，在面对语法错乱时，AI依然能准确理解并给出正确回应，大大提高机器对语言的整体理解力。

而此次在VQA Challenge 2021登顶的多模态模型StrucVBERT，融合了通用模型StructBERT和结构化模型StructuralLM，同时引入文本和图像模态，利用更高效的视觉特征和创新的注意力机制在统一的多模态语义空间进行联合建模。

目前，AliceMind掌握语言超过100种，具有阅读、写作、翻译、问答、搜索、摘要生成、对话等多种能力，现已成为阿里的语言技术底座，日均调用量超过50亿次，活跃场景超过200个，在跨境电商、客服、广告等数十个核心业务应用落地。

在阿里之外，AliceMind广泛运用于医疗、能源、金融等多个行业。其中，浙江电网公司以AliceMind为底座为员工构建智能化运维平台，应用于变压器检修、供电抢修等业务，已经开始在国家电网公司统一推广。

AliceMind：

达摩院深度语言模型体系AliceMind包括了：

通用语言模型StructBERT、多语言VECO、生成式PALM、多模态StructVBERT、结构化StructuralLM、知识驱动LatticeBERT、机器阅读理解UED、超大模型PLUG等等。

以上大部分模型此次已开源，戳阅读原文可直达Github。

/ END /

点击阅读原文，直达Github：alibaba/AliceMind