超小型bert横空出世：训练和预测提速10倍

作者徐亮（实在智能算法专家) 

项目地址：

https://github.com/brightmart/albert_zh

---

之前介绍过中文预训练模型ALBERT《中文预训练ALBERT模型来了：小模型登顶GLUE，Base版模型小10倍速度快1倍》，现在 albert_tiny 也来了，模型已经更新上去，以下是该模型的简单介绍：

「模型介绍」模型albert_tiny，参数量仅为1.8M，是bert的六十分之一；模型大小仅16M，是二十五分之一；训练和预测提速约10倍；序列长度64的分类任务上，单核cpu的每秒处理能力即qps达到20。

「效果对比」在语义相似度LCQMC测试集上与bert差距仅为1.5个点；在三个同行的业务数据上测试，与bert差距在两个点内。

「适应场景」在任务相对简单，如分类或句子对任务，或实时性要求高的任务；不适用复杂业务如阅读理解等。

「模型下载地址」albert_tiny预训练中文模型地址：

https://github.com/brightmart/albert_zh

更新信息也请参考上述地址或点击阅读原文查看。

相关链接：