查看原文
其他

SpeechIO Leaderboard 加入 Kaldi 开源中文模型

SpeechIO SpeechIO 2022-02-26

信息发布:[SpeechIO leaderboard] model zoo 中新加入基于 Kaldi 框架的开源中文识别模型,model_id 为 speechio_kaldi_multicn,可以在 leaderboard 中公开引用或者下载使用。


该模型由 Kaldi multicn recipe 的作者那兴宇于2020年中基于 multicn recipe 优化训练完成,由 SpeechIO 近日整理进 leaderboard model zoo,该模型基本代表了现有纯开源领域的最好性能。时至今日,开源模型无论在音频、文本语料的数据量,还是在模型尺寸上,仍与工业级系统存在数量级上的差距。


下图通过 SpeechIO 评测,展示了头部厂商中,性能较好依图、能较差的度智能云、以及 [SOTA] 指标,和 Kaldi multicn 开源模型进行对比。



  1. 可以看到在环境相对干净,内容不偏门的场景下,开源模型性能表现与工业系统差距不算大。

  2. 但在声学条件复杂或者领域偏门的场景,开源模型与工业系统差距仍非常明显(准确率差别多至10几20个点)。

  3. 文是行业里第一次定量的对比当前最好的开源模型和工业系统,相信这里的数字比较,能给大家带来一点新鲜的感知。


最后要声明,对于此次发布的 Kaldi 开源模型,任何人都可以通过 leaderboard 里的说明进行下载使用,但因为该工作时间较久,SpeechIO和模型作者没有责任和义务进行维护或者答疑,望读者见谅。


开源生态的进展依赖数据、算法和交流,SpeechIO leaderboard 也欢迎大家能够提交自己最好的模型,来一较高下吧 : )

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存