SpeechIO 滚动测试报：2022年05月

SpeechIO TIOBE

ASR Benchmark

滚动测试报告 2022年05月

滚动测试 2022-05

---

1滚动测试

---

2

往期比较

3

排名

白盒排名：基于已开源的 SpeechIO 测试集

排名	厂商	字错误率（%）
1	阿里云	2.65
2	微软	2.67
3	依图	2.71
4	思必驰	3.12
5	讯飞转写	3.33
6	腾讯	3.48
7	百度	5.83

整体排名：基于目前所有的 SpeechIO 测试集

排名	厂商	字错误率（%）
1	依图	3.1
2	微软	3.47
3	思必驰	3.63
4	阿里云	3.81
5	讯飞转写	4.05
6	腾讯	4.06
7	百度	7.38

4简评

• 本期测试与上期相比：

• 阿里，微软有较明显提升

• 讯飞性能变差

• 其余厂家过去三个月模型应未更新，性能没有变化
  

• 本期滚动测试开始加入排名（汇总各场景统计结果）：我们陆续在把测试集开放给全行业，所以目前统计两个排名:

• 白盒测试集排名(截至本期已开放00001 ~ 00010号场景)

• 整体排名(截至本期包括00001 ~ 00030号场景)，场景详细信息见 附录1 或项目的 github repo

• 横向看(厂家间)，头部厂商的数字相当的接近。我们认为数字差距在 0.5% 以内都不算有实质差别，因为我们无法绝对意义上统一所有厂家的识别配置（如VAD具体设置，语气词的归一化，脏词的过滤等），这一点我们在 [SOTA] 文中有过说明。Leaderboard 的全部流程都开源在 github，配合我们已经开源的测试集，复现起来相当便捷，欢迎相关的同学提交改进的 Pull Request。

• 纵向看(时间滚动)，厂家相对自身，综合数字提升0.5%已属相当显著，因为 SpeechIO 覆盖的场景以及测试集的规模已经相当庞大，微小的数字也具有统计学意义。

• 后台持续征集难度大，有代表性的测试场景，场景素材选取原则上遵循公众熟知 & 可公开获取。

可扫描文章底部二维码关注公众号。第一时间获取 SpeechIO 最新信息，加入 SpeechIO 讨论群，可添加微信号 JerryEjwt 备注 SpeechIO。

github repo：https://github.com/SpeechColab/Leaderboard

附录1已有测试集信息汇总

文章链接	场景	领域	难度(1-5)
新闻联播	新闻播报	时政	★
鲁豫有约一日行	访谈电视节目	名人工作、生活	★★☆
天下足球	专题电视节目	足球	★★☆
罗振宇跨年	会场演讲	社会、人文、商业	★★
李永乐讲堂	在线教育	科普	★★★
直播 王者荣耀	直播	游戏	★★★☆
直播 带货	直播	电商、美妆	★★★★☆
老罗语录	线下培训	段子，做人	★★★★☆
播客 故事FM‍	播客	人生故事、见闻	★★☆
播客 创业内幕	播客	创业、产品、投资	★★☆
罗翔 法考	在线教育	法律 法考	★★☆
张雪峰 考研‍	在线教育	考研 高校报考	★★★☆
谷阿莫&牛叔	短视频	电影剪辑	★★★
琼斯爱生活&贫穷料理	短视频	美食、烹饪	★★★☆
单田芳-白眉大侠	评书	江湖、武侠	★★☆
德云社专场	相声	包袱段子	★★★
吐槽大会‍	脱口秀	明星糗事	★★☆
小猪佩奇&熊出没	少儿动画	童话故事、日常	★☆
NBA现场转播	体育赛事解说	篮球，NBA	★★★
篮球人物	纪录片	篮球明星，成长	★★
汽车之家 汽车评测	短视频	汽车品牌，车型，路测	★★★☆
小艾大叔 豪宅带看	短视频‍	房地产，豪宅	★★★☆
Zealer & 无聊开箱	短视频	产品开箱	★★★
付老师种植技术	短视频	农业种植	★★★☆
石国鹏线下课	线下培训	古希腊哲学	★★☆
张震鬼故事	电台节目	恐怖故事	★★★
华语大学生辩论赛	辩论赛	兴趣，技能，成长	★★★
同声传译	同声传译现场	时政	★★★☆
港台口音	港台明星访谈	演艺、创作、生活	★★★☆
老外口音	外国嘉宾参加的综艺	文化、习俗、异国文化	★★★☆

---

附录2
项目更新日志

• 2022年05月：

• 测试：全厂商 × 全场景 滚动刷新测试

• 从本期滚动测试起，增加厂商排名
  

• 2022年02月：

• 场景：增加[港台口音] [老外口音]

• 流程：文本归一模块加入儿化音过滤功能(贡献者：xiaoxi91@github )

• 厂商：搜狗平台停止运营；添加 XFZX 服务；微软接口从Rest更换到SDK并关闭TN、脏词过滤模块。
  

• 测试：全厂商 × 全场景 滚动刷新测试
  

• 2021年10月：

• 场景：增加 [电台节目:张震鬼故事] [华语大学生辩论赛] [同声传译现场 时政]

• 流程：TN模块增加无意义 filler 词 "呃，啊" 过滤

• 测试：全厂商 × 全场景 滚动刷新测试

• 2021年7月：

• 场景：增加 [短视频-产品开箱] [短视频-农业种植] [线下培训-古希腊哲学]

• 测试：全厂商 × 全场景 滚动刷新测试

• 2021年4月：

• 发布：Leaderboard 项目

• 场景：增加 [汽车之家-汽车评测] [小艾大叔-豪宅带看]

• 测试：全厂商 × 全场景 滚动刷新测试

• 2021年1月:

• 场景：增加[体育赛事解说-NBA] [纪录片-篮球人物]

• 厂商：得到"创业公司S"授权，身份公布为思必驰AISpeech，调用平台为[思必驰开放平台-一句话识别服务]

• 测试：全厂商 × 全场景 滚动刷新测试

• 2020年12月:
  

• 场景：增加 [少儿卡通 小猪佩奇&熊出没]

• 厂商：百度服务切换至极速版，详见 [百度服务切换说明]

• 测试：全厂商 × 全场景 滚动刷新测试
  

• 2020年11月：

• 场景：增加 [评书 单田芳-白眉大侠]，[相声 德云社]，[脱口秀 吐槽大会]

• 测试：全厂商 × 全场景 滚动刷新测试
  

• 2020年10月：

• 指标：增加 SOTA 数值 ，详见 [当我们谈论SOTA时，我们在谈论什么]

• 场景：增加 [短视频 电影剪辑 谷阿莫&牛叔说电影] [短视频 美食&烹饪 琼斯爱生活&贫穷料理]

• 测试集发布：[新闻联播] 测试集已公开发布，后续滚动测试不会每期都覆盖该场景

• 测试：全厂商 × 全场景 滚动刷新测试
  

• 2020年9月：

• 场景：增加 [在线教育 罗翔 法考] [在线教育 张雪峰 考研]    

• 厂商：[阿里云+]已上线合并入公网版本[阿里云]，TIOBE 历史数据记录始终以公网版本为准。

• 测试：全厂商 × 全场景 滚动刷新测试

• 2020年8月：
  

• 场景：增加 [播客 创业内幕]
  

• 测试：全厂商 × 全场景 滚动刷新测试
  

• 2020年7月：

• 场景：增加 [播客 故事FM]

• 重要修复：发现 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录] 三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]

• 测试：全厂商 × 全场景 滚动刷新测试

• 2020年6月：

• 场景：增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]

• 厂商：增加 阿里+ ，为阿里云新算法的试用版; 测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和。

• 更名：原搜狗知音平台 改名为 搜狗AI开放平台

• 测试：全厂商 × 全场景 滚动刷新测试

• 2020年5月：

• 修复搜狗多句结果解析bug

• 场景：增加 [天下足球-世界杯往事] [罗振宇跨年演讲] [李永乐老师在线讲堂]

• 厂商：增加 创S

• 测试：全厂商 × 全场景 滚动刷新测试

• 2020年4月：

• 场景：增加 [鲁豫有约大咖一日行]

• 厂商：增加 微软 Azure 认知服务 搜狗知音平台

• 测试：全厂商 × 全场景 滚动刷新测试

• 2020年3月：

• 项目发布：[引篇] [测试规范]

• 场景：增加 [新闻联播]

• 厂商：增加 阿里 百度 谷歌 讯飞 腾讯 创Y