SpeechIO 滚动测试报：2022年05月
SpeechIO TIOBE
ASR Benchmark
滚动测试报告 2022年05月
SpeechIO TIOBE
ASR Benchmark
滚动测试报告 2022年05月
滚动测试 2022-05
白盒排名：基于已开源的 SpeechIO 测试集
| 排名 | 厂商 | 字错误率（%） |
| 1 | 阿里云 | 2.65 |
| 2 | 微软 | 2.67 |
| 3 | 依图 | 2.71 |
| 4 | 思必驰 | 3.12 |
| 5 | 讯飞转写 | 3.33 |
| 6 | 腾讯 | 3.48 |
| 7 | 百度 | 5.83 |
整体排名：基于目前所有的 SpeechIO 测试集
| 排名 | 厂商 | 字错误率（%） |
| 1 | 依图 | 3.1 |
| 2 | 微软 | 3.47 |
| 3 | 思必驰 | 3.63 |
| 4 | 阿里云 | 3.81 |
| 5 | 讯飞转写 | 4.05 |
| 6 | 腾讯 | 4.06 |
| 7 | 百度 | 7.38 |
4 简评
本期测试与上期相比：
阿里，微软有较明显提升
讯飞性能变差
其余厂家过去三个月模型应未更新，性能没有变化
本期滚动测试开始加入排名（汇总各场景统计结果）：我们陆续在把测试集开放给全行业，所以目前统计两个排名:
白盒测试集排名(截至本期已开放00001 ~ 00010号场景)
整体排名(截至本期包括00001 ~ 00030号场景)，场景详细信息见 附录1 或项目的 github repo
横向看(厂家间)，头部厂商的数字相当的接近。我们认为数字差距在 0.5% 以内都不算有实质差别，因为我们无法绝对意义上统一所有厂家的识别配置（如VAD具体设置，语气词的归一化，脏词的过滤等），这一点我们在 [SOTA] 文中有过说明。Leaderboard 的全部流程都开源在 github，配合我们已经开源的测试集，复现起来相当便捷，欢迎相关的同学提交改进的 Pull Request。
纵向看(时间滚动)，厂家相对自身，综合数字提升0.5%已属相当显著，因为 SpeechIO 覆盖的场景以及测试集的规模已经相当庞大，微小的数字也具有统计学意义。
后台持续征集难度大，有代表性的测试场景，场景素材选取原则上遵循公众熟知 & 可公开获取。
可扫描文章底部二维码关注公众号。第一时间获取 SpeechIO 最新信息，加入 SpeechIO 讨论群，可添加微信号 JerryEjwt 备注 SpeechIO。
github repo：https://github.com/SpeechColab/Leaderboard
附录1 已有测试集信息汇总
| 文章链接 | 场景 | 领域 | 难度(1-5) |
| 新闻联播 | 新闻播报 | 时政 | ★ |
| 鲁豫有约一日行 | 访谈电视节目 | 名人工作、生活 | ★★☆ |
| 天下足球 | 专题电视节目 | 足球 | ★★☆ |
| 罗振宇跨年 | 会场演讲 | 社会、人文、商业 | ★★ |
| 李永乐讲堂 | 在线教育 | 科普 | ★★★ |
| 直播 王者荣耀 | 直播 | 游戏 | ★★★☆ |
| 直播 带货 | 直播 | 电商、美妆 | ★★★★☆ |
| 老罗语录 | 线下培训 | 段子，做人 | ★★★★☆ |
| 播客 故事FM | 播客 | 人生故事、见闻 | ★★☆ |
| 播客 创业内幕 | 播客 | 创业、产品、投资 | ★★☆ |
| 罗翔 法考 | 在线教育 | 法律 法考 | ★★☆ |
| 张雪峰 考研 | 在线教育 | 考研 高校报考 | ★★★☆ |
| 谷阿莫&牛叔 | 短视频 | 电影剪辑 | ★★★ |
| 琼斯爱生活&贫穷料理 | 短视频 | 美食、烹饪 | ★★★☆ |
| 单田芳-白眉大侠 | 评书 | 江湖、武侠 | ★★☆ |
| 德云社专场 | 相声 | 包袱段子 | ★★★ |
| 吐槽大会 | 脱口秀 | 明星糗事 | ★★☆ |
| 小猪佩奇&熊出没 | 少儿动画 | 童话故事、日常 | ★☆ |
| NBA现场转播 | 体育赛事解说 | 篮球，NBA | ★★★ |
| 篮球人物 | 纪录片 | 篮球明星，成长 | ★★ |
| 汽车之家 汽车评测 | 短视频 | 汽车品牌，车型，路测 | ★★★☆ |
| 小艾大叔 豪宅带看 | 短视频 | 房地产，豪宅 | ★★★☆ |
| Zealer & 无聊开箱 | 短视频 | 产品开箱 | ★★★ |
| 付老师种植技术 | 短视频 | 农业种植 | ★★★☆ |
| 石国鹏线下课 | 线下培训 | 古希腊哲学 | ★★☆ |
| 张震鬼故事 | 电台节目 | 恐怖故事 | ★★★ |
| 华语大学生辩论赛 | 辩论赛 | 兴趣，技能，成长 | ★★★ |
| 同声传译 | 同声传译现场 | 时政 | ★★★☆ |
| 港台口音 | 港台明星访谈 | 演艺、创作、生活 | ★★★☆ |
| 老外口音 | 外国嘉宾参加的综艺 | 文化、习俗、异国文化 | ★★★☆ |
2022年05月：
测试：全厂商 × 全场景 滚动刷新测试
从本期滚动测试起，增加厂商排名
2022年02月：
流程：文本归一模块加入儿化音过滤功能(贡献者：xiaoxi91@github )
厂商：搜狗平台停止运营；添加 XFZX 服务；微软接口从Rest更换到SDK并关闭TN、脏词过滤模块。
测试：全厂商 × 全场景 滚动刷新测试
2021年10月：
场景：增加 [电台节目:张震鬼故事] [华语大学生辩论赛] [同声传译现场 时政]
流程：TN模块增加无意义 filler 词 "呃，啊" 过滤
测试：全厂商 × 全场景 滚动刷新测试
2021年7月：
场景：增加 [短视频-产品开箱] [短视频-农业种植] [线下培训-古希腊哲学]
测试：全厂商 × 全场景 滚动刷新测试
2021年4月：
测试：全厂商 × 全场景 滚动刷新测试
2021年1月:
场景：增加[体育赛事解说-NBA] [纪录片-篮球人物]
厂商：得到"创业公司S"授权，身份公布为思必驰AISpeech，调用平台为[思必驰开放平台-一句话识别服务]
测试：全厂商 × 全场景 滚动刷新测试
2020年12月:
场景：增加 [少儿卡通 小猪佩奇&熊出没]
厂商：百度服务切换至极速版，详见 [百度服务切换说明]
测试：全厂商 × 全场景 滚动刷新测试
2020年11月：
场景：增加 [评书 单田芳-白眉大侠]，[相声 德云社]，[脱口秀 吐槽大会]
测试：全厂商 × 全场景 滚动刷新测试
2020年10月：
指标：增加 SOTA 数值 ，详见 [当我们谈论SOTA时，我们在谈论什么]
场景：增加 [短视频 电影剪辑 谷阿莫&牛叔说电影] [短视频 美食&烹饪 琼斯爱生活&贫穷料理]
测试集发布：[新闻联播] 测试集已公开发布，后续滚动测试不会每期都覆盖该场景
测试：全厂商 × 全场景 滚动刷新测试
2020年9月：
场景：增加 [在线教育 罗翔 法考] [在线教育 张雪峰 考研]
厂商：[阿里云+]已上线合并入公网版本[阿里云]，TIOBE 历史数据记录始终以公网版本为准。
测试：全厂商 × 全场景 滚动刷新测试
2020年8月：
场景：增加 [播客 创业内幕]
测试：全厂商 × 全场景 滚动刷新测试
2020年7月：
2020年6月：
场景：增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]
厂商：增加
阿里+，为阿里云新算法的试用版; 测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和。更名：原
搜狗知音平台改名为搜狗AI开放平台测试：全厂商 × 全场景 滚动刷新测试
2020年5月：
修复搜狗多句结果解析bug
场景：增加 [天下足球-世界杯往事] [罗振宇跨年演讲] [李永乐老师在线讲堂]
厂商：增加
创S测试：全厂商 × 全场景 滚动刷新测试
2020年4月：
场景：增加 [鲁豫有约大咖一日行]
厂商：增加
微软 Azure 认知服务搜狗知音平台测试：全厂商 × 全场景 滚动刷新测试
场景：增加 [新闻联播]
厂商：增加
阿里百度谷歌讯飞腾讯创Y
Send to Author