测试集排名厂商字错误率（%）1阿里云2.652微软2.673依图2.714思必驰3.125讯飞转写3.336腾讯3.487百度5.83整体排名：基于目前所有的

并自行下载。无任何费用，觉得受益的可以自愿打赏本公众号。后台持续征集关于测试场景的建议，最好是难度大一点的。历史评测系列：发布日期文章2020.03引篇2020.04Specification

数据成为白盒测试，账号有被定位风险，容易被低成本的定点部署和优化，影响测试公平）。历史评测系列：发布日期文章2020.03引篇2020.04Specification

评测接口正式从听写服务切换到转写服务(即“听见”)。整体场景更贴合评测，性能有大幅度提升。该问题我们在早期的

仔细对比上述评测数字差异，公众号的读者朋友们可以切实感受一下数据对于模型性能的重要性。现阶段AI行业的实际落地，刻意回避数据，只强调技术优越性的人，短视与欺骗必占其一。People

三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]测试：全厂商

模型其它更多文章，请点击最顶部“专辑”阅读欢迎转载，大家有什么好的建议和意见，可以通过后台私信提供给我们。扫描下面二维码

Benchmark场景测试：华语大学生辩论赛其它更多文章，请点击最顶部“专辑”阅读场景：华语大学生辩论赛1素材来源YouTube

讯飞目前被低估，详见(SOTA)4简评据标注合作方反馈，负责标注和质检的女同学们在处理本期素材时被吓得不轻

模型额外使用了现有开源语音数据库以外的纯文本语料，在语言知识层面有绝对优势。依据小编的经验该优势表现在识别率上大概应在3-8个百分点。若刨去此部分，WeNet

AISHELL-1，AISHELL-2，公众号的读者朋友和学校的同学们如果有其它的学术测试集建议，可以后台留言给我们，我们陆续添加。虽然目前在

项目开篇]中提到的，绝对“通用”的语音识别系统并不存在，任何系统都受限于其算法和基础数据的特点，单次单领域的测试都属于偏见，唯有广泛、大规模的评测才能更好更准确的评估语音识别系统。本期测试中的

里的说明进行下载使用，但因为该工作时间较久，SpeechIO和模型作者没有责任和义务进行维护或者答疑，望读者见谅。开源生态的进展依赖数据、算法和交流，SpeechIO

评测榜的发布节奏，会尽量保持每季度一期全量滚动测试（下期发布预计为10月），同时平均每月增加一个新场景。希望公众号的读者朋友可以在后台留言多提供测试场景建议。扫描下面二维码

爬取原北京四中国际部校长石国鹏老师早期线下培训视频，内容题材为历史&古希腊哲学，填补

2020.04......其它更多文章，请点击最顶部“专辑”阅读场景：短视频

2020.04......其它更多文章，请点击最顶部“专辑”阅读场景：短视频

2021年4月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

讯飞目前被低估，详见(SOTA)4简评存在中英混合及专有名词，难度较大欢迎转载，大家有什么好的建议和意见，可以通过后台私信提供给我们。扫描下面二维码

测试集的下载链接（回复可能不及时，请打开公众号信息提醒以免遗漏）：TIOBE场景测试：新闻联播（之前分享过一次，因为有效期错过的同学留意）TIOBE场景测试：经济、金融、货币扫描下方二维码加入

进行测试感兴趣的读者朋友，可以扫描下面二维码进群。小编后面有精力的话可能还会不定期的在群里分享一些测试集和资讯。欢迎转载，大家有什么好的建议和意见，可以通过后台私信提供给我们。扫描下面二维码

讯飞目前被低估，详见(SOTA)4简评无欢迎转载，大家有什么好的建议和意见，可以通过后台私信提供给我们。扫描下面二维码

2021年1月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

1-CERAlibaba阿里云97.22Baidu百度智能云90.99iFLYTEK讯飞开放平台94.56MicrosoftAzure95.84Startup

讯飞目前被低估，详见(SOTA)4简评持续向读者朋友征集难度大的识别场景，可以后台留言给我们。欢迎转载，大家有什么好的建议和意见，可以通过后台私信提供给我们。扫描下面二维码

2020年12月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

1-CERAlibaba阿里云96.28Baidu百度智能云92.96iFLYTEK讯飞开放平台92.79MicrosoftAzure91.90Startup

我们欢迎相关厂商的公众号读者朋友们能给我们类似的反馈，因为在官网页面没有明确说明的情况下，外界无法获知服务的具体情况，在此感谢在后台给我们留言提建议的朋友。

2020年11月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

1-CERAlibaba阿里云95.99Baidu百度智能云89.29iFLYTEK讯飞开放平台92.48MicrosoftAzure93.93Startup

1-CERAlibaba阿里云92.45Baidu百度智能云84.00iFLYTEK讯飞开放平台87.68MicrosoftAzure87.06Startup

1-CERAlibaba阿里云88.80Baidu百度智能云76.16iFLYTEK讯飞开放平台83.38MicrosoftAzure79.94Startup

2020年10月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

服务对语气词都有不同的处理策略和结果，这些都会对最后的统计结果产生细微差别。又比如VAD，各家是否提供VAD开关，以及VAD的一些控制参数差异，导致我们无法同时拉齐所有厂商配置。幸运的是，这些因素在

Azure87.53创业公司S92.62搜狗AI开放平台88.85腾讯云90.69依图93.12*

东北口音内容领域：覆盖各种题材的电影，恐怖、动作、爱情、喜剧等等包含各种长尾特有词汇，如谷阿莫喜欢把反派一律称为[大魔王]，牛叔则喜欢用[永强]

2020年9月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

Azure91.43创业公司S95.05搜狗AI开放平台94.04腾讯云94.17依图95.654简评无欢迎转载，大家有什么好的建议和意见，可以通过后台私信提供给我们。扫描下面二维码

CER阿里云97.39百度智能云92.97讯飞开放平台95.6Microsoft

2020年8月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

CER阿里云93.94阿里云+94.72百度智能云89.48讯飞开放平台93.36Microsoft

2020年7月系列文章：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04......更多文章请点击顶部专辑入口阅读滚动测试

CER阿里云93.14阿里云+94.42百度智能云91.45讯飞开放平台93.48Microsoft

的测试厂商和读者朋友们道歉，是我们工作的疏漏。测试集修正后的具体结果，请关注我们本月的滚动测试报告。另外，我们一如既往的欢迎厂商和读者对我们的评测提出意见和建议，TIOBE

张大仙&骚白字准确率2020.06阿里80.84阿里+85.84百度79.9谷歌N/A讯飞78.85微软78.28创S82.63搜狗82.86腾讯83.44依图85.15直播

小时原始音频素材示例：2场景特点环境新东方教室（礼堂、大型讲堂）老师讲台上面讲课，学生下面听课，存在学生笑声、交头接耳等噪声拾音设备学生自己的手机

个小时因为场景较复杂，标注过程中我们有一些处理原则，来确保测试集准确性：当存在明显的多人同时说话，抢话时，该句丢弃。当句子中存在标注员都完全听不懂的品牌，名字时，将句子丢弃。素材示例：直播

历史文章回顾：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报：2020.04...其它更多文章，请点击顶部专辑阅读。直播

跨年演讲字准确率2020.05阿里96.76百度95.11谷歌91.07讯飞96.70微软96.11创S97.62搜狗96.35腾讯96.01依图98.03李永乐老师

历史文章回顾：引篇规范场景测试：新闻联播场景测试：鲁豫有约一日行滚动测试报告：2020.04场景测试：天下足球场景测试：罗振宇