TIOBE 滚动测试报: 2021.04
SpeechIO TIOBE
ASR Benchmark
滚动测试报告 2021年4月
SpeechIO TIOBE
ASR Benchmark
滚动测试报告 2021年4月
系列文章:
......
更多文章请点击顶部专辑入口阅读
滚动测试 2021-04
最新更新日期:2021-04
2021年4月:
测试:全厂商 × 全场景 滚动刷新测试
2021年1月:
场景:增加[体育赛事解说-NBA] [纪录片-篮球人物]
厂商:得到"创业公司S"授权,身份公布为思必驰AISpeech,调用平台为[思必驰开放平台-一句话识别服务]
测试:全厂商 × 全场景 滚动刷新测试
2020年12月:
场景:增加 [少儿卡通 小猪佩奇&熊出没]
厂商:百度服务切换至极速版,详见 [百度服务切换说明]
测试:全厂商 × 全场景 滚动刷新测试
2020年11月:
场景:增加 [评书 单田芳-白眉大侠],[相声 德云社],[脱口秀 吐槽大会]
测试:全厂商 × 全场景 滚动刷新测试
2020年10月:
指标:增加 SOTA 数值 ,详见 [当我们谈论SOTA时,我们在谈论什么]
场景:增加 [短视频 电影剪辑 谷阿莫&牛叔说电影] [短视频 美食&烹饪 琼斯爱生活&贫穷料理]
测试集发布:[新闻联播] 测试集已公开发布,后续滚动测试不会每期都覆盖该场景
测试:全厂商 × 全场景 滚动刷新测试
2020年9月:
场景:增加 [在线教育 罗翔 法考] [在线教育 张雪峰 考研]
厂商:[阿里云+]已上线合并入公网版本[阿里云],TIOBE 历史数据记录始终以公网版本为准。
测试:全厂商 × 全场景 滚动刷新测试
2020年8月:
场景:增加 [播客 创业内幕]
测试:全厂商 × 全场景 滚动刷新测试
2020年7月:
2020年6月:
场景:增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]
厂商:增加
阿里+
,为阿里云新算法的试用版; 测试中取消[谷歌], 因谷歌的中文识别性能没有参考性,且费用超过其余各家之和。更名:原
搜狗知音平台
改名为搜狗AI开放平台
测试:全厂商 × 全场景 滚动刷新测试
2020年5月:
修复搜狗多句结果解析bug
场景:增加 [天下足球-世界杯往事] [罗振宇跨年演讲] [李永乐老师在线讲堂]
厂商:增加
创S
测试:全厂商 × 全场景 滚动刷新测试
2020年4月:
场景:增加 [鲁豫有约大咖一日行]
厂商:增加
微软 Azure 认知服务
搜狗知音平台
测试:全厂商 × 全场景 滚动刷新测试
2020年3月:
场景:增加 [新闻联播]
厂商:增加
阿里
百度
谷歌
讯飞
腾讯
创Y
2滚动测试
已有测试集信息汇总
文章链接 | 场景 | 领域 | 难度(1-5) |
新闻联播 | 新闻播报 | 时政 | ★ |
鲁豫有约一日行 | 访谈电视节目 | 名人工作、生活 | ★★☆ |
天下足球 | 专题电视节目 | 足球 | ★★☆ |
罗振宇跨年 | 会场演讲 | 社会、人文、商业 | ★★ |
李永乐讲堂 | 在线教育 | 科普 | ★★★ |
直播 王者荣耀 | 直播 | 游戏 | ★★★☆ |
直播 带货 | 直播 | 电商、美妆 | ★★★★☆ |
老罗语录 | 线下培训 | 段子,做人 | ★★★★☆ |
播客 故事FM | 播客 | 人生故事、见闻 | ★★☆ |
播客 创业内幕 | 播客 | 创业、产品、投资 | ★★☆ |
罗翔 法考 | 在线教育 | 法律 法考 | ★★☆ |
张雪峰 考研 | 在线教育 | 考研 高校报考 | ★★★☆ |
谷阿莫&牛叔 | 短视频 | 电影剪辑 | ★★★ |
琼斯爱生活&贫穷料理 | 短视频 | 美食、烹饪 | ★★★☆ |
单田芳-白眉大侠 | 评书 | 江湖、武侠 | ★★☆ |
德云社专场 | 相声 | 包袱段子 | ★★★ |
吐槽大会 | 脱口秀 | 明星糗事 | ★★☆ |
小猪佩奇&熊出没 | 少儿动画 | 童话故事、日常 | ★☆ |
NBA现场转播 | 体育赛事解说 | 篮球,NBA | ★★★ |
篮球人物 | 纪录片 | 篮球明星,成长 | ★★ |
汽车之家 汽车评测 | 短视频 | 汽车品牌,车型,路测 | ★★★☆ |
小艾大叔 豪宅带看 | 短视频 | 房地产,豪宅 | ★★★☆ |
最新滚动测试结果汇总
纵轴(字准确率%)绘制范围为 [70, 100]
(注:讯飞被低估,原因详见链接 [SOTA])
最新滚动测试详细数据
(飘绿部分为各个测试集的最优性能)
3后记
从测试数字中可以看到,依图在沉寂了一年后,更新了新的模型,性能有一致提升。阿里有小幅提升。其余厂商与上次滚动测试基本一致。
后台持续征集评测场景。
五一小长假前最后一个工作日,大家搬砖是不是都更有劲了?小编在这里祝大家节日快乐
扫描下面二维码 或 微信搜索 SpeechIO,关注公众号。