TIOBE 滚动测试报 2020.09
SpeechIO TIOBE Benchmark
滚动测试报告 2020年9月
SpeechIO TIOBE Benchmark
滚动测试报告 2020年9月
系列文章:
......
更多文章请点击顶部专辑入口阅读
滚动测试 2020.09
最新更新日期:2020.09
2020年9月:
场景:增加
在线教育 罗翔 法考
在线教育 张雪峰 考研
厂商:[阿里云+]已上线合并入公网版本[阿里云],TIOBE 历史数据记录始终以公网版本为准。
测试:全厂商 × 全场景 滚动刷新测试
2020年8月:
场景:增加
播客 创业内幕
测试:全厂商 × 全场景 滚动刷新测试
2020年7月:
场景:增加
播客 故事FM
重要修复:发现
直播带货 李佳琪薇娅
直播 王者荣耀
老罗语录
三个场景测试集标注错误,全面检查&修正;作废这三个测试集6月的测试结果,7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]测试:全厂商 × 全场景 滚动刷新测试
2020年6月:
场景:增加
直播带货 李佳琪薇娅
直播 王者荣耀
老罗语录
厂商:增加
阿里+
,为阿里云新算法的试用版; 测试中取消谷歌
,因谷歌的中文识别性能没有参考性,且费用超过其余各家之和。更名:原
搜狗知音平台
改名为搜狗AI开放平台
测试:全厂商 × 全场景 滚动刷新测试
2020年5月:
修复搜狗多句结果解析bug
场景:增加
天下足球-世界杯往事
罗振宇跨年演讲
李永乐老师在线讲堂
厂商:增加
创S
测试:全厂商 × 全场景 滚动刷新测试
2020年4月:
场景:增加
鲁豫有约大咖一日行
厂商:增加
微软 Azure 认知服务
搜狗知音平台
测试:全厂商 × 全场景 滚动刷新测试
2020年3月:
场景:增加
新闻联播
厂商:增加
阿里
百度
谷歌
讯飞
腾讯
创Y
2滚动测试
已有测试集信息汇总
场景 | 领域 | 难度(1-5) | |
新闻联播 | 新闻播报 | 时政 | ★ |
鲁豫有约一日行 | 访谈电视节目 | 名人工作、生活 | ★★☆ |
天下足球 | 专题电视节目 | 足球 | ★★☆ |
罗振宇跨年 | 会场演讲 | 人文历史、科技 | ★★ |
李永乐讲堂 | 在线教育 | 科普 | ★★★ |
直播 王者荣耀 | 直播 | 游戏 | ★★★☆ |
直播 带货 | 直播 | 电商、美妆 | ★★★★☆ |
老罗语录 | 线下培训 | 段子,做人 | ★★★★☆ |
播客 故事FM | 播客 | 人生故事、见闻 | ★★☆ |
播客 创业内幕 | 播客 | 创业、产品、投资 | ★★☆ |
罗翔 法考 | 在线教育 | 法律 法考 | ★★☆ |
张雪峰 考研 | 在线教育 | 考研 高校报考 | ★★★☆ |
最新滚动测试结果汇总
视角1:纵轴(字准确率%)绘制范围为 [0, 100],适合比较不同场景间差异
视角2:纵轴(字准确率%)绘制范围为 [70, 100],适合比较不同厂商间差异
9月滚动测试详细数据
上图中飘绿部分为各个测试集的最优性能
3后记
本月[阿里云+]合并入官网[阿里云],公众号读者可以结合附录历史数据观察变化,性能提升明显。
截至本月,SpeechIO TIOBE 项目发布已有半年,近期我们会在公众号发一点数据相关的小福利回馈给订阅的读者朋友们,感兴趣的同学可以留意一下近期消息。
附录 全厂商 × 全场景 × 全历史月份 数据表
扫描下面二维码 或 微信搜索 SpeechIO,关注公众号。