查看原文
其他

TIOBE 滚动测试报 2020.09

SpeechIO SpeechIO 2022-02-26

SpeechIO TIOBE Benchmark

滚动测试报告 2020年9月


系列文章:

引篇

规范

场景测试:新闻联播

场景测试:鲁豫有约一日行

滚动测试报告:2020.04

......

更多文章请点击顶部专辑入口阅读


滚动测试 2020.09


1更新日志

最新更新日期:2020.09

  • 2020年9月:

    • 场景:增加 在线教育 罗翔 法考 在线教育 张雪峰 考研    

    • 厂商:[阿里云+]已上线合并入公网版本[阿里云],TIOBE 历史数据记录始终以公网版本为准。

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年8月:

    • 场景:增加 播客 创业内幕

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年7月:

    • 场景:增加 播客 故事FM

    • 重要修复:发现 直播带货 李佳琪薇娅 直播 王者荣耀 老罗语录 三个场景测试集标注错误,全面检查&修正;作废这三个测试集6月的测试结果,7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年6月:

    • 场景:增加 直播带货 李佳琪薇娅 直播 王者荣耀 老罗语录

    • 厂商:增加 阿里+ ,为阿里云新算法的试用版; 测试中取消 谷歌,因谷歌的中文识别性能没有参考性,且费用超过其余各家之和。

    • 更名:原搜狗知音平台 改名为 搜狗AI开放平台

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年5月:

    • 修复搜狗多句结果解析bug

    • 场景:增加 天下足球-世界杯往事 罗振宇跨年演讲 李永乐老师在线讲堂

    • 厂商:增加 创S

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年4月:

    • 场景:增加 鲁豫有约大咖一日行

    • 厂商:增加 微软 Azure 认知服务 搜狗知音平台

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年3月:

    • 场景:增加 新闻联播

    • 厂商:增加 阿里 百度 谷歌 讯飞 腾讯 创Y


2滚动测试

已有测试集信息汇总


场景领域难度(1-5)
新闻联播新闻播报时政
鲁豫有约一日行访谈电视节目名人工作、生活★★☆
天下足球专题电视节目足球★★☆
罗振宇跨年会场演讲人文历史、科技★★
李永乐讲堂在线教育科普★★★
直播 王者荣耀直播游戏★★★☆
直播 带货直播电商、美妆★★★★☆
老罗语录线下培训段子,做人★★★★☆
播客 故事FM‍播客人生故事、见闻★★☆
播客 创业内幕
播客创业、产品、投资★★☆
罗翔 法考
在线教育法律 法考★★☆
张雪峰 考研
在线教育考研 高校报考★★★☆


最新滚动测试结果汇总

视角1:纵轴(字准确率%)绘制范围为 [0, 100],适合比较不同场景间差异



视角2:纵轴(字准确率%)绘制范围为 [70, 100],适合比较不同厂商间差异



9月滚动测试详细数据

上图中飘绿部分为各个测试集的最优性能


3后记

  • 本月[阿里云+]合并入官网[阿里云],公众号读者可以结合附录历史数据观察变化,性能提升明显。

  • 截至本月,SpeechIO TIOBE 项目发布已有半年,近期我们会在公众号发一点数据相关的小福利回馈给订阅的读者朋友们,感兴趣的同学可以留意一下近期消息。


附录 全厂商 × 全场景 × 全历史月份 数据表

扫描下面二维码 或 微信搜索 SpeechIO,关注公众号。




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存