查看原文
其他

TIOBE 场景测试:华语大学生辩论赛

SpeechIO SpeechIO 2022-02-26



SpeechIO TIOBE Benchmark

场景测试:华语大学生辩论赛



其它更多文章,请点击最顶部“专辑”阅读


场景:华语大学生辩论赛


1素材来源

YouTube 爬取,华语大学生辩论世界杯,现场视频,原始时长约2小时。


2场景特点

  • 环境

    • 辩论赛现场,室内场馆会场,有观众

    • 有掌声噪声

  • 拾音设备

    • 专业麦克风

    • 麦克风距离说话人约一臂距离,或者手持,近场

  • 说话人

    • 大学生辩论赛队员,主持人,致辞嘉宾等

  • 说话方式

    • 辩论赛吐字清晰,半备稿,语言较流畅

    • 部分片段语速极快

  • 方言

    • 标准话,个别辩论队员稍有口音

  • 内容领域

    • 辩题为:大学生兴趣爱好、专业能力培养、道路选择


3测试结果

测试时间:2021.10

本场景会进行定期重测(每3个月),关注最新滚动测试报告查看最新结果。

CompanyPlatformAccuracy(%)=1-CER
AISpeech思必驰97.49
Alibaba
阿里云95.61
Baidu百度智能云93.49
iFLYTEK讯飞(听写)94.68
Microsoft
Azure95.90
SogouAI开放平台96.91
Tencent腾讯云95.66
YITU依图开放平台97.97

* 讯飞目前被低估(听写服务场景匹配差),转写服务接入调试中,详见(SOTA)


4简评

现代的商业语音识别引擎面对快语速场景时的表现,相比传统技术更加稳定鲁棒。




历史评测系列:

发布日期文章
2020.03引篇
2020.04Specification & Guideline

场景:新闻联播

场景:访谈节目 鲁豫有约

滚动测试报 2020.04
2020.05
场景:天下足球 世界杯往事

场景:场馆演讲 罗振宇跨年演讲

场景:李永乐老师 在线讲堂

滚动测试报 2020.05
2020.06
场景:直播 王者荣耀 张大仙&骚白

场景:直播 带货 李佳琪&薇娅

场景:线下培训 老罗语录

滚动测试报 2020.06
2020.07标注修复:直播&老罗

滚动测试报 2020.07
2020.08场景:播客 故事FM

场景:播客 创业内幕

滚动测试报 2020.08
2020.09场景:在线教育 罗翔 刑法法考

场景:在线教育 张雪峰 考研

滚动测试报 2020.09
2020.10
场景:短视频 电影剪辑 谷阿莫&牛叔说电影

场景:短视频 美食 贫穷料理&琼斯爱生活

指标:"当我们谈SOTA时,我们在谈论什么?"

滚动测试报 2020.10
2020.11
场景:评书 单田芳 白眉大侠

场景:相声 德云社专场

场景:脱口秀 吐槽大会

滚动测试报 2020.11
2020.12
场景:少儿卡通 小猪佩奇&熊出没

滚动测试报 2020.12
2021.01场景:体育赛事解说 NBA

场景:纪录片 篮球人物

滚动测试报 2021.01
2021.02
场景:经济 金融 货币
2021.04场景:短视频 汽车之家 汽车评测

场景:短视频 小艾大叔 豪宅带看

滚动测试报 2021.04
2021.07场景:短视频 产品开箱视频 Zealer&无聊开箱

场景:短视频 付老师 农业种植

场景:短视频 线下培训 石国鹏 古希腊哲学

滚动测试报 2021.07
2021.10场景:张震鬼故事

场景:华语大学生辩论赛

场景:同声传译现场 时政

滚动测试报 2021.10


开源评测平台 Leaderboard:

发布日期文章
2021.04Leaderboard 开源测试平台发布
2021.08加入开源 Kaldi 预训练模型 Kaldi-multicn

加入 AISHELL-1 测试集

加入 AISHELL-2 测试集

加入开源 WeNet-multicn 模型


其它更多文章,请点击最顶部“专辑”阅读


欢迎转载,大家有什么好的建议和意见,可以通过后台私信提供给我们。

扫描下面二维码 或 微信搜索 SpeechIO,关注公众号。

加入讨论群,第一时间接收 SpeechIO 信息,请添加微信 JerryEjwt 备注 SpeechIO


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存