查看原文
其他

TIOBE 场景测试:汽车之家 汽车评测

SpeechIO SpeechIO 2022-02-26



SpeechIO TIOBE Benchmark

场景测试:汽车之家 汽车评测


SpeechIO TIOBE 历史文章回顾:

引篇

规范

场景测试:新闻联播

场景测试:鲁豫有约一日行

滚动测试报 2020.04

......

其它更多文章,请点击最顶部“专辑”阅读


场景:汽车之家 汽车评测


1素材来源

Youtube 汽车之家官方频道 随机抓取,原始音频约2小时

汽车是现代生活中的常见话题,汽车之家是专业领域知名媒体,视频大多采用跟拍的方式,从具体车型的性能介绍,到户外实地看车,到车内体验,再到上路体验。


2场景特点

  • 环境

    • 涵盖车内、室外静止、上路测试等场景

    • 包含节目背景音效、音乐

    • 部分片段包含上路后的风噪、车噪

  • 拾音设备

    • 采访式摄像录音设备,近场 & 中距离

  • 说话人

    • 评测员

  • 说话方式

    • 有底稿,字正腔圆,流利

    • 语速稍快

  • 方言

    • 普通话

  • 内容领域

    • 汽车,品牌厂家,车型,内饰,动力等汽车相关话题

    • 会时长夹杂一些英文及字母型号,是比较有特点的中英文混合场景


3测试结果

测试时间:2021.04

本场景会进行定期重测(每2个月),关注最新滚动测试报告查看最新结果。

CompanyPlatformAccuracy(%) = 1-CER
AISpeech思必驰开放平台
96.19
Alibaba
阿里云95.47
Baidu百度智能云91.44
iFLYTEK讯飞开放平台92.15
Microsoft
Azure93.25
SogouAI开放平台94.83
Tencent腾讯云94.07
YITU Tech语音开放平台96.02

* 讯飞目前被低估,详见(SOTA)


4简评

  • 本场景中的汽车品牌、车型、中英文混合以及汽车上路后的风噪和车噪,相比通用识别,都是比较有特点的具体场景,也可以看到这样的场景下各厂商的性能相对以往有较大的差别。

  • 公众号作者最近换了测试环境和设备,原定上月的滚动测试需要稍作延期,测试完成后会尽快发布。

  • 对提交自己的模型到 SpeechIO Leaderboard 进行测试感兴趣的读者朋友,可以扫描下面二维码进群。小编后面有精力的话可能还会不定期的在群里分享一些测试集和资讯。

欢迎转载,大家有什么好的建议和意见,可以通过后台私信提供给我们。

扫描下面二维码 或 微信搜索 SpeechIO,关注公众号。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存