2021年“智能语音”可信AI评测项目介绍

2021年2月，中国信息通信研究院(以下简称“信通院”)发布了“可信AI评测”体系，共32个测试项目，其中智能语音包含语音识别基础服务、语音合成基础服务、声纹识别基础服务和车载语音交互产品四类。

截至目前，智能语音规范已完成 4 篇，立项在研 6 篇，共有接近五十家企业参与规范制定和讨论，2019、2020年参与评测并获得证书的企业和产品如下：

• 阿里云计算有限公司

• 腾讯云计算（北京）有限责任公司

• 腾讯科技（深圳）有限公司

• 苏州思必驰信息科技有限公司

• 同盾科技有限公司

• 马上消费金融股份有限公司

下面为具体测试项目介绍：

一、中文语音合成基础服务

参考标准：AIIA/PG 000009-2020《智能语音技术与产品评估方法 第1部分：中文语音合成基础服务》

起草单位：中国信息通信研究院、南京新一代人工智能研究院有限公司、中国科学院自动化研究所、科大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、苏州思必驰信息科技有限公司、百度在线网络技术（北京）有限公司、北京搜狗科技发展有限公司。

评测内容：立足产品应用实际场景，从四个维度对中文语音合成基础服务进行综合评估：

Standard 质量基准度——发音准确度、音节清晰度和语音自然度；

Similarity 定制相似度——通过小样本、大样本和粗样本进行定制训练，比较原发音人和合成还原相似程度；

Scene 场景表现力——电信业务、车载驾驶、医疗健康、语言教育、新闻播报、文娱体育、金融服务、法律庭审、家居服务九大场景中场景贴合程度；

Sevice 服务能力——响应时间、服务可靠性、计量准确度、安全防护能力、个人信息保护能力。

二、中文语音识别基础服务

参考标准： AIIA/PG 000025-2020《智能语音技术与产品评估方法 第2部分：中文语音识别基础服务》

起草单位：中国信息通信研究院、南京新一代人工智能研究院有限公司、上海交通大学、科大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、苏州思必驰信息科技有限公司、北京玛达科技有限公司。

评测内容：中文语音识别可信评测从四个方面进行综合评估：

通用识别能力——文字输入类、人机交互类；

基础识别能力——环境适应识别（远场拾音、噪音背景），特定发音识别（低幼、轻口音），不同语速识别（慢语速、正常语速、快语速），场景内容识别；

扩展识别能力——符号数字识别、采样率支持、快速定制功能、错误纠正功能。

服务能力——识别速度、多线程并发能力、服务可靠性、计量准确度、安全防护能力、个人信息保护能力。

三、声纹识别基础服务

参考标准：AIIA/PG 000005-2020《智能语音技术与产品评估方法 第3部分：声纹识别（说话人识别）基础服务》

起草单位：中国信息通信研究院、南京新一代人工智能研究院、北京得意音通技术有限责任公司、中国电信研究院、上海交通大学、苏州思必驰信息科技有限公司、广州国音智能科技有限公司、马上消费金融股份有限公司

评测内容：分别从功能验证、基础性能、应用性能、服务能力四个方面对声纹识别基础服务进行评估：

四、车载语言助手

参考标准：AIIA/PG 000026-2020《人工智能产品智能化等级指标要求和评估方法 第3部分：车载语音助手》

起草单位：中国信息通信研究院、深圳市腾讯计算机系统有限公司、南京新一代人工智能研究院有限公司、苏州思必驰信息科技有限公司、华为技术有限公司

评测内容：从基本评估指标、安全评估指标、智能化评估指标这三个角度对产品能力进行智能化分级评估；

基础评估指标——产品名称、产品版本号、产品基本描述、产品功能、产品涉及的硬件、软件清单信息、保修信息、其他需要披露的信息；

安全评估指标——黄反测试、用户权益测试、安全性测试；

智能化评估指标——语音唤醒能力、语音识别能力、语义理解能力、数据丰富程度、语音播报能力、车机及车辆控制能力、响应速度及稳定性、弱网及离线能力、全双工交互拒识区分能力、个性化识别、多音区支持能力、多模态及情感交互能力。

评测咨询

张秋显  [e-mail]

李  荪  [e-mail]

报名方式

如有评测意愿的企业单位可填写报名表（点击“阅读原文”下载），发送至咨询邮箱。

下载地址：

http://www.aiiaorg.cn/uploadfile/2021/0308/20210308034256304.xlsx

◆◆前期评测情况回顾◆◆

2020AIIA智能语音评测结果解读

链接：http://www.aiiaorg.cn/uploadfile/2021/0308/20210308034334802.pdf

关注我们