多模态交互研究：更多硬件加入交互，沉浸式座舱体验不断增强

佐思汽研发布《2022年中国汽车多模态交互发展研究报告》，从主流交互方式搭载现状，主流车型交互方式应用，供应商座舱交互方案三个方面进行分析研究。

一、在“第三空间”概念指引下，多模态交互正深度应用于智能座舱，主要呈现五大特征

1、触控交互在大屏化、多屏化、智能表面材料趋势下，应用范围逐渐扩大

• 中控大屏化，使触控成为主流交互方式。例如奔驰EQS、小鹏P7等，中控台上几乎没有物理按键，全靠触控完成；

• 座舱多屏化，使触控的控制范围从前排移到后排，从中控/副驾信息娱乐扩展到车门、车窗、座椅等部件。例如理想L9取消传统仪表盘，取而代之的是在方向盘上方加入一个小尺寸TouchBar触控面板；此外其还搭载了副驾屏、后排影音屏，实现五屏交互。

2、语音交互从被动式向主动式演进，个性化、情感化诉求将被满足

• 可见即可说、连续对话、音源定位、免唤醒等语音技术已在2022年上市新车上广泛搭载，语音交互方式更加趋向自然；

• 打造个性化体验是目前语音功能重点，蔚小理等智能化EV品牌主要从声音自定义、形象自定义、技能自定义等方面入手进行优化；

• 未来，情感式陪伴和电子宠物概念有望借助语音功能实现。

3、面部识别算法推动DMS、OMS、IMS大规模上车

• 基于面部识别的ID登录、用户习惯预设已在蔚来ET7/ET5、小鹏P7/G9、问界M5/M7、哪吒S、岚图梦想家等车型实现。其中问界可通过面部识别自动登录华为账号，联动日程安排、导航信息、通话记录、音乐视频会员权益、三方应用数据、自动切换驾驶信息，实现信息流转；

• 人脸支付功能应用尚比较少，丰田凌放已在高配版搭载，小鹏P7将通过OTA升级实现；

• 基于面部识别的DMS、OMS、IMS正大规模上车，将推动舱内摄像头搭载。

4、手势识别功能单一，作为补充交互模式上车

• 现阶段手势识别仍主要应用于多媒体切换、音量控制、接电话、灯光控制等，功能比较单一，主要作为补充交互模态上车；

• 未来，手势识别有望与ADAS功能结合，基于车外视觉感知，实现车辆召唤、启动、泊车等功能。

5、指纹、虹膜、静脉、心率等生物识别在车内的应用仍处于探索阶段

• 指纹有望在用户ID记录、车内支付场景下实现应用；

• 虹膜/眼球追踪将增强DMS等舱内监控的精度，未来在意图预测、主动推荐方面具有想象空间；

• 静脉/心率等，则将在车载健康概念下实现应用。

中国汽车多模态交互发展路线

来源：佐思汽研《2022年中国汽车多模态交互发展研究报告》

二、多模态识别与大屏&多屏、AR-HUD、AR/VR、氛围灯、高品质音响等硬件交互提升，沉浸式座舱体验不断增强

1、理想L9，通过五屏、语音、手势，打造多模态交互体验

理想L9交互特点：

• 取消传统仪表屏，采用HUD+安全驾驶交互屏进行替代；

• 通过15.7英寸中控屏+15.7英寸副驾屏+HUD+安全驾驶交互屏+15.7英寸后排娱乐屏，车载屏幕3K高清分辨率和高色彩还原度，提升视听体验；

• 6音区识别交互（思必驰）+自研语音引擎（合作微软）+3D ToF传感器（手势交互、座舱监测），实现多模态交互；

• 语音+手势融合，如手指遮阳帘，语音“打开这个”，即打开遮阳帘；

• 通过Type-C连接任天堂Switch游戏机，后排娱乐屏可打造座舱游戏场景；

• 两颗高通骁龙8155芯片、24GB内存+256G高速存储、双5G运营商的切换，提供算力及网络支持。

2、蔚来、理想、奥迪等率先实现AR/VR眼镜上车，实现沉浸式座舱体验

蔚来AR眼镜与NREAL联合开发，可投射出视距6米、等效201英寸的屏幕（选装价2299），VR眼镜与NOLO合作研发，搭载超薄Pancake光学镜片，可实现双目4K显示。

理想AR眼镜由TCL旗下雷鸟科技提供，产品于2022年8月起上线理想商城。雷鸟Air采用偏振Birdbath+MicroOLED技术方案，与理想L9的后排影音系统直连，将眼镜镜腿处的数据线接入理想后排DP插口，可为用户提供140英寸巨幕（4米距离）的观感。

奥迪VR眼镜功能于2022.11-2023年在德国、美国等市场率先上线，硬件由HTC支持，集成于Holoride Pioneers’Pack车载娱乐系统，用于游戏、影音场景。

三、芯片、算法、系统集成商共同发力，打造以多模态交互为基础的主动式座舱交互

1、以地平线为代表的芯片企业，将多模态交互融入到智能驾驶整体方案中

地平线基于征程2、征程3打造的座舱方案Horizon Halo，可融合视觉、语音等多种传感器数据实现主动交互。其中Halo 3.0可为前后排用户，提供包括DMS、人脸检测、行为检测、手势识别、儿童行为检测、多模语音交互等功能在内的整套AI解决方案。

2、科大讯飞、Cerence等以语音切入，商汤科技、虹软科技等以视觉切入，实现优势模态与其他模态融合，打造整体座舱方案

科大讯飞基于“听、说、看、显”全链路技术构建多模态体系，实现车辆可在上车-行驶-下车的整个用车周期中，对语音、图像、活体等多种信息的融合处理，更主动、更深入地了解乘客的信息，从而主动对其进行关怀、推送相关的内容/服务，并改变车辆设置，探索颠覆性交互体验。

Cerence基于在语音领域的优势，未来将融合车辆数据（疲劳监测、手机互联、娱乐系统、空调、燃料、充电、座椅、GPS、空气质量）及车内多模态交互（语音、语音合成、文字输入、视线跟踪、手势识别、情绪识别、生物识别），打造沉浸式座舱交互。

3、华阳通用、德赛西威等Tier1，将多模态交互与场景结合，打造个性化座舱体验

ADAYO华阳多模态交互系统，基于高算力AI芯片，通过视觉、听觉、触觉、多模前融合、多模后融合等识别技术，能够实现4大类、70+人机交互场景，包括语音+手势开车窗或空调、可见即可说、上车问候、儿童哭闹安抚、声音控制、人脸启动发动机、视线亮屏、驾驶员行为监控和危险行为提醒等，为用户提供主动情感的多模态交互场景体验，并满足用户千人千乘的个性化需求。

《2022年中国汽车多模态交互发展研究报告》目录

本报告共170页

01

多模态交互概述

1.1 多模态交互定义

1.2 智能座舱多模态交互发展路线图

1.3 代表车型多模态交互特征

1.4 触控交互

1.5 语音交互

1.5.1 主要品牌车载语音功能对比

1.5.2 语音助手形象化将提升交互温度

1.6 手势交互

1.6.1 手势交互技术路线

1.6.2 代表车型手势交互功能

1.6.3 手势交互趋势

1.7 面部识别

1.7.1 代表车型面部识别功能

1.7.2 基于面部识别的舱内监控

1.8 生物体征检测

1.9 多模态识别与硬件交互

1.9.1 车外大灯交互

1.9.2 车内氛围灯交互

1.9.3 AR/VR交互

02

产业链及发展趋势

2.1 多模态交互产业链

2.2 多模态感知算法

2.2.1 语音算法

2.2.2 视觉算法

2.3 多模态交互应用对座舱芯片算力要求大幅提高

2.4 多模态交互安全策略

2.4.1 政策环境

2.4.2 多模态交互法律法规

2.4.3 主机厂舱内信息安全策略

2.5 发展趋势

03

标杆车型多模态交互方案

3.1 新势力品牌

3.1.1 蔚来ET7 

3.1.2 蔚来ET5 

3.1.3 小鹏P7 

3.1.4 小鹏G9 

3.1.5 理想ONE 

3.1.6 理想L9 

3.1.7 哪吒S

3.1.8 问界 M5

3.1.9 问界 M7 

3.1.10 爱驰U6 

3.1.11 岚图梦想家

3.1.12 自游家NV 

3.1.13 智己L7

3.1.14 高合 HiPhi Z 

3.1.15 ZEEKR 009

3.1.16 阿维塔11 

3.1.17 飞凡R7 

3.1.18 深蓝SL03 

3.1.19 零跑C01 

3.1.20 特斯拉 Model Y

3.2 传统合资品牌

3.2.1 新款福特探险者

3.2.2 宝马iX

3.2.3 奔驰EQS 

3.2.4 丰田凌放

3.2.5 腾势D9

3.2.6 路特斯 ELETRE 

3.3 传统自主品牌

3.3.1 捷途大圣 i-DM

3.3.2 比亚迪海豹

3.3.3 欧尚Z6 

3.3.4 广汽传祺影酷

3.3.5 博越L 

04

多模态交互方案商

4.1 科大讯飞

4.1.1 科大讯飞公司简介

4.1.2 科大讯飞智能汽车产品布局

4.1.3 科大讯飞多模态交互系统

4.1.4 科大讯飞智能座舱解决方案

4.1.5 科大讯飞智能交互发展路线

4.1.6 多模态交互成为讯飞超脑2030计划重点方向

4.1.7 科大讯飞AI虚拟人交互平台

4.1.8 科大讯飞主要客户

4.2 Cerence

4.2.1 Cerence公司简介

4.2.2 Cerence SSE技术

4.2.3 Cerence座舱交互方案

4.2.4 Cerence Co-Pilot客户

4.2.5 Cerence产品发展路线

4.2.6 Cerence合作伙伴

4.3 思必驰

4.3.1 思必驰公司简介

4.3.2 思必驰多模态交互方案

4.4 大众问问

4.4.1 大众问问公司简介

4.4.2 大众问问前装智能网联方案及多模态交互原则

4.5 腾讯

4.5.1 腾讯公司简介

4.5.2 腾讯智能座舱解决方案

4.5.3 腾讯交互技术应用

4.5.4 腾讯智能语音交互系统

4.5.5 腾讯多模态交互系统

4.6 百度

4.6.1 百度公司简介

4.6.2 百度语音核心技术

4.6.3 百度智能座舱方案

4.6.4 百度多模态交互方案

4.6.5 百度智能座舱合作伙伴

4.7 斑马网络

4.7.1 斑马网络公司简介

4.7.2 斑马智能座舱解决方案

4.7.3 斑马洛神OS交互特征

4.7.4 斑马网络语音技术

4.7.5 斑马网络语音助手“小跟斑”

4.7.6 斑马网络配套主机厂

4.8 商汤科技

4.8.1 商汤科技公司简介

4.8.2 商汤绝影智能汽车平台

4.8.3 商汤智能座舱平台SenseAuto Cabin

4.8.4 商汤主要客户

4.9 虹软科技

4.9.1 虹软科技公司简介

4.9.2 虹软科技舱内监控方案

4.9.3 虹软科技业务模式

4.9.4 虹软科技合作伙伴

4.10 海康威视

4.10.1 海康威视公司简介

4.10.2 海康威视智能座舱解决方案

4.11 地平线

4.11.1 地平线公司简介

4.11.2 地平线芯片产品体系

4.11.3 地平线多模态交互方案

4.11.4 地平线车载操作系统TogetherOS

4.11.5 地平线产品开发模式及商业模式

4.12 华阳通用

4.12.1 华阳通用公司简介

4.12.2 华阳业务布局

4.12.3 华阳多模态交互系统

4.12.4 华阳合作伙伴

4.12.5 华阳产品及配套客户

4.13 德赛西威

4.13.1 德赛西威公司简介

4.13.2 德赛西威第四代座舱方案

更多佐思报告

报告订购及合作咨询联系人:

张女士：13716037793（同微信）

佐研君：18600021096（同微信）

自主品牌主机厂自动驾驶	汽车视觉（国内）	高精度地图
合资品牌主机厂自动驾驶	汽车视觉（国外）	高精度定位
ADAS与自动驾驶Tier1-国内	环视市场研究（本土篇）	汽车网关
ADAS与自动驾驶Tier1-国外	环视市场研究（合资篇）	数据闭环研究
自动驾驶与座舱域控制器	红外夜视	汽车信息安全硬件
多域计算和区域控制器	汽车仿真（上）	汽车信息安全软件
乘用车底盘域控	汽车仿真（下）	OEM信息安全
域控制器排名分析	激光雷达-国内篇	无线通讯模组
E/E架构	激光雷达-国外篇	汽车5G融合
L4自动驾驶	毫米波雷达	800V高压平台
L2/L2+自动驾驶	车用超声波雷达	燃料电池
乘用车摄像头季报	Radar拆解	一体化电池
ADAS数据年报	激光和毫米波雷达排名	一体化压铸
合资品牌车联网	专用车自动驾驶	汽车OS研究
自主品牌车联网	矿山自动驾驶	线控底盘
自动驾驶重卡	无人接驳车	滑板底盘
商用车ADAS	无人配送车	电控悬架
商用车智能座舱	无人零售车研究	转向系统
商用车车联网	农机自动驾驶	线控制动研究
商用车智能底盘	港口自动驾驶	充换电基础设施
汽车智能座舱	模块化报告	汽车电机控制器
智能座舱Tier1	V2X和车路协同	混合动力报告
座舱多屏与联屏	路侧智能感知	汽车PCB研究
智能座舱设计	路侧边缘计算	IGBT及SiC研究
仪表和中控显示	汽车eCall系统	EV热管理系统
智能后视镜	汽车EDR研究	汽车功率电子
行车记录仪	智能汽车个性化	电驱动与动力域
汽车数字钥匙	汽车多模态交互	汽车线束
汽车UWB研究	车载语音	汽车音响
HUD行业研究	TSP厂商及产品	汽车座椅
人机交互	自动驾驶法规	汽车照明
车载DMS	自动驾驶标准和认证	汽车镁合金压铸
OTA研究	智能网联测试基地	电装新四化
汽车云服务研究	PBV及汽车机器人	造车新势力-蔚来
汽车功能安全	飞行汽车	造车新势力-小鹏
AUTOSAR研究	行泊一体研究	造车新势力-理想
软件定义汽车	智慧停车研究	自动驾驶芯片
软件供应商	汽车分时租赁	座舱SOC
乘用车T-Box	共享出行及自动驾驶	汽车VCU研究
商用车T-Box	车企数字化转型	汽车MCU研究
T-Box排名分析	智能表面	传感器芯片
蔚来ET5/ET7智能化功能拆解

「佐思研究月报」

 ADAS/智能汽车月报 | 汽车座舱电子月报 | 汽车视觉和汽车雷达月报 | 电池、电机、电控月报 | 车载信息系统月报 | 乘用车ACC数据月报 | 前视数据月报 | HUD月报 | AEB月报 | APA数据月报 | LKS数据月报 | 前雷达数据月报