自动驾驶能力已成为车企研发和宣传的重点。各大车企纷纷对自动驾驶辅助技术进行“包装”,特斯拉将其命名为完全自动驾驶(FSD),试图将完全自动驾驶这一概念灌输给消费者,但实际上FSD依然停留在辅助驾驶阶段。在轰轰烈烈的“宣传战”下,车企不断“引诱”驾驶员使用自动驾驶功能。驾驶员很有可能在使用过程中双手脱离方向盘,视野脱离道路,这将引发严重的安全隐患。无论车企如何宣传,按照中国工信部及美国SAE的最新定义,当前的自动驾驶能力依然停留在L2阶段,人类驾驶员依然是驾驶责任的主体。车企在不断推广自动驾驶技术的同时,必须使用相应的技术手段,监督和检验人类驾驶员的操作行为,保证车辆时刻掌握在人类驾驶员手中。是否有一种技术,可以实现车辆对人类驾驶行为的“监督”,避免人类驾驶员因为过度相信自动驾驶技术而将车辆掌控权“拱手相让”?正是在这样的背景下,驾驶员监控系统(DMS)重新回到大众的视野之中。DMS并不是一项新技术,其在20年前就已经诞生,面世之初是为了解决驾驶员疲劳驾驶、分心等问题,驾驶员疲劳驾驶和分心是交通事故的重要成因。DMS是英文Driver Monitor System的缩写,即驾驶员监控系统,该系统可以实现对驾驶员的驾驶疲劳、分心以及其他危险行为(比如打电话,吃东西等)的检测。当检测到驾驶员的注意力无法保持在驾驶行为上时,及时对驾驶员做出提醒。作为一项可以挽救人类生命的技术,法律法规对DMS的普及作出了有力的推进。据悉,全国性的商用车DMS系统强制安装法规已经在调研立项之中,最快有望在今年底出台。欧盟E-NCAP发布的最新2025路线图,要求从2022年7月开始,所有新车都必须配备DMS。强制性安装的法律法规助推DMS技术的普及。法国咨询机构Yole预测,截至2025年,车内传感市场GAGR最高将达到63%。这一细分市场也将在2025年达到26亿美元,其中DMS在此收入中占比73%,届时中国DMS市场规模也将达到82亿人民币。据佐思汽研的调研数据,国内2020年上半年新增237万辆商用车均强制标配DMS。商用车市场对功能的体验性需要低,只要满足法规即可,但是乘用车市场对技术的体验性要求很高,厂家需要在功能实用性和成本之间寻找合适的平衡点,因此乘用车对DMS的搭载更为谨慎,但是随着辅助自动驾驶的普及,近年来市场呈现爆发式增长的态势。据高工智能汽车研究院的数据,在乘用车市场,2020年国内市场新车(合资+自主品牌)搭载视觉DMS上险量为13.65万辆,而2019年同期数据不到1万辆,增速达到指数级。在渗透率方面,DMS的渗透率刚刚超过10%,目前主要集中在中高端车型。早期的DMS技术多采用被动式技术。所谓被动式技术,是指通过方向盘、扭矩传感器,监测车辆不稳定的方向盘运动、车道偏离或无故改变速度等。这种早期的DMS系统模型复杂,成本高,因此多搭载在豪华车型。除了成本因素,被动式DMS的误报率大、智能化程度低,而且无法与智能座舱产生联动。比如早期特斯拉用户用矿泉水瓶等物件卡在方向盘上,从而达到欺骗DMS的目的。由于被动式技术在技术上的缺陷,有车企试图使用生物传感器监控驾驶员,比如利用部署在方向盘或安全带上的电容传感器等设备对生理指标数据进行分析,进而推断驾驶员当前状态。该技术方案检测疲劳的理论基础为,人体处于疲劳等非正常状态时,心率、血压、皮电反映、皮肤温度、脑电波等生理特征指标与正常状态下有所不同。但是生物传感器的布置方案成本高,传感器与用户的接触和佩戴体验差,检测精度受限于传感器的接触方式,因此该技术并未得到实质性推广。业界迫切需要一种非接触式的,能智能地直接判断驾驶员监控行为的新技术。AI视觉技术的快速发展为新技术的诞生提供了可能。依托人脸面部识别技术,基于红外技术和视觉摄像头的非接触式、低成本、高度智能化的主动式视觉DMS技术应运而生,并迅速成为主流技术路线。该技术方案通过部署在方向盘、转仪表盘或A柱等位置的光学摄像头、红外摄像头,获取驾驶员的眼部状态(如眼睑闭合检测、眼球追踪、视线追踪)、头部姿态(如头部位置检测、头部姿势追踪)、打哈欠、打电话、抽烟等行为的图像或视频信息,通过深度学习算法对获取的信息进行分析,判断驾驶员当前所处状态,实现驾驶员监测目标。红外摄像头的优势是光线抗干扰能力强,即使在昏暗的环境下依然有很强的分辨率,能够适应座舱内部明暗变化强烈的环境。红外光可以穿透大多数太阳镜的镜片,包括偏光太阳镜。对于DMS的图像传感器来说,镜片是透明的,眼睛、眼睑、眨眼和眼球注视矢量可以正常跟踪。眼球的跟踪和检测是判断是否疲劳驾驶,或者分心,瞌睡的重要手段,也是DMS技术的核心之一,因此红外摄像头在DMS领域有很强的竞争优势。(资料来源:智车行家:DMS驾驶员监控系统技术专题报告)红外摄像头由红外光源发射器、可以识别物体反射光线的镜头,以及图像传感器等元器件构成。一般是使用人眼不能感知的940nm的近红外光,而且可以避免照明不足所带来的的不利影响。红外摄像头配置一般需要1MP-2MP像素、40°以上的FoV、帧数在30~60fps。目前,可以提供800-1000nm波段的近红外光源主要有三种:红外LED、红外LD-EEL(边发射激光二极管)和VCSEL(垂直腔面发射激光器)。红外LED因成本低廉、光照面积大、便于安装、产业成熟度高而成为当前的主流方案。通用汽车是较早引入基于红外摄像头DMS技术的车企。2017年,凯迪拉克在CT6上推出超级巡航系统,该系统在方向盘上集成了红外摄像头,可追踪驾驶员的头部位置与视线,确保驾驶员目光在前方道路上。该系统由均胜安全提供,采用的是欧司朗的红外发生器。凭借非接触、低成本、高可靠性,高智能的优势,基于近红外技术的DMS正成为市场上的主流选择。车企和供应商新开发的DMS系统基本都采用该技术。LED红外技术成本低,但是光源比较分散,车企和供应商不断探索新的光源技术。比如采用VCSEL光源发射器。VCSEL——全名为垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser),以砷化镓半导体材料为基础,有别于LED(发光二极管)和LD(Laser Diode,激光二极管)等其它光源,具有体积小、圆形输出光斑、单纵模输出、阈值电流小、价格低廉、易集成为大面积阵列等优点,广泛应用于光通信、光互连、光存储等领域。(图片来源于http://vixarinc.com/)红外LED作为光源,虽然成本低,但LED没有谐振腔,光束发散,必须输入更多的电流并克服损失,因此功耗较高。此外,LED不能快速调制,限制了其分辨率。相比于红外LED和EEL,VCSEL的出射光更集中、光斑更对称,同时在温度漂移和腔面反射率上也更占优势,VCSEL还能够实现二维阵列。VCSEL在光电转换效率,光线均匀度和温度漂移等方面的优势,使得其在人脸识别领域有突出的技术优势。目前光源供应商们正在研发车规级的VCSEL光源技术。除了红外光源方面的改进,探测传感器也在发生变化。普通的红外摄像头只能提供2D的图像,具有3D效果的传感器已经在消费电子上得到广泛应用,比如ToF传感器。ToF传感器最先进入大众视野源自苹果。苹果在IphoneX 的Face ID技术引入了VECSEL和ToF传感器技术,使面部识别成为手机标配。ToF是物体、粒子或波传播一段距离所花费的时间的度量。ToF传感器使用微小的激光发射红外光,其中产生的光会从任何物体反弹并返回到传感器。根据光的发射与被物体反射后返回传感器之间的时间差,传感器可以测量物体与传感器之间的距离。ToF传感器最大的优势就是可以构建驾驶员头部3D“深度图”,通过“深度图”可以精准地分析驾驶员的独特面部特征,从而提高面部识别,手势和占用/姿势等算法的准确性。与2D视觉传感器方案相比,ToF传感器方案的成本更高,识别分辨率略低,但是可以提供大范围的3D感知。ToF技术在智能手机为代表的消费电子领域得到广泛应用,产业和制造成熟度高,成本下降速度快。但是ToF的技术劣势在于可探测距离较短,目前成本较高,另外产品可靠性需要过车规级认证。目前已经有国内外的企业都在致力于车规级认证,比如炬光科技已有项目在量产中。据Yole咨询公司预计,从2022年开始, 3D 感知的DMS系统开始装车,到2024年3D摄像头将迎来爆发。预计新车市场中DMS搭载量将从2020年的450万套,增长至2025年的5760万套,其中2D摄像头方案占80%,3D摄像头方案占据20%。除了 ToF传感器技术,也有企业在尝试将毫米波雷达技术应用于车内感知检测系统中。毫米波雷达方案的优势是不受光照条件影响,而且不必检测乘员的面部表情,从而可以保护人员的隐私。毫米波雷达传统大厂博世、大陆等都有将毫米波雷达引入座舱内的计划。中国国内自主品牌楚航科技在2021年上海车展期间推出了60GHz的车规级毫米波雷达,可以检测驾驶员的心跳和呼吸,避免驾驶员因身体突发不适造成危险驾驶,还能为后排乘客或宠物提供占位检测,能有效避免儿童、宠物被遗忘在车内。毫米波雷达正向4D毫米波雷达演进,4D毫米波雷达有望在车内得到应用。2021年3月,国外产品研发和工程专家Path Partner近日宣布使用4D成像雷达技术和摄像头融合技术开发出DMS和OMS(乘员监控传感器)。由于检测原理的限制,毫米波雷达无法检测驾驶员的面部表情和眼球动作,从而难以检测驾驶员是否疲劳,以及是否分心,因此,毫米波雷达方案可以作为视觉方案的补充,此外,成本的增加也限制了毫米波雷达在座舱内的推广。综合对比各种方案,基于视觉技术的DMS技术,无论在成本上,还是功能实现上,都被认为是最优的解决方案,这在分心的检测上效果尤为明显——除了视觉,其他技术几乎不可能实现对眼球的追踪和分心的检测。关于DMS的强制性法规决定了功能的下限,解决的是有和无的问题,至于功能的易用性,友好性和准确性则需要厂家在的持续投入。作为一项“主动式安全技术“,DMS遇到的最大挑战是对人类驾驶员精神状态的检测精准度的问题。“误检”和“漏检”带来的体验与效率之间的冲突。当用户被大量的“误检”干扰时,容易被迫主动关闭该功能。目前的DMS都是主要基于人脸识别的视觉技术,视觉传感器本身受环境影响较大,此外,芯片算力不足也可能造成实时处理速度不够。不同天气和时间段的光线差异也可能导致图像亮度不同,比如阴阳脸现象,图像的遮挡与抖动、信噪比、对比度也千差万别。这些都对系统的鲁棒性提出了挑战。DMS对芯片的要求也很高,首先是车规级的要求,需要满足一定的温度等工况的可靠性认证,其次其对算力的需求也较高。DMS由单个控制单元进行数据接收和传输,因此,DMS需要运用大量的算力对输入的信息进行相应的数据处理及分析最后反馈至终端显示器。此外,还需要与整车电子电气架构、ADAS驾驶辅助功能、智能座舱以及及显示器集成作融合。比如,为了准确识别人脸这个 3D 的球状形象,还要提高分辨率,引入 3D 信息,同时采集后将模型优化;为了让系统运行起来不至于卡顿,还需要提高运行的帧率,算力的要求大幅度提高。除了传感器的物理限制,关于人类生理状态机制的认识和研究对感知算法模型精准度有直接的影响,而人类目前对于疲劳和瞌睡的认知还不充分。DMS的核心在于检测驾驶员的精神状态,尤其是否疲劳,是否分心或者瞌睡。那么如何测量疲劳和分心?如何量化疲劳和分心的程度?根据生理学上对人的疲劳的研究分析,疲劳与体温、皮肤电阻、眼球运动、呼吸频率、心率和大脑活动之间存在关系。基于生理学的认知,最有效的方法是通过各类生物传感器直接测量脉搏和心跳变异HRV,但是车内环境不允许安装大量的生物传感器。视觉摄像头只能提取人类的面部状态,比如眼部状态(开闭时间,开闭频率,开闭角度),眼球状态(眼球方向,眼球转动频率,眼球停留时间),嘴部状态(打哈欠,张嘴程度,张嘴频率),头部状态(头部姿势,点头频率,点头时间)等信息特征,通过算法提取和量化这些关键的生理信息,比如采用landmark方法,通过面部的68个关键点,提取面部、眼睛和嘴巴的关键数据。算法工程师需要根据面部的生理指标和参数,建立疲劳、分心、瞌睡的生理模型,设定生理阈值、置信度,确定触发条件。在疲劳瞌睡程度上,普遍采用斯坦福7级睡意表,判断人员是否处于疲劳和瞌睡状态,并将睡意量化分级。虽然有斯坦福的7级评价指标,但是实际疲劳的评判需要一定的主观评价成分。研发工程师需要根据从积累的数据库和真人模拟训练中,针对关键生理指标做统计和分析,确定从清醒到微疲劳、半疲劳、深度疲劳的界限,从而优化模型结构参数。在公开算法方面,以监测驾驶员疲劳的功能为例, DMS产品多采用或参考美国国家高速公路管理局(NHTSA)的评估方法PERCLOS P80来分析判断驾驶员的疲劳程度。PERCLOS(Percent Eye Closure)指在一段时间内眼睛闭合时所占的时间比例,P80指眼睑遮住瞳孔的面积超过80%就计为眼睛闭合,PERCLOS P80被认为最能反映人的疲劳程度。具体计算原理如下:t1为眼睛完全睁开到闭合20%的时间;t2为眼睛完全睁开到闭合80%的时间;t3为眼睛完全睁开到下一次睁开20%的时间;t4为眼睛完全睁开到下一次睁开80%的时间。 (图片来源:智车行家:DMS驾驶员监测系统技术专题报告) 通过测量出t1到t4的值就能计算出PERCLOS的值f,进而根据设定的阈值判断是否为疲劳状态。PERCLOS方法检测准确性高、成本低、干扰低,逐渐成为行业参照的主流方法。除了通过眼睛的开闭检测疲劳外,还需要检测驾驶员是否分心,以及检测驾驶员是否视线脱离路面,比如扭头观察倒视镜或者看中控台,这需要高分辨率的摄像头。此外,算法和模型需要对眼球的跟踪,眼线的方向和角度、停留时间做出更精准的提取,从而做出更精确的判断。视线追踪一般是先判断眼睛和眼球轮廓的位置,然后再判断瞳孔的位置。如果采用IR摄像头,在LED照射的情况下会出现角膜的反射现象,这需要算法和摄像头公司在这部分做一些补偿方法。除了生理性的疲劳和困顿,人类的心理情绪对驾驶安全也有影响。比如当人类处在消极,愤怒等负面情绪中时,容易做出更危险的驾驶动作。如果DMS算法能够识别出情绪状态,可以提出提醒。这需要人类对面部表情和情绪之间的关系作出更精准的判断。除了疲劳模型的量化挑战,人脸检测还面临一些其他挑战,比如面内旋转、面外旋转、人面部化妆、眼镜遮挡眼睛、表情变化、口罩遮挡。尤其是口罩和眼镜对嘴部和眼部的遮挡可能会降低视觉的识别率。除了生理认知带来的算法局限,神经网络算法本身也有一定的局限性,其中的一大挑战就是算法模型的效果依赖于大量的数据训练,数据成为关键影响因素。如何低成本地获取真实场景数据成为各大算法厂商追逐的重点。算法厂商需要花费大量的人力和财力组织人员测试,采集人类疲劳、瞌睡、分心时的面部素材,积累训练库。但是开车时的疲劳和瞌睡真实数据获取难度很大。通过真人可以模拟的方式可以获得部分数据和训练库,但是与真实的开车场景仍有一定的区别。单独组织人力训练无疑费时费力,最经济、且高效的方式是将已量产产品的实际检测信息通过云端回传。因此,如果产品能够尽早上车,并且产品数据能够回传给算法供应商,算法厂商就能快速迭代算法。从实车上采集真实的人脸数据又会引发数据隐私的问题。一方面,车企同样对用户数据把控非常严格,算法供应商需要说服或者通过利益交换的方式,获得车企的首肯,将真实的数据从车端上传云端,供算法供应商训练。但是,另一方面,用户对人脸数据异常敏感,毕竟涉及到人脸信息和身份信息,属于用户高关注度的数据,用户不愿意轻易将人脸数据上传给云端。为了获得用户数据,车企需要对用户作出承诺,比如承诺将数据留在车端,或者征得用户同意后上传云端,此外,车企有必要采取一些技术措施,比如人脸信息和身份信息的脱敏,将脱敏后的数据上传云端,避免身份隐私的泄露。特斯拉在今年5月份的OTA中,启动了DMS驾驶员摄像头功能,在FSD开启后,摄像头会监视驾驶员的状态。特斯拉之前开启车内摄像头并没有征求车主同意,让车主们感受到了冒犯,非常不满意。此次,特斯拉承诺摄像头数据会保存在汽车中,系统不会将数据传回公司,除非用户启用数据共享。同时,特斯拉强调,用户可以通过进入“控制 - 安全和安保”来改变数据共享设置。数据的合法获取和使用问题将是DMS必须面对的问题。DMS产业链中涉及到的关键技术有:芯片、传感器(摄像头)与DMS算法以及方案集成。(图片来源:智车行家:DMS驾驶员监测系统技术专题报告) DMS未来前装是主流,作为车载产品必须满足车规级的要求,因此硬件供应商基本上汽车产业链中的企业。上游硬件方面,芯片技术壁垒高,市场集中度高,目前主要由NXP、TI、赛灵思,安霸、瑞萨、英特尔、英伟达等传统芯片巨头占据大部分市场份额。这些厂商有比较成熟的计算平台解决方案。比如NXP的S32V系列/i.MX8系列,安霸的H22、H32,英特尔的Atom,OV的OA8000,赛灵思的Zynq-7000,TI的TDA2P/TDA3x/DRA726,瑞萨的R-Car E3/M3/H3/V2H/M2等,MTK的Autus I20/T10等。由于是车规级的芯片,且对算力要求较高,因此价格也较高,成本基本在40元以上,高算力的主控芯片价格甚至在100元以上。红外光源厂商包括欧司朗,隆达电子,台湾亿光电子等电子厂商。摄像头核心部件CMOS图像传感器主要掌握在以索尼、三星为代表的日韩企业中。此外,在汽车传感器市场中,安森美处于领先地位,豪威科技紧随其后,虽然索尼在全球CIS市场占据绝对龙头地位,但在汽车传感器领域,要落后于安森美和豪威科技。在光学组件市场中,国内的舜宇光学、水晶光电、欧菲光、海泰等企业都有很大的发展潜力,与海外高端技术企业争夺市场份额,实现汽车光学领域产业链的国产化。据估算,在摄像头的硬件方案成本中,去除掉算法成本,单个摄像头在30元左右,配合红外光源,整颗摄像头成本在可达130元。其中,图像传感器CMOS约占52%、镜头约占26%、模组封装约占20%。
算法供应商在产品端的竞争,主要在对算法精准度以及算力效率的优化。从技术方案上,有两个方向可供算法供应商优化算法效率,一是对于芯片架构的选择和设计,功耗比和性价比低的方案无疑更有优势;二是基于公开神经网络算法和开源深度学习平台对算法的调试和优化,需要算法供应商大量收集训练素材,同时快速迭代算法,提高算法精度。因此,算法厂商需要研究市场上的各类芯片,在吃透芯片厂商的硬件后,开发出芯片与算法适配的更好的产品。如果芯片厂商也能自己做算法的话,那无疑具有极强的竞争力。比如地平线作为人工智能芯片公司,其征程系列芯片可以实现多模态感知,可支持对前排与后排、车内与车外、视觉与语音的全方位感知交互,其中包含了DMS驾驶员检测系统。目前,各DMS公司多基于公开算法,结合产品功能和应用场景进行算法优化和提供整体解决方案。这部分厂商包括人工智能技术背景的算法大厂、专注于DMS技术的初创厂商、以及部分从ADAS领域延伸到DMS领域的厂家。在全球范围内仅仅是专注做DMS视觉算法的供应商就超过15家。在竞争格局上,国外 DMS 公司凭借先发优势抢占了部分先机。比如Seeing Machines, Smart Eye, cipia(原eye sight), Fotonation等。澳大利亚计算机视觉开发商 Seeing Machines不仅自主研发 DMS 算法,还开发自主 DMS 芯片——FOVIO 芯片,该公司 DMS 产品已配置在 2018 款凯迪拉克 CT6 车辆上,2018 年公司营收已达到 3072 万澳元,其中汽车领域贡献营收超过 800 万澳元。瑞典的Smart Eyes是另一大玩家。据Smart Eye的财报数据,2020年,公司营收增长至785万美元,不过仍亏损约640万美元。Smart Eye最新估值约5.37亿美元。除此之外,还有很多具有计算机视觉背景的企业进入DMS领域。比如如成立于 1997 年的 Fotonation,凭借人眼虹膜技术早就在消费电子人脸识别领域站稳脚跟,在 2015 年正式进入 DMS 领域,并成为电装中国的 DMS 软件供应商。国内的算法供应商包括商汤科技,虹软,海康威视,中科创达等人工智能企业,未动科技等专注于DMS的初创企业,以及深圳自行科技,Minieye等同时供应ADAS产品的企业。人工智能公司资金实力雄厚,同时可以通过其他领域收集人脸素材,帮助训练算法。商汤科技在2021年车展期间发布了座舱一站式解决方案,包括DMS(驾驶员感知系统)、OMS(乘客感知系统)、无感解锁车门、虚拟行车伴侣和车内AR 娱乐功能。虹软科技专门针对汽车行业视觉相关功能需求而开发了 DMS、ADAS、BSD 等产品。2019 年度,虹软科技智能驾驶算法业务快速发展,实现营业收入 1605.66 万元,较上年度 220.21 万元实现大幅增长。2020 年一季度智能驾驶算法业务实现营业收入 1700.76 万元,已超过 2019 年全年营收。
MINI EYE在2021上海车展期间同样推出舱内、舱外全域感知方案。舱内DMS及OMS产品,除了传统的监测功能外,着重打造舱内的交互功能。目前,大量玩家的渗透,使得赛道愈发拥挤。行业前期的技术红利正慢慢消失,毛利润率持续下降。目前,一整套的DMS系统价格,加上软件算法,已经下降至500-1000元。随着行业竞争的加剧,成本将继续下滑。其次,DMS赛道毕竟是一个小赛道,而且技术壁垒并不高,因此,当资金实力更雄厚的人工智能企业及自动驾驶公司渗透进来时, DMS领域的初创公司将感受到了生存的压力。DMS这个细分赛道的整合趋势也已愈发明显。2021年5月,来自瑞典的DMS方案供应商Smart Eye宣布,和Affectiva达成协议,将以7350万美元收购后者的全部业务,目的是加速汽车舱内感知市场业务拓展。Affectiva于2009年从麻省理工学院媒体实验室孵化,是一家主攻情感人工智能感知技术的公司,Smart Eye负责人表示,这将有助于公司在现有业务订单,与全球20家最大的oem厂商中的12家签订了84份量产合同,包括宝马、通用、奔驰、奥迪、捷豹路虎和保时捷等车企。可以预见的是,初创公司之间的合并,以及大型人工智能公司对该领域的渗透将会在未来持续下去。DMS下游主要是Tier1集成供应商,比如国外的大陆电子、维宁尔,博世,安波福、伟世通、电装、法雷奥,国内的均胜安全、经纬恒润,华阳,还有德赛西威等。这类供应商一般是以与 DMS 科技公司合作研发或直接购买算法 IP的形式参与 DMS 产业链中。比如国内ADAS厂商深圳自行科技成为博世中国驾驶员监测系统的软件供应商。 这些传统的tier 1供应商在系统集成能力,车规级验证,以及客户关系,制造和服务能方面有着突出的优势。供应商之间的产品竞争是综合产品力的竞争,包括芯片的设计和选型、算力功耗、算法和算力的匹配、摄像头方案的集成和设计、系统集成和工程化能力,以及最重要的成本竞争力。由于主机厂和Tier 1有深度的客户绑定关系,因此客户关系也是重要的竞争力之一。主机厂往往选择关系最密切,合作最顺畅的Tier 1作为自己的合作伙伴,这些大牌Tier 1的产品成本和利润也较高。在这方面,国外的传统Tier 1有着突出的优势,但是国内的供应商,比如均胜,德赛西威在成本控制力,客户服务能力上也有优势。只要解决产品性能和工程化问题,国产Tier 1有很大的机会蚕食外资的份额,尤其在智能化技术领域。DMS的初衷是为了检测驾驶员的驾驶状态,以便对危险驾驶行为提出警告。但是视觉技术的引入,给DMS提供了更广阔的应用场景。除了检测疲劳和分心,吸烟,喝水,酒驾,毒驾等行为也同样可以被纳入DMS的监控之中。随着自动驾驶和智能座舱的兴起,DMS成为驾驶员与车辆之间建立人机交互的重要“接口“之一。在比较长的时间内,L2~L4级间的自动驾驶将是车市的主流。由此带来的“人机共驾”和“人工接管”问题。高级自动驾驶的渗透率提高,导航辅助驾驶等高阶辅助驾驶成为新车标配。在车企不断的宣传“引诱”下,驾驶员使用自动驾驶功能的频率越来越高,行驶过程中双手脱离方向盘,以及视线脱离道路的情况越来越多。DMS可以监督驾驶员在开启自动驾驶功能后,保证双手不离开方向盘,同时视野专注于车道。这有助于人类更好地适应 “人机共驾”和“人工接管”场景。在部分场景的所谓“L3级”自动驾驶,可以允许驾驶员双手脱离方向盘,视野离开道路面,但是在遇到突发情况,以及在“L3级”场景解除,需要接管时,DMS可以提前提醒驾驶员做好接管准备。目前,将ADAS系统和DMS系统的数据进行融合已经成为DMS重要的发展方向。ADAS系统可以根据DMS的检测数据,结合对车辆行驶和控制状态的分析,判断驾驶员是否处于疲劳驾驶,甚至脱离驾驶状态。比如,通过对方向盘的转向,行驶轨迹,油门的加减速,以及视觉摄像头的分析,可以判断驾驶员是否在开启ADAS系统后,处于瞌睡、疲劳、分心等脱离驾驶状态中。此外,根据DMS对驾驶员的状态和情绪分析,可以对ADAS系统功能的激活和使用设置不同的阈值。比如疲劳值和瞌睡值较高,分心频率较高,或者处于消极和愤怒的负面情绪中时,可以改变ADAS或者自动驾驶系统的驾驶风格,使系统运行更保守、安全的行驶,系统提示更积极,必要时,可以接触自动驾驶系统,要求驾驶员专注驾驶。DMS与自动驾驶系统的融合,也会促使硬件层面的融合,比如将DMS算法和芯片融合到自动驾驶控制域中。Mobileye即将推出量产的下一代EyeQ6计算平台,有可能将预置搭载嵌入式视觉DMS算法,据猜测是算法供应商可能是Cipia。除了与自动驾驶域的融合,智能座舱是DMS功能扩展和融合的另一大领域。除了驾驶员驾驶行为监测,DMS还可以实现驾驶员身份识别,比如人脸识别、年龄性别估计,形态识别,比如眼球视线、安全带检测、姿势位置,状态识别,比如情绪状态,以及物体识别,比如遗忘检测、座舱异常情况检测、幼儿检测等。随着算法对人类面部动作的感知越来越精确,智能算法可以实现更人性化和情感化的感知,通过身份识别、状态识别和形态识别为车辆提供提供定制化的智能服务和交互。如伟世通的 HMEye 是基于视线测量的 DMS,除了可以监测双手和视线是否在驾驶状态,驾驶员还可以通过眼球的转动进行开关广播、调整温度、开启导航等功能,在驾驶过程中更安全地实现人机互动。智能座舱甚至可以根据驾驶员的表情判断驾驶员的心情变化,从而调节车内氛围,音乐类型,甚至自动驾驶的状态。比如法雷奥驾驶员监控系统已经实现了基于人工智能的,运用卷积神经网络算法,并带情绪识别功能的系统,可以通过人脸识别实现不同音乐播放,车内氛围灯等个性化设置。除了驾驶员的监控,DMS也可以延伸发展为OMS(乘客检测系统),将检测范围从驾驶员扩展到车内全体成员。比如面向消费者的OMS应用示例包括:车载视频通话,或OMS的自拍模式,通过简单的语音命令自动为乘员拍照。这些功能也成为车企宣传时的亮点功能。首先是摄像头的差异,OMS需要的视场角范围更广,需要解决从近场到宽视场的分辨率问题。此外,由于视频通话、自拍等应用的加入,摄像头由IR红外摄像头变成RGB摄像头,以便获得彩色图像。此外, OMS系统要求监测范围要求更广,3D ToF方案能够提供更大的视场角FOV,可以达到110°,这是普通2D摄像头难以比拟的,因此3D ToF方案在OMS中可能得到更广泛的应用。随着智能座舱多模态交互的概念的日益兴起。人机交互除了传统的按键以及正普及的触屏。DMS可以基于视觉,结合面部表情与语音、AR-HUD、以及手势实现多模态交互,不断丰富座舱的交互方式。2021年上海车展期间,多款新车都将标配DMS,这成为DMS技术发展的风向标。部分车型已经将DMS与OMS组合起来,座舱内从以驾驶员监测为中心向舱内全员监测发展。
(图片来源:IHS《智能座舱市场与技术发展趋势研究白皮书》)长安 UNI-T 内置的两个摄像头,也对副驾驶位以及后排乘员的状态进行监控;极氪 001 也用鹰眼摄像头进行骨骼监测,来识别人的行为、动作和姿态;未来可能还会出现针对后排娱乐屏幕 FACE-ID 和情绪识别的摄像。DMS与智能座舱从软件到硬件不断融合,DMS所需的芯片算力也有可能从单独的ECU转移到座舱域控制器中的SoC中,与智能座舱共享算力,以便于不同传感器之间进行功能融合,从而实现单一控制域控制多种功能。可以肯定的是,随着功能的不断增加,算力的需求将不断增加,且增速将达到指数级。
(图片来源:IHS《智能座舱市场与技术发展趋势研究白皮书》)车企最新推出的车型中,小鹏P5、WEY 摩卡、蔚来 ET7、零跑 C11 等选择了算力高达 4.2TOPS 的高通 8155 系统芯片;奥迪选择三星自研的 Auto V9 芯片,算力达 2TOPS;特斯拉最新的Model S Plaid 上,搭载的 AMD 半定制芯片,座舱内车载娱乐芯片的性能开始对标 PS5 游戏主机。芯片厂商也推出更为强大的芯片,华为推出了一芯拖五屏、算力 3.5TOPS 的麒麟 990A 智能座舱芯片。
2021年上海车展期间,地平线发布智能座舱Horizon Halo™️ 3,系统基于征程3 5 TOPS的AI算力,支持多达6路摄像头的接入能力,并支持更多的MIC接入,可支持对前排与后排、车内与车外、视觉与语音的全方位感知交互,形成更多的联动交互可能性。根据地平线透露,目前已经完成流片的征程 5,更是将车内人机交互与自动驾驶融合在一起,将智驾和智舱的功能在同一个车载中央计算平台上完成。根据地平线的预估,随着多种模态技术的融合与发展,智能座舱人机交互感知算力需求呈指数级增长,预计到2026年,所需将超过100 Tops。DMS在自动驾驶与智能座舱中的应用也使得未来DMS的域融合出现分歧,有的厂商选择与自动驾驶域融合,有的选择智能座舱域融合。比如2020年Seeing Machines公司宣布与高通达成合作,为高通骁龙™汽车平台推出嵌入式集成系统解决方案,完全兼容支持、集成的驾驶员监控系统套件。按照披露的公开信息,该套件将支持DMS方案集成到信息娱乐或集中式ADAS系统,同时包括优化的系统参考设计摄像头、ADP接口板和软件算法。也许分歧只是短暂的,汽车电子电器架构的发展,将从分散的域控制器向统一中央处理器架构发展,届时,不用纠结哪个域的问题,DMS的技术形态也将发生翻天覆地的变化。
备注:
1. 跟作者交流请扫描以下二维码添加作者的微信。加微信前请务必说明自己所在公司、岗位及真实姓名,否则无法验证通过,多谢理解2. 《九章智驾》有个“汽车人转型交流群”,里面也会分享一些转型的心得,有想加入的朋友可以扫描以下二维码加陈康成的微信,并提供一下名片和个人简历,然后拉您入群。加微信时务必备注您的真实姓名、公司、现岗位以及意向岗位等信息,谢谢。
3. 如果您有兴趣给《九章智驾》投稿(“转型经历总结”及“知识积累整理”两个方向),请扫描以下二维码加孙利的微信。加微信时务必备注您的真实姓名及岗位等信息,谢谢。
“知识积累”类稿件质量要求:A,信息密度高于绝大多数券商的绝大多数报告,不低于《九章智驾》的平均水平;B,信息要高度稀缺,需要80%以上的信息是在其他媒体上看不到的,如果基于公开信息,需要有特别牛逼的独家观点才行。多谢理解与支持。
“好工作”的最关键指标:场景足够复杂、数据量足够大、杠杆率足够高
我们的个人命运,三分靠打拼,七分靠产业红利——《九章智驾》创刊词
这家无人驾驶公司,竟然定位为“环卫公司”
一文读懂自动驾驶仿真测试技术现状
传统汽车人,在未来还有机会吗?—— 一名汽车人的职业转型经历
蔚来、小鹏、理想自动驾驶能力的纵向演进与横向比较
自动驾驶OS市场的现状及未来
“L3级”自动驾驶落地指导思想:高速辅助人,低速替代人
智车行家:DMS装配率稳步提高,国内厂商迎来发展契机Astroys:从摄像头、算法到集成方式详解座舱内感知系统
苹果为什么最后选择了VCSEL,而不是红外LED?VCSEL激光器在3D Sensing摄像头上的应用,带动相关市场迎来爆发智能汽车俱乐部:驾驶员监控系统DMS即将成为汽车标配佐思汽研:车载DMS研究:DMS装车进入高速增长期2020Q1同比增长360%“DMS驾驶员监控系统”或将带动车载摄像头迎来爆发式增长极客汽车:2030 年,智能座舱是什么样子?—— 《智能座舱市场与技术发展趋势研究白皮书》独家解读