从手机走向汽车的ToF相机

Original 佐思周彦武佐思汽车研究

ToF相机又称3D深度相机，其原理与无人驾驶的激光雷达完全相同，只是传统激光雷达和部分MEMS伪固态激光雷达是扫描成像，做接收光电二极管是分离形式的。 ToF相机是一次或多次曝光成像，接收部分是光电二极管构成的像素阵列，Flash型激光雷达完全可以看做一种ToF相机。

上图为英飞凌ToF图像传感器原理示意图，LG的G8手机就使用了此ToF图像传感器做前置人脸识别，同时还是全球首款手掌静脉识别的手机。

最初的ToF传感器只能简单测距，主要做手机相机对焦用，随着像素阵列的扩大，ToF相机出现。目前ToF相机在手机主要有两大用途：一是前置做人脸识别与支付，典型代表为VIVO的NEX，三星的Galaxy S10 5G；二是后置做深度成像，做AR图像引擎，典型代表是华为荣耀V20，OPPO的R17 PRO。基本可以确定2019版的iPhone也会使用后置ToF相机。

实际最早使用ToF相机的是联想大范儿PHAB2 Pro，时间是2016年，当时的ToF图像传感器就是使用了英飞凌的ToF 3D 摄像头技术，这颗深度摄像头芯片图像分辨率仅为224x172并且芯片不包含数模转换部分，工作时极大的占用了高通晓龙652芯片的运算资源且功耗问题突出，输出深度图像帧率仅为个位数，这款手机实际是谷歌的Project Tango 项目。

2018年OPPO R17 PRO与荣耀V20 都是使用了索尼IMX 316 ToF传感器。据悉，此款传感器的实际大规模量产时间为2018年9月，传感器尺寸为1/6英寸，有效像素则只有4.32万。与之相比，VIVO NEX 双屏版的ToF 镜头使用了松下的CCD 方案。由松下提供CCD sensor搭配ADI的控制芯片实现3D感测功能，并可实现Face ID功能。其sensor的图像分辨率可以达到640X480 VGA级别约30.72W有效像素。

苹果在宣传其结构光方案时宣称是超过3W深度点。这也就是为什么VIVO 会宣传NEX双屏版深度信息点10倍于友商结构光方案。当然，苹果与华为的Mate 20 PRO 结构光模组接收sensor 像素数都在100W 以上，最终输出深度图预计可以达到HD级别，不过做Face ID，30万像素足够，做人脸支付可能略有不足，因此苹果可能坚持前结构光后ToF。

结构光的致命缺点是体积大，只能做成刘海屏。索尼最新的ToF图像传感器IMX556，分辨率也是640X480 VGA级别约30.72W有效像素，且是CMOS阵列，成本要比松下低。

立体视觉

结构光

ToF相机

上表为三种深度成像技术对比，结构光最大优势是深度准确度Depth Accuracy最高，理论上可以达到微米级，ToF可以达到毫米级，即便做人脸支付也是够用，结构光的高准确度同时需要复杂的标定，ToF则不需要。

在分辨率方面，立体视觉和ToF都可以全分辨率，结构光要依赖光源投影的pattern。结构光最大的缺点是无法应对动态环境，也就是室外环境，光线环境的快速变化让结构光很容易受到干扰。其次是材料成本高，再次是响应速度慢，需要消耗比较多的运算资源。再次是尺寸大，无法做到水滴屏，必须是大刘海。理论上结构光可以缩小尺寸，但有效距离也会大幅度缩小，必须脸紧贴屏幕，显然这是不实用的。最后低照度下，如全黑环境，结构光的表现依赖光源，ToF则不会，表现比结构光要好。

结构光和立体视觉的拥趸仍然有不少，因为ToF一般要用VCSEL做光源才能发挥较好，而VCSEL激光人眼安全虽然能满足现行标准，但还是有人质疑，因此如奇景、高通、联发科、AMS、意法半导体还是坚持两条腿走路，没有完全放弃结构光和立体视觉。但ToF性能提升很快，潜力巨大，而结构光和立体视觉已成熟超过10年，潜力已经被完全挖掘，因此大部分厂家都将精力放在ToF上，而索尼、松下、德州仪器、英飞凌、Melexis、ESPROS则全力押宝ToF。

由手机进入汽车，ToF相机主要应用在三个领域，一个是座舱内部的驾驶者疲劳监测、手势识别、人脸识别。第二个领域是固态激光雷达。ToF相机可以看做一种固态激光雷达，有Flash型和单光子型。第三个领域是自动泊车领域。

与传统的单摄像头疲劳驾驶监测相比，ToF相机具备压倒性优势，不仅具备传统摄像头的全部功能，还具备头部姿态和视线分析。而纯摄像头需要复杂的深度学习算法，大量的数据搜集，软件开发成本巨大，还消耗大量的GPU运算资源，需要对应较高的硬件成本。即便如此，实时性也远不如ToF相机。与结构光相比，鲁棒性大大提升，特别是在夜间，对向车灯，路灯造成光线急剧变化，结构光受严重干扰，ToF几乎不受干扰。无论单摄像头还是结构光，都需要长时间标定，特别结构光或立体视觉。

可能需要多次标定，但ToF标定异常简单快速，大幅度减少量产标定时间。

目前达到车规级的ToF图像传感器主要有Melexis的MLX75023和英飞凌的IRS1125a。德州仪器、ESPROS在2020年也有车规级产品问世。

上图为Melexis的车内疲劳检测检测、人脸识别、手势识别三合一框架图，只需要i.mx6 4核即可。

英飞凌的IRA1125A的像素数略高。

ADI所开发的ToF模块结合Full HD CMOS影像传感器和VGA ToF传感器模块与内建图像处理器，能Overlapping实际影像，准确测量物体与汽车的距离，相较于传统超声波感测方案，具备更佳的感测角度，这对汽车倒车系统、开门防护系统、停车辅助系统及盲点侦测，提供更大范围的碰撞侦测预防。如今市面上的倒车雷达只能感应是否有障碍物，甚至一些“身材”矮小的障碍物达不到感应范围的要求。采用了ADI ToF技术的倒车系统可同时侦测多个不同距离的行人或障碍物，当检测到有行人或者障碍物靠近，就算是视线死角车顶的树枝，透过软件处理后，能以影像显影或声音警示距离，进一步辅助驾驶得知车后相关路况。

在激光雷达方面，通常ToF相机有效距离不超过10米，但松下在2018年6月推出的单光子雪崩二极管接收像素阵列ToF相机，有效距离达250米，正是瞄准无人车市场开发的。

包括MEMS激光雷达在内的扫描型激光雷达有一个严重缺点就是角分辨率与刷新帧率不能兼顾，必须有所妥协，通常激光雷达转速（也就是帧率）不超过25Hz，否则角分辨率太低，一般都取10Hz，对时速100公里以上的汽车，这个帧率显然太低，而ToF相机可以轻松做到150Hz，单光子可以轻松做到1000Hz。单光子另一个好处是信号处理部分非常简洁，可以与传感器集成在一片集成电路上，不需要外接强大的信号处理器，成本大幅度降低。

松下的ToF-CIS系统，采用1合成3金属的110纳米CMOS工艺制造，成本不超过20美元，性价比极高。不过光源系统仍然是麻烦，VCSEL还是功率太低。

除了汽车与手机，ToF相机也可以用在工控、机器人领域，如机械臂或危险机器设置电子围栏，一旦有人进入电子围栏，机械臂或危险机器立刻停止运转，降低工伤发生可能。在智能建筑，安防领域也可以发挥作用，如计算人流量，自动门。

上图即为德州仪器的智能建筑人数自动计算系统架构图，在滴滴的网约车上，也有此类应用。

「最近文章」

2019年1月中国毫米波雷达市场，维宁尔SRR夺冠占32.4%，博世LRR称雄占40.1%

欧菲智能段勃勃：自动泊车的技术路线与落地技术

「佐思研究年报」

「佐思研究月报及周报」

联系人: 符兆国 18600021096 | 韩跃 15810133447

「无人驾驶、座舱电子及V2X相关培训」

联系人：张志超 18612704928（同微信）

「近期活动」

2019深圳国际未来汽车及技术展暨2019汽车新四化与汽车电子论坛

联系人：张女士 13716037793（同微信）