中科慧眼(Smarter Eye)崔峰：2019年日本电装双目装车量有望突破200万套

佐思汽车研究 2022-04-26

2019第四届ADAS与自动驾驶论坛于3月21-22日在上海召开，论坛由CCIA智能网联专委会与佐思产研主办，地平线、纵目科技、中科慧眼、中电昆辰、富兰光学、创景科技等单位支持。

中科慧眼联合创始人崔峰博士在论坛上发表了题为“自主车载多维视觉技术的发展与落地”的演讲。以下是演讲摘要。

各位佐思产研的朋友们大家好，很高兴有机会再次在ADAS与自动驾驶论坛与大家分享中科慧眼 Smarter Eye 自主车载多维视觉技术在近期的一些发展与落地信息。

我们认为无论是以ADAS为主的智能驾驶还是更高级别的无人驾驶，传感器融合是大势所趋。而立体视觉从性价比上讲，在车载应用有着很好的切入点。立体视觉在提供类似超高线束激光雷达的距离点云的同时，也具备基于视觉的深度学习或机器学习的能力。这样的双目视觉系统融合了激光雷达和机器视觉的特点，还可以选择与其他类型的传感器搭配融合，使得智能车辆的传感器系统整体性能提高，同时成本得以下降。

中科慧眼做为国内车载立体视觉方向的创业公司，我们的技术团队来自中国科学院、诺基亚及微软。经过几年来继续专注的努力，我们形成了车载立体视觉传感器从软硬件算法开发到生产规范和量产工具开发的整体能力，实现了国产车载立体视觉产品的商业化及落地的突破。

接下来为各位朋友首先介绍一下立体视觉的原理。双目传感器的特点是怎样的呢？我们利用类似人眼视觉三角测距的原理，通过远近物体在左相机和右相机的成像差异，来反推成像环境中每一点到相机的距离，包括各点在相机坐标系下的X,Y,Z坐标。如果把环境中每一点到相机的距离通过伪彩色表现出来，越近的点越红(偏暖)，越远的点越蓝（偏冷），就形成一个非常稠密的立体视觉距离图。

如上图所示，立体视觉可以同时得到环境成像和与之点点对应的高精度距离点云图。这样，立体视觉可以不依赖于先验知识建模，直接由距离点云图提取出各种障碍物的3D信息和可行使的道路信息。像道路、行人、树木、汽车等等几乎所有类型的呈现一定面积的障碍物的3D信息都可以通过快速简单的方法准确提取出来。至于各个障碍物的类别，可以由成像和障碍物框信息，应用机器视觉或深度学习算法做物体识别得到。

那么为什么通过两个相机成像可以进行精准测距，下面的三个示意图展示了双目成像和测距的原理。(演讲内容略)

通过上面的原理介绍我们会发现，其实立体视觉的测距原理非常简单直接，距离测算只与平行等位的双目相机基线长度，镜头焦距，物理点在左右相机的成像中的匹配坐标差异有关。而立体视觉尤其是车载立体视觉的难点之一，在于如何在制造时针对每个立体相机个体得到近乎理想的平行等位双目相机数学模型，并在日积月累的高低温与震动的工作环境中，维护相机个体的平行等位数学模型，保持立体匹配的准确度。

接下来我们了解一下国外车载立体视觉企业的发展情况。从1999年最早量产车载双目系统的斯巴鲁到2016奔驰全系、2016宝马全系、捷豹、路虎、2017雷克萨斯、大发，双目正逐渐成为各级车型的标配。博世、大陆、日立、奥托立夫、理光、电装、麦格纳、富士通天等一线Tier1也在采用或自主研发双目方案。

从全球来看，车载双目技术以日系厂家见长，并且产能增长迅速，正在加速推进中国市场。

据报道，斯巴鲁Eyesight 之父，日本斯巴鲁的研究部部长实吉敬二(Kenji Saneyoshi)在2016年创办了一家初创公司ITD LAB。几乎同一时间，这家公司在中国成立研发中心，名为深圳华芯技研科技有限公司。2018年8月，这家公司在长春成立了华芯智能驾驶技术（长春）有限公司，力图开展中国区业务。

而Denso的立体视觉供应商，日本理光工业解决方案有限公司(RINS)，仅在2018年就为在日本生产的大发与雷克萨斯车型提供了100万组以上的立体视觉模块，2019年在日本的装车量有望突破200万个。

另一方面，各大车载半导体厂商，如NXP，Ambarella（VisLab）和 Toshiba，也在积极推出含有立体视觉匹配模块和CNN加速模块的智能驾驶车规SoC方案。车载立体视觉和深度学习的进入门槛正在逐步降低。

国内方面，目前国内的车载立体视觉企业大部分处于创业阶段，且数量有限，例如我们中科慧眼、还有元橡科技(技术团队来自智眸科技)和双髻鲨科技。大家共同的特点是结合本地化的需求，服务于国内用户和智能驾驶，力争突围。

介绍了国内外车载立体视觉企业的态势，下面介绍一下中科慧眼近来的发展。

首先，中科慧眼非常重视知识产权的自主创新以及保护。到目前为止，获得授权或者受理的立体视觉相关专利软著近百项，为公司的长远发展奠定了基础。

其次，自主车载立体视觉二代平台已经成熟，并向多方向发展，完全满足车载前装的各类标准，三代平台也在快速升级中。我们具备自主设计光学成像系统的能力，并实现了机器学习和深度学习与立体视觉的本地融合计算。同时，我们也在积极推广独立的双目视觉AEB方案和双目视觉与毫米波雷达融合的AEB方案。

目前，我们实现了对基于面的立体视觉方案与基于边的立体视觉方案的全面支持。

中科慧眼的单双目融合算法可以做到对环境感知的实时输出，例如各类障碍物3D信息，车辆与行人识别信息，车道线方程，可行驶区域信息等。

同时，中科慧眼也推出了双目双焦相机，应用于信号灯和交通标识牌的检测以及机器视觉。未来，我们还将推出双目双焦立体相机，实现不同视角的立体成像和更广的感知视角，以获得更好的应用体验。

有的朋友问我们，视觉传感器有什么弱点？可以说，可见光波段的相机，在雨雪雾天气或者照度很低的夜间，成像效果不太好，从而会影响信号处理质量。因此，我们发展了视觉融合技术，将可见光与红外的多波段立体视觉结合在一起。下图是在室内由可见光立体相机对可见光进行成像，由此得到如右侧的可见光深度图。

另一个图例是用远红外立体相机对环境进行成像，经过匹配形成基于远红外信号的深度图。将这些信号结合在一起，可以得到1加1大于2的效果，在雨雪雾天气和夜间下，视觉融合系统的感知能力都获得了很大提升，既可以提供可靠的距离点云进行障碍物提取，又可以提供细腻的纹理信息以供机器视觉识别。

如下图，将可见光图像以及红外图像融合，可以突破人眼的感知能力，让机器学习和深度学习算法得到更好的效果，像夜间远处的行人都可以被稳定地识别出来。

同理，将可见光的视差点云图和红外的视差点云图融合，在距离感知上也突破了之前可见光立体相机的限制。我们在光学系统方面一直在前进和探索。

前面讲了一部分可以公开的中科慧眼视觉技术的发展信息，最后来介绍一下近期一部分可公开的中科慧眼在车载立体视觉技术的落地信息。

在自动驾驶方面，我们近期参与了数十款L3、L4自动驾驶车型的研制与配装。为车辆提供驾驶环境的RGBD信息、GPS同步信息、相机或车辆姿态等信息。百度Apollo生态的自动驾驶汽车大多配置了中科慧眼双目视觉感知系统。

2018年7月4日，第100辆配置了中科慧眼双目视觉感知系统的阿波龙L4小巴下线，并持续生产销售。我们的产品用户覆盖的车型包括商务车、无人送货小车、无人清洁车、农机、商旅车、房车、公交大巴等。

在智能驾驶量产落地方面，我们面向L0、L1、L2客户提供车规级前装双目感知模块，工作环境温度可以从零下40度到零上90度，在极限温度下96小时连续运行无故障，并通过了第三方的车规级测试。例如适用于商用车的前装型号 - 猎户座(Orion)和适用于乘用车的前装型号 - 岩石城(Rock City)。我们将双目精准测距与机器视觉融合，实现了FCW、LDW、HMW、行人碰撞预警、各类非标准障碍物的碰撞预警信息的输出等功能。同时可输出各类障碍物3D信息、车辆与行人识别信息、车道线方程、可行驶区域、相机姿态等信息，并提供适用于AEB的SDK支持。

同时，中科慧眼推出支持二次开发的立体视觉模块 - 灵动（Infinite)，它的特色是可适配多种不同的FOV视觉角度需求以及匹配方案需求，有不同的测距范围选择。同时，可输出RGBD信号以及输出相机姿态、环境光照信息等，提供二次开发SDK的支持，可在满足多种场景应用的开发需求，例如无人仓储、无人机、工业检测以及自动驾驶。

车载立体视觉的研发与生产难度高，但产品的差异化体验好，产品性价比高。综合国内外的智能驾驶需求，车载立体视觉发展前景巨大。作为国内车载立体视觉的创业公司，中科慧眼在坚持不懈努力奋斗的同时，也感谢和期待大家与各位朋友们的支持，谢谢！

「最近文章」

2018-2019汽车功率半导体行业研究

恩智浦武钰：专注量产级别的自动驾驶硬件架构

博世雷鑫：泊车，从单传感器到数据融合

2019年1月中国毫米波雷达市场，维宁尔SRR夺冠占32.4%，博世LRR称雄占40.1%

「佐思研究年报」