中科慧眼副总经理、联合创始人孟然

“2017智能网联汽车暨汽车半导体高峰论坛”于12月15日在上海王宝和大酒店举办，中科慧眼副总经理、联合创始人孟然在会上发表了题为 ”自动驾驶的双目视觉感知设备的产品化之路“的演讲，以下为演讲内容。

孟然：大家都知道做自动驾驶实际上有三大领域，包括感知、融合与决策、执行和控制，我们只是做其中一小部分。在感知里面又分为各种各样的传感器，包括激光、视觉、红外、超声波、GPS、惯导、毫米波。视觉里又分为前向视觉、侧向视觉、单目视觉、双目视觉、360环视、行车记录、疲劳检测等等。我们的公司只是做其中一点点，就是这里面的双目视觉算法和双目视觉产品。

好多人会问毫米波、激光、超声波、单目视觉、双目视觉到底哪个会有前途，进行各种各样的对比，去问哪个公司做的好，哪个公司更有生命力。实际上所有传感器之间不具备可比性，为什么这么说？因为一个传感器做的好或者不好，本身是由这个传感器所应用的电磁波的物理性质决定的。比如我们用视觉做一个传感器，哪怕做到极致，视觉里面的弱点还是逃避不了的。激光也是如此、毫米波也是如此。我们将可见光称为视觉，不管单目视觉还是双目视觉都有同样的性质，在黑夜、低光、大雨、大雾情况下图像会降质，这与人眼是一样的。

有人问双目视觉在什么情况下会失效？实际上在两种情况下会失效。第一种是光的能量或者照度特别低的时候它会失效，就像人眼在黑夜看不到东西是一样的。与人眼类似（锥体细胞，杆体细胞），相机里面也是亮度、黄蓝、红绿（或者RGB）三个信道，所以它在低光的情况下同样会失效。

第二个我们叫同构，就是周期性出现的图案，比如说一片白茫茫的雪地，左右眼在匹配的时候就会出现失准。我们人眼观察物体的时候也会有一个感觉，凡是观察周期性的花纹的时候会眼花，因为左边的图案配到右边的图案配不准。所以我们希望更自然的场景，比如现在的会场，我左眼和右眼感受到的图像没有周期性的，左眼图案可以在右眼图案中找到唯一的匹配，从而得到视差。

双目视觉就是通过左右眼的视觉差异去判断距离。同一个场景，在右眼和左眼成像是一致的，只是在X方向存在一个视觉差异，这个视差会有对应关系，视差越大，这个物体离我越近，视差越小，这个物体离我越远，视差为零，这个物体离我无限远。双目与单目的区别，唯一的区别就是在于测距。双目是通过视差去测算隔离，单目是通过识别，通过大小的变化去估算距离。这是它们的差异。为什么要选择双目这个方向，实际上从2016年开始，在众多高端车型的配置中已经开始从原有的单目转成了双目，包括雷克萨斯、奔驰、宝马、路虎、捷豹等一些车型。现在我们在4S店看到的前向视觉传感器都是双目的。

单目是基于识别，既然是识别一定会有一个很庞大的样本库，当然我们所说的深度学习分类器只是一种分类器，分类器会决定分类的质量。以前有线性、非线性的，现在有深度学习。分类器越好，分类精度越高，准确率就越高。分类一定要针对标准物体，比如说汽车、摩托车、人。什么叫非标准物体？比如说一把椅子、一把桌子、一个柱子、一堵墙、一只猫、一只狗。非标准物体是指样本太多，无法统计的物体，而无法统计的东西就无法识别。

双目视觉是不依赖于视觉识别的，是通过视差测算距离。当然双目测算出了距离，但并不知道物体是什么，它只知道前面有个障碍物，出现在几米范围之内。它不依赖于样本库，不依赖于识别、分类器，是针对一切所有目标的测距，并不进行任何识别。

当然我们可以用双目系统的单个摄像头进行识别，但是从芯片效率上来讲，目前还达不到这种水平。单目实际上与双目并不矛盾，单目是双目的一部分，双目等于单目加立体感知。

将百度Apollo大脑植入中科慧眼双目系统，用于双目相机中单目图像的识别，这是我们跟百度正在联合做的事情。对于相机如果传感器不变，那么视角越大测算距离就越近，视角越窄测算距离越远。所以并不是测算距离越远越好，当然也不是越近越好，相匹配的光学系统就是最好的。望远镜是减少视角看的更远，显微镜是增加视角看的更近。

一个双目感知设备的视角、测距的选择与车速有关。比如车辆如果以120公里时速行进在高速上，则这时候测算距离可能要求是越远越好，例如80米；但是在园区低速驾驶时，可能视角要求会比较宽，因为速度只有30迈，这时候测距达到40米就够了。

大家对于视觉系统有一个误区，就是喜欢说测量距离，但是说距离不说视角，说距离不说误差是没有意义的。我可以看到500米，但是误差达到百分之一百，那有什么意义呢。我们说距离的时候一定要有视角、精度的限定。

这个是点云密度100万的，用在一类前装车上，这是我们在今年年底将会发布的产品，具体参数到时候会由百度阿波罗平台发布，我不在这里多说了。这是我们的SE C1后装产品，这是SE C2是我们跟某两款商务车做的一款前装产品，SE B1-Pro是我们与某平台联合研制的一款相机，最后一款SE B1YT是我们12月要发布的一款产品。

不管单目识别还是双目识别，实际上信息对于我们非常重要，就是图像的质量对于我们来讲非常重要。那么决定图像质量的有几点，一个是镜头本身，第二个是Sensor，还有一个最重要的是对Sensor的调校。我们有时候会发现不同的产品用了同一款系统，但是实际上效果差别非常大。

还有一点是需要注意：人眼看出来是好的图像，计算机并不认为是好的。计算机认为什么样是好的？有很好的对比度，所有的障碍物都有很好的对比度，所谓的对比度就是图像数值的差异。

机器友好实际上要高于人眼友好，比如说祛痘、大眼、美白、磨皮，实际上都是一种丢失信息的操作，我们希望要的是高动态、高信噪比、很好的显色性、高光抑制、低光增强等等的成像性能。

视觉与雷达又有什么区别？各有各的优点，雷达看的远、速度快，但它的问题是比较稀疏。视觉的优点是致密，是一种致密的点云，我们测算的是二维致密的点云。做一个比喻，我常常把雷达比作一个远程导弹，但是视觉更像比较密集的机枪或者火炮。如果我们打远的大的东西一定要有导弹，但是你要打眼前的小的东西一定要用枪。用在高速运行的时候，针对大的目标，雷达会预先预警，无关它致密不致密。针对小的目标，尤其是非标准的障碍物，譬如一个栏杆、小猫、小狗、小孩，近距离的视觉致密点云更加重要。所以在常见城市道路的行驶可能视觉起到的作用更大，但在高速公路的行驶雷达无疑是必不可少的。

双目里面的算法也是有分别的，比如说有基于面的，有基于边的。基于边的，你拿到的点只是边缘的测距点，基于面的是面的测距点。刚才杨老师也讲到了成本的问题，实际上做产品和做研究是不一样的。我们在学校的时候经常喜欢去打榜单，但是那些榜单完全是基于准确率的榜单。我们在做产品的过程中，一定要求效果与效率的平衡。通常，计算结果很好就代表你的算法很复杂，很复杂的话效率就会降低。当你要提高效率的时候，就必须要去简化算法，这时候效果又会降低。所以做产品时，一定要求效果与效率的平衡。另外一个需要平衡的是成本。

所以做产品这三个维度都必须考虑：成本、效果与效率。不考虑成本，追求极致的效果与效率，我觉得不是在做产品，应该是在做科研。目前我们基于GPU的C1第一代产品和二代产品分别成本是在1500元和1000元，这是在10000台的量产成本，如果产量大成本还会降低。

这是在生产过程中的几种设备。镜头的自动安装，还有双目相机的自动标定，还有坏点的自动检测，这些设备也是我们在做产品的过程中为配合产线自己做的产品研发。

问答环节

提问：我是一个业外人，我们是专门做安防视频的，我们专门做数字安防有三十年了。我们非常关注自动驾驶和辅助驾驶领域。有一点我想请教，你们现在用的是模拟摄像机还是数字摄像机？

孟然：在自动驾驶领域没有用模拟摄像机的，肯定是数字摄像机。

提问：那延时问题怎么解决？

孟然：这个延时非常小，我举一个例子，国内电压频率50赫兹，要求你的采集频率一定是50的倍数或者整除50，我们采集频率基本上是50，否则视频会有闪烁。1秒除以50等于20毫秒，如果车速每小时120公里，在20毫秒过程中会跑多远这个可以算一下（大约0.67米，编者注）。所以这个延时完全可以满足自动驾驶的要求。如果您每小时120公里，如果是每秒30帧采样，你应该是每走1米采一幅图。如果你是60帧采样，大概是半米进行过一次采集，这个延时是完全可以接受的。

提问：第二个问题，我们在安防行业做了这么多年，发现一个很大的问题，有些人在做硬件，有些人在做软件。现在百度、阿里他们做大数据，也开始做硬件；像海康、大华开始做算法，包括也在收购这种做服务驾驶的公司。在中国的业态下，BAT动作非常大。你觉得在面临这样的竞争的时候，咱们做自动驾驶的厂商会有怎样的对策？怎样面对这样的风险？

孟然：这个问题有点宏观，我谈谈我的看法。我认为合作是好的，合作是把对方的优势资源互补作为一个产品。我们实际上聚焦的特别窄，有很多人问你们是做自动驾驶？我说我们不是自动驾驶的公司，我们就是做传感器的，我们把双目传感器做到极致就OK了。所以我并不是特别在意跟各种平台去合作，实际上我们就是一个做双目感知传感器这么窄方向的一家公司，我们并不做自动驾驶，也不做ADAS，我们就只做传感器，我们就是一家做双目视觉感知的公司。

提问：咱们现在聚焦的是前装？

孟然：一代产品是后装，在外面有在卖。

提问：重点是后装？

孟然：重点是前装。

提问：现在前装跟阿波罗？

孟然：阿波罗是我们的合作伙伴之一。

提问：前装和后装中，你们往下做客户能买单的最大的障碍，或者是客户的关注点咱们有没有探讨过？

孟然：这个有点偏市场了，这个话题如果要是谈，几分钟我回答不了您，最起码要半小时到一小时。前装和后装有什么区别，自动驾驶和辅助驾驶有什么区别。说的粗俗一点，辅助驾驶是在一堆人里找坏蛋（危险障碍物），全自动驾驶是在一堆人里找好人（可行驶的安全区域）。我说的坏蛋是指障碍物，好人是指可行驶区域。换句话说，找坏蛋找不全的话，最后要依靠人自己去找，（辅助驾驶系统）找不全没有什么关系。但如果是自动驾驶在一堆人里找坏蛋你必须找全，找不全怎么办呢？你可以找好人呀（可行驶区域）。另外，辅助驾驶只关注当前车道，只关注正前方，因为我不知道你什么时候拐弯。但是自动驾驶不是，因为方向盘已经交给你了，你什么时候拐弯你是知道的，所以你肯定不止关注当前车道，还需要关注左边和右边两侧。所以辅助驾驶是找障碍物、找危险，自动驾驶是找可行驶区域，找安全，但是非可行驶区域就一定不可行驶吗？不是，但是我要找的可行驶区域一定可行驶，这是它的区别。

提问：您觉得现在后装客户买单最大的解决痛点在哪？

孟然：其实后装对于我们来讲不是客户买单，而是对于算法和生产过程的历练，如果你没有后装直接前装，没有算法的历练迭代还有对于生产工艺的迭代，前装厂不会给你这个机会的。

提问：就是说你们目前对于后装不是太投入？

孟然：是的，是因为有后装，才能把我刚才展示的产线、设备全对接起来。后装是对生产工艺、供应链的锻炼。

提问：杭州有一家也做双目，在网上做，好像现在买单的人不是太多？

孟然：您说这个问题，我确实没有太关注。

活动主题
为自动驾驶共同“把舵”——自动驾驶技术与产业预见研究主题沙龙

活动时间

2017年12月28 13:30 ～ 17:00

活动地点

北京市北清路与永嘉北路交汇处，中关村集成电路设计园展示中心

主办单位

活动流程

时间

主题及演讲嘉宾

13:30-14:00

来宾签到

14:00-14:10

IC Park园区介绍

14:20-15:00

2018展望——五万自动驾驶车开跑

嘉宾：北京佐思产业研究院总经理、北京佐智汽车技术有限公司联合CEO 余杰

15:00-15:40

中国自动驾驶汽车产业链研究

嘉宾：赛迪顾问汽车产业研究中心高级咨询顾问 郑方丹

15:40-16:20

风口浪尖上的互联网+自动驾驶汽车

嘉宾：中国科学技术信息研究所科技报告服务与产业情报研究中心副研究员 贠强

16:20-17：00

奇点汽车的自动驾驶之路

嘉宾：奇点汽车智能车联总经理 季申

17:00-17:30  相互交流、活动结束

活动报名

本活动免费，报名即可参加。

报名联系人：符兆国（18600021096 同微信号）

报名时需说明单位、参加人及联系电话

近期文章和活动