自动驾驶系统之车载摄像头（干货分享）

点击图片加入车载摄像头通讯录

推荐语

随着自动驾驶技术的进步以及政策法规的支持，ADAS系统的装车量正在快速增长。摄像头作为ADAS实现感知功能的主要传感器，其使用量将迎来一波大爆发。据了解，现有量产车型中，单车数量最多已达14颗（小鹏P7），而前两年大多才1~2个摄像头。

这里，小编将分享一篇详细介绍了车载摄像头类别、性能要求、技术特点的文章。

1、车载摄像头基础解析

1.1 工作原理

目标物体通过镜头（LENS）生成光学图像投射到图像传感器上，光信号转变为电信号，再经过A/D（模数转换）后变为数字图像信号，最后送到DSP（数字信号处理芯片）中进行加工处理，由DSP将信号处理成特定格式的图像传输到显示屏上进行显示。

1.2 摄像头主要硬件组件

1）镜头组（lens）- 镜头组由光学镜片、滤光片和保护膜等组成；

2）图像传感器 - CMOS感光元件

CMOS图像传感器是模拟电路和数字电路的集成。主要有四个组件构成：微透镜、彩色滤光片（CF）、光电二极管（PD）、像素设计；

图1、CIS结构和CIS成像原理

3） DSP（数字信号处理芯片）

图2.  摄像头基本构成

1.3 基本工作流程

工作流程：图像输入 — 预处理 — 特征提取 — 特征分类 — 匹配 — 完成识别

即输入摄像头的数据，以每帧信息为基础进行检测、分类、分割等计算，最后利用多帧信息进行目标跟踪，输出相关结果；

1）预处理包括成帧、颜色调整、白平衡、对比度均衡、图像扭正等工作；

2）特征提取就是在预处理的基础上提取出图像中的特征点；

3）目标识别是基于特征数据的输出，对图像中的物体进行识别分类 —— 人 ，车 、交通标志等，运用到机器学习、神经网络等算法。

1.4  车载摄像头类别

1）按摄像头的安装位置不同，可分为前视、侧视、后视和内置四个部分：

图3. 基于安装位置的摄像头分类

2）按不同功能应用可分为行车辅助类、驻车辅助类与车内人驾驶员监控三大部分

a、行车辅助类

• 智能前视（单目/双目/三目）：动态物体检测（车辆、行人）、静态物体检测（交通信号灯、交通标志、车道线等）和 可通行空间划分等。
• 侧视辅助（广角）：用于行车过程中监测后视镜盲区内的动态目标；
• 夜视辅助（夜视摄像头）：用于夜间或其他光线较差的情况下更好的实现目标物体的检测；根据工作原理的不同，目前夜视系统主要分三类：微光夜视技术、被动热成像夜视技术、主动红外夜视技术。

图4.  行车辅助类摄像头

b、驻车辅助类

360环视（广角/鱼眼）：主要用于低速近距离感知；系统同时采集车辆四周的影像，经过图像处理单元畸变还原→视角转化→图像拼接→图像增强，最终形成一幅车辆四周无缝隙的 360 度全景俯视图。

图5.  360环视系统框架及图象输出效果示意图

3）车内驾驶员监控（疲劳检测）

a、驾驶员监控系统功能定义

主要针对驾驶员的疲劳、分神、不规范驾驶等危险情况进行预警，要求摄像头在全工况环境下（包含暗光、夜晚、逆光等）工作，且不受驾驶员衣着影响；

b、功能算法

DMS的视觉算法基于深度学习，以伟世通旗下的AllGoEmbedded系统为例，其DMS的基本流程如下：

图6. 驾驶员疲劳检测

脸部检测：将其归为物体识别与分类问题，通过训练深度神经网络设计一个鲁棒性好的脸部检测器。

头部特征：由三个姿态角构成，基于CNN设计头部跟踪系统，以图像中脸部区域为输入，以三维姿态角为输出。

眼神检测：综合眼神检测网络与头部姿态角度输出。

眨眼检测：包括眨眼信息（速率与时差）和眼部信息（开与合）。眼部信息为二分类问题，需要神经网络较小；眨眼信息需要分析过去数帧。

2、车规级摄像头性能要求

• 耐高温 ：车载摄像头需在-40℃~85℃范围内都能正常工作，且能适应温度的剧烈变化；
• 抗震：车辆在不太平坦的路面行驶会产生较强的震动，因此车载摄像头必须能抗各种强度的震动；
• 防磁 ：车辆启动时会产生极高的电磁脉冲，需要极高的防磁性能；
• 防水 ：载摄像头密封要非常严实，满足在雨水中浸泡数日仍可正常使用；
• 使用寿命 ：使用寿命至少为8~10年才能满足要求；
• 超广角：侧视环视摄像头必须是超广角的，水平视角达 135°；
• 高动态：车辆行驶速度快，摄像头面对的光线环境变化剧烈且频繁，要求摄像头的CMOS 具有高动态特性；
• 低噪点：在光线较暗时能有效抑制噪点，特别是要求侧视和后视摄像头即使在晚上也能清楚的捕捉影像。

3、车载摄像头的技术特点解析

3. 1  优势分析

1）相比于毫米波雷达，目前摄像头的主要优势在于：

• 目标识别与分类 - 目前普通的3D毫米波雷达仅可以检测到前方是否有障碍物，而无法精准识别障碍物的大小和类别；例如：各类车道线识别、红绿灯识别以及交通标志识别等；
• 可通行空间检测（FreeSpace） - 对车辆行驶的安全边界（可行驶区域）进行划分，主要对车辆、普通路边沿、侧石边沿、没有障碍物可见的边界、未知边界进行划分；
• 对横向移动目标的探测能力 ，比如对十字路口横穿的行人以及车辆的探测和追踪；
• 定位与地图创建 - 即视觉SLAM技术，虽然目前也有用毫米波雷达做SLAM的，不过视觉SLAM技术更加成熟，也更有应用前景；

2）在自动驾驶系统中，激光雷达与摄像头感知作用比较类似，但相比激光雷达，其优势为：

• 红绿灯识别及交通标示识别
• 成本优势，且算法及技术成熟度比较高
• 物体识别率高

3.2   劣势分析

• 受天气、光照变化影响大，极端恶劣天气下视觉传感器会失效；

• 测距/测速性能不如激光雷达和毫米波雷达；

4、车载智能前视像头关键参数

• 探测距离
• 水平视场角
• 垂直视场角
• 分辨率 - 当摄像机摄取等间隔排列的黑白相间条纹时，在监视器（比摄像机的分辨率要高）上能够看到的最多线数，当超过这一线数时，屏幕上就只能看到灰蒙蒙的一片，而不再能分辨出黑白相间的线条。
• 最低照度 - 即图像传感器对环境光线的敏感程度，或者说是图像传感器正常成像时所需要的最暗光线。它是当被摄物体的光照逐渐降低时，摄像机的视频信号电平低于标准信号最大幅值一半时的景物光照度值。
• 信噪比 - 输出信号电压与同时输出的噪声电压的比值；
• 动态范围 - 摄像机拍摄的同一个画面内，能正常显示细节的最亮和最暗物体的亮度值所包含的那个区间。动态范围越大，过亮或过暗的物体在同一个画面中都能正常显示的程度也就越大。

本文转载自公众号 筋斗云与自动驾驶，作者望天涯（知乎），原标题《自动驾驶系统入门（四） - 车载摄像头》
随着ADAS功能的普及，以及在DMS相关政策法规的推动下，接下来车内外将会包含越来越多的摄像头，据估计，单车可能在5-12个。市场利好将助推行业发展，那么在摄像头行业将会有哪些机遇与挑战呢？欢迎加入艾邦车载摄像头产业链交流群进行探讨。


推荐阅读：

活动推荐
阅读原文，即可报名