汽车视觉算法研究：聚焦城市场景 BEV演进出三种技术路线

佐思汽研发布《2023年汽车视觉算法产业研究报告》。

一、什么是BEV？

BEV是Bird's Eye View（视觉为中心的鸟瞰图）的简写，也称作“上帝视角”，是一种端到端的，由神经网络将图像信息从图像空间转换到BEV空间的技术。

与传统图像空间感知相比，BEV感知可将多个传感器采集的数据，输入到统一的空间进行处理，有效避免误差叠加；同时更易进行时序融合形成4D空间。

来源：百度

BEV并非新技术，2016年百度开始在BEV视角下实现点云感知；2021年特斯拉引入BEV后引发了业界的广泛关注。根据传感器输入层、基本任务，以及场景的不同，可给出相应的BEV感知算法。比如，基于纯视觉的BEVFormer算法、基于多模态融合策略的BEVFusion算法。

来源：上海人工智能实验室

二、BEV感知算法的三种技术路线

从BEV技术落地来看，各家技术架构大致相同，但采取的技术方案有所不同。迄今，大致出现了三种技术路线：

• 纯视觉BEV感知路线，代表企业为特斯拉；

• BEV融合感知路线，代表企业为毫末智行；

• 车路一体BEV感知路线，代表企业为百度。

纯视觉BEV感知技术路线：特斯拉是纯视觉技术路线代表企业，2021年率先使用前融合BEV算法，将摄像头感知到的画面直接传到AI算法里，生成鸟瞰视角的3D空间，并在该空间内输出感知结果。包括汽车、行人等动态信息，车道线、交通标识、红绿灯、建筑物等静态信息，以及各元素的坐标位置、方向角、距离、速度、加速度等。

特斯拉利用8个摄像头采集数据通过神经网络输出3D向量空间

来源：特斯拉

特斯拉主要利用主干网(Backbone)对各个摄像头进行特征提取(Feature)；借助Transformer等技术将多摄像头数据从图像空间转化为BEV空间。Transformer是一种基于Attention机制的深度学习模型，能处理大规模数据级学习任务，精确感知和预测物体深度。

特斯拉在感知网络架构引入BEV三维空间转化层

来源：特斯拉

BEV融合感知技术路线：毫末智行是长城汽车旗下自动驾驶公司，2022年推出“重感知，轻地图”的城市NOH方案，核心技术来自MANA（雪湖体系）。

在MANA感知架构中，毫末智行采用了BEV融合感知（视觉Camera+Lidar）技术。利用自研的Transformer算法，MANA既完成了对纯视觉信息的BEV转化，也完成了Camera和Lidar特征数据的融合，即跨模态raw data的融合。

来源：毫末智行

自2021年底推出后，MANA持续演进，通过基于Transformer的感知算法解决了多个道路感知问题，如车道线检测、障碍物检测、可行驶区域分割、红绿灯检测&识别、道路交通标志检测等。

2023年1月，MANA进一步升级，引入五大模型，实现车端感知架构的跨代升级，完成了通用障碍物识别、局部路网、行为预测等任务。其中，五大模型包括视觉自监督大模型（实现4D Clip的自动标注）、3D重建大模型（低成本解决数据分布问题）、多模态互监督大模型（通用障碍物的识别）、动态环境大模型（使用重感知技术，降低对高精地图依赖）、人驾自监督认知大模型（驾驶策略更人性、安全、顺畅）。

毫末智行MANA体系感知算法迭代历程

来源：毫末智行

车路一体BEV感知技术路线：2023年1月，百度推出车路一体的解决方案UniBEV，是业内首个车路一体的端到端感知解决方案。

特点：

• 将车端、路端数据全部进行融合，包括车端多相机、多传感器的在线建图、动态障碍物感知，以及路侧视角下的多路口多传感器融合等；

• 自研内外参解耦算法，不管车端、路侧的传感器位置如何变化，UniBEV都可将其投影到统一的BEV空间下；

• 在统一的BEV空间，UniBEV更易实现多模态、多视角、多时间上的时空特征融合；

• 采用大数据+大模型+小型化的技术闭环，在车端路侧的动静态感知任务上更具优势。

来源：百度

百度UniBEV方案将应用在百度高阶智驾产品ANP3.0上，计划2023年量产交付。当前，百度已开始在北、上、广、深多地进行ANP3.0泛化测试。

百度ANP3.0采用“纯视觉+Lidar”的双冗余方案。研发测试阶段，依靠“BEV环视三维感知”技术，ANP3.0已成为依靠纯视觉实现城市域多场景的智驾⽅案。量产阶段，ANP3.0将引入激光雷达，实现多传感器融合感知，以应对更为复杂的城市场景。

三、BEV感知算法助力城市NOA落地

随着视觉算法的演进，BEV感知算法成为主机厂和自动驾驶公司发力城市场景的核心技术，如特斯拉、小鹏、长城、极狐汽车、轻舟智航、小马智行等。

小鹏汽车：全新一代感知架构XNet可将摄像头采集的数据，进行多帧时序前融合，输出BEV下的4D动态信息（如车辆速度、运动预测等）和3D静态信息（如车道线位置等）。

来源：小鹏汽车

小马智行：2023年1月公布智能驾驶解决方案——小马识途，其关键能力就是自研BEV感知算法，可识别各类型障碍物、车道线及可通行区域等信息，最大限度降低算力需求，仅用导航地图就可实现高速与城市NOA。

来源：小马智行

《2023年汽车视觉算法产业研究报告》目录

报告页数：252页

01

视觉算法概述

1.1 车载感知系统架构

1.2 车载视觉传感器及解决方案

1.3 车载视觉感知任务

1.4 车外视觉感知系统计算架构及算法 

1.4.1 单目方案算法 

1.4.2 双目方案算法 

1.4.3 环视方案算法 

1.5 车内视觉DMS系统架构及算法

1.5.1 视觉DMS系统解决方案

1.5.2 视觉OMS系统解决方案

1.6 BEV感知算法

02

国外视觉算法企业研究

2.1 Mobileye

2.1.1 公司简介

2.1.2 Mobileye主要技术

2.1.3 Mobileye 视觉解决方案

2.1.4 Mobileye 主要客户

2.2 大陆

2.2.1 公司简介

2.2.2 大陆集团视觉算法布局

2.2.3 大陆集团DMS视觉及算法

2.2.4 大陆集团舱内视觉及算法

2.2.5 大陆集团环视及算法

2.3 博世

2.3.1 公司简介

2.3.2 博世前视摄像头及算法 

2.3.3 博世环视摄像头及算法 

2.3.4 博世舱内视觉及算法 

2.3.5 博世融合感知算法

2.4 StradVision

2.4.1 公司简介

2.4.2 StradVision产品

2.4.3 Stradvision视觉算法 

2.4.4 Stradvision 发展动态 

2.5 英伟达

2.5.1 公司简介

2.5.2 英伟达自动驾驶核心算法

2.5.3 英伟达自动驾驶汽车软件栈

2.5.4 英伟达DRIVE Perception

2.5.5 英伟达行车场景感知算法

2.5.6 英伟达泊车场景感知算法

2.5.7 英伟达舱内感知算法

2.5.8 合作动态及合作伙伴

2.6 高通

2.6.1 高通Snapdragon Ride 平台

2.6.2 高通Snapdragon Ride Vison系统

2.6.3 高通视觉算法布局

2.6.4 高通合作伙伴

2.7 法雷奥

2.7.1 法雷奥简介

2.7.2 法雷奥核心算法布局

2.7.3 法雷奥Drive4U全自动驾驶方案

2.7.4 法雷奥Remote Park4U全自动泊车系统

2.7.5 法雷奥主要客户

2.8 Seeing Machines

2.8.1 Seeing Machines简介

2.8.2 DMS 产品路线图

2.8.3 DMS技术

2.8.4 DMS算法及解决方案

2.8.5 OMS算法与解决方案

2.8.6 合作动态

2.9 Smart Eye

2.9.1 Smart Eye 简介

2.9.2 Smart Eye DMS 通用开发平台

2.9.3 Smart Eye 眼球追踪技术及系统解决方案

2.9.4 Smart Eye DMS算法 

2.9.5 Smart Eye IMS 感知算法 

2.9.6 Smart Eye软硬一体化驾驶员监控系统AIS

2.9.7 Smart Eye合作动态

2.10 Cipia

2.10.1 Cipia简介

2.10.2 Cipia DMS解决方案 

2.10.3 Cipia舱内解决方案

2.10.4 Cipia车队解决方案

2.10.5 Cipia合作动态

2.11 XPERI

2.11.1 XPERI 简介

2.11.2 XPERI DMS方案

2.11.3 XPERI 新一代DMS方案

2.11.4 XPERI OMS 方案

2.11.5 XPERI 合作伙伴与动态

2.12 特斯拉

2.12.1 特斯拉自动驾驶系统AI 算法概况

2.12.2 特斯拉Occupancy Networks 算法

2.12.3 特斯拉全新车道识别算法

2.12.4 特斯拉HydarNet 算法

2.12.5 特斯拉自动驾驶解决方案

03

国内视觉算法企业研究

3.1 Momenta

3.1.1 公司简介

3.1.2 Momenta 视觉感知算法

3.1.3 Momenta 量产自动驾驶解决方案

3.1.4 Momenta 完全智驾解决方案

3.1.5 Momenta 自动驾驶动态

3.2 毫末智行

3.2.1 公司简介

3.2.2 毫末智行发展战略

3.2.3 毫末智行核心业务

3.2.4 毫末智行智能数据体系MANA

3.2.5 毫末智行智能数据体系MANA——感知算法

3.2.6 毫末智行智能数据体系MANA——认知算法

3.2.7 毫末智行城市场景解决方案

3.2.8 毫末智行服务模式及落地项目

3.3 纽劢科技

3.3.1 公司简介

3.3.2 纽劢科技核心技术

3.3.3 纽劢MaxView感知技术体系

3.3.4 纽劢多相机BEV方案

3.3.5 纽劢科技MaxFlow数据闭环

3.3.6 纽劢科技自动驾驶解决方案

3.3.7 纽劢科技竞争优势及主要伙伴

3.4 魔视智能

3.4.1 公司简介

3.4.2 主要产品及方案

3.4.3 核心算法团队及技术

3.4.4 魔视智能基于深度学习的视觉感知 

3.4.5 魔视智能基于BEV的融合感知算法

3.5 MINIEYE

3.5.1 公司简介

3.5.2 MINIEYE自动驾驶解决方案

3.5.3 舱外感知方案

3.5.4 舱外算法及能力

3.5.5 舱外算法的改进

3.5.6 舱内感知解决方案

3.5.7 舱内感知算法及能力

3.5.8 合作伙伴及动态

3.6 极目智能

3.6.1 公司简介

3.6.2 舱外感知算法

3.6.3 极目智能提升算法精度所做的工作 

3.6.4 舱外检测算法应用

3.6.5 舱内驾驶员监测技术

3.6.6 合作动态及未来发展

3.7 中科慧眼

3.7.1 公司简介

3.7.2 中科慧眼核心技术

3.7.3 中科慧眼发展及合作 

3.8 商汤科技

3.8.1 公司简介

3.8.2 商汤科技智能汽车业务布局

3.8.3 商汤SenseAuto Pilot 绝影解决方案

3.8.4 商汤SenseAuto Cabin智能车舱解决方案

3.8.5 商汤核心技术

3.9 虹软科技

3.9.1 公司简介

3.9.2 战略布局

3.9.3 车载视觉感知算法

3.9.4 VisDrive汽车视觉解决方案

3.9.5 前装软硬一体车载视觉解决方案 Tahoe

3.9.6 客户及合作伙伴

3.10 百度Apollo

3.10.1 公司简介

3.10.2 百度自动驾驶感知历程

3.10.3 百度感知1.0 阶段主要算法

3.10.4 百度感知2.0 阶段主要算法

3.10.5 百度自动驾驶系统解决方案

3.10.6 百度纯视觉解决方案 Apollo Lite 

3.10.7 百度融合感知解决方案Apollo Lite++ 

3.10.8 百度端到端3D感知开发套件——Paddle3D

3.10.9 百度Apollo主要客户及合作伙伴

3.11 驭势科技

3.11.1 公司简介

3.11.2 U-Drive智能驾驶平台

3.11.3 面向量产的U-Pilot解决方案

3.11.4 驭势科技视觉定位技术

3.11.5 驭势科技研发规划及合作伙伴

3.12 地平线

3.12.1 公司简介

3.12.2 地平线技术及解决方案

3.12.3 地平线芯片迭代历程

3.12.4 地平线AI算法布局

3.12.5 地平线BEV感知方案

3.12.6 地平线AIDI 开发平台

3.12.7 地平线智能驾驶解决方案

3.12.8 地平线智能驾驶解决方案：前视单目

3.12.9 地平线智能驾驶解决方案：行泊一体

3.12.10 地平线智能驾驶解决方案：超级驾驶

3.12.11 地平线合作伙伴

3.13 觉非科技

3.13.1 公司简介

3.13.2 觉非科技产品

3.13.3 觉非科技融合定位量产解决方案

3.13.4 视觉特征融合定位解决方案

3.13.5 觉非科技BEV感知技术发展历程

3.13.6 觉非科技合作生态

3.14 纵目科技

3.14.1 纵目科技简介

3.14.2 纵目科技视觉产品及系统

3.14.3 纵目科技视觉算法 

3.14.4 纵目科技主要客户

3.15 中科创达

3.15.1 公司简介

3.15.2 智能视觉产品及核心技术

3.15.3 环视+DMS视觉算法 

3.16 鑫洋泉

3.16.1 公司简介

3.16.2 环视算法布局

04

总结与趋势

4.1 企业总结

4.1.1 国外视觉算法企业一览表

4.1.2 国内视觉算法企业一览表

4.2 发展趋势

4.2.1 趋势一

4.2.2 趋势二

4.2.3 趋势三

4.2.4 趋势四

4.2.5 趋势五

4.2.6 趋势六

4.2.7 趋势七

4.2.8 趋势八

更多佐思报告

报告订购及合作咨询联系人:

符先生：15810027571（同微信）

佐研君：18600021096（同微信）

自主品牌主机厂自动驾驶	汽车视觉(国内)	高精度地图
合资品牌主机厂自动驾驶	汽车视觉(国外)	高精度定位
ADAS与自动驾驶Tier1-国内	环视市场研究(本土篇)	汽车网关
ADAS与自动驾驶Tier1-国外	环视市场研究(合资篇)	数据闭环研究
ADAS域控制器关键组件	红外夜视	汽车信息安全硬件
自动驾驶与座舱域控制器	自动驾驶仿真(国外)	汽车信息安全软件
多域计算和区域控制器	自动驾驶仿真(国内)	OEM信息安全
乘用车底盘域控	激光雷达-国内篇	无线通讯模组
域控制器排名分析	激光雷达-国外篇	汽车5G融合
E/E架构	毫米波雷达	800V高压平台
L4自动驾驶	车用超声波雷达	燃料电池
L2/L2+自动驾驶	Radar拆解	一体化电池
乘用车摄像头季报	激光和毫米波雷达排名	一体化压铸
ADAS数据年报	专用车自动驾驶	汽车操作系统
合资品牌车联网	矿山自动驾驶	线控底盘
自主品牌车联网	无人接驳车	滑板底盘
自动驾驶重卡	无人配送车	电控悬架
商用车ADAS	无人零售车研究	转向系统
商用车智能座舱	农机自动驾驶	线控制动研究
商用车车联网	港口自动驾驶	充换电基础设施
商用车智能底盘	模块化报告	汽车电机控制器
汽车智能座舱	V2X和车路协同	混合动力报告
智能座舱Tier1	路侧智能感知	汽车PCB研究
座舱多屏与联屏	路侧边缘计算	IGBT及SiC研究
智能座舱设计	汽车eCall系统	EV热管理系统
仪表和中控显示	汽车EDR研究	汽车功率电子
智能后视镜	智能汽车个性化	电驱动与动力域
行车记录仪	汽车多模态交互	汽车线束
汽车数字钥匙	车载语音	汽车音响
汽车UWB研究	TSP厂商及产品	汽车座椅
HUD行业研究	自动驾驶法规	汽车照明
人机交互	自动驾驶标准和认证	汽车镁合金压铸
车载DMS	智能网联测试基地	电装新四化
OTA研究	PBV及汽车机器人	造车新势力-蔚来
汽车云服务研究	飞行汽车	造车新势力-小鹏
汽车功能安全	行泊一体研究	造车新势力-理想
AUTOSAR研究	智慧停车研究	自动驾驶芯片
软件定义汽车	汽车分时租赁	座舱SOC
软件供应商	共享出行及自动驾驶	汽车VCU研究
乘用车T-Box	车企数字化转型	汽车MCU研究
商用车T-Box	智能表面	传感器芯片
T-Box排名分析	车型供应商调研	车载存储芯片
小鹏G9功能拆解	蔚来ET5/ET7智能化功能拆解	汽车CIS研究
理想L8/L9功能拆解	大疆前视双目与图达通激光雷达拆解	自动驾驶融合算法

「佐思研究月报」

 ADAS/智能汽车月报 | 汽车座舱电子月报 | 汽车视觉和汽车雷达月报 | 电池、电机、电控月报 | 车载信息系统月报 | 乘用车ACC数据月报 | 前视数据月报 | HUD月报 | AEB月报 | APA数据月报 | LKS数据月报 | 前雷达数据月报