自动驾驶融合算法研究：BEV带动算法革命，AI大模型推动算法迭代

佐思汽研发布《2023年中国自动驾驶融合算法研究报告》。

自动驾驶算法技术框架核心分为环境感知、决策规划、控制执行三部分。

• 环境感知：将传感器数据转换成车辆所处场景的机器语言，具体可以包括：物体检测、识别跟踪、环境建模、运动估计等；
• 决策规划：基于感知算法输出结果，给出最终行为动作指令，包括行为决策（车辆跟随、停止和超车）、动作决策（汽车转向、速度等）、路径规划等；

• 控制执行：在决策层的输出结果下，调动底层模块，向油门、刹车等核心控制部件发出指令，推动车辆按照规划线路行驶。

BEV带动算法革命

近年来BEV感知受到了广泛的关注，BEV模型主要提供了一个统一的空间，方便各项任务、传感器的融合。其主要有以下优势：

BEV统一了多模态数据处理维度，使多模态融合更加容易

BEV感知系统可以将多个摄像头或雷达得到的信息转换至鸟瞰视角，再做目标检测、实例分割等任务，能更直观地显示出BEV空间中的物体大小和方向。

2022年北大&阿里提出激光雷达和视觉融合框架——BEVFusion，雷达点云的处理和图像的处理独立进行，利用神经网络进行编码，投射到统一的BEV空间，然后将二者在BEV空间上进行融合。

BEVFusion 框架

来源：arXiv

实现时序信息融合，构筑4D空间

在4D空间内，感知算法能够更好地完成如速度测量等感知任务，并能将运动预测的结果传递到决策和控制模块。

鉴智机器人2022年提出了BEVDet4D，是基于BEVDet增加时序融合的版本。BEVDet4D通过保留过去帧的中间BEV特征来扩展BEVDet，然后通过与当前帧对齐和拼接来融合特征，从而可以通过查询两个候选特征来获取时间线索。

BEVDet4D网络结构

来源：arXiv

“脑补”被遮挡物体，实现物体预测

在BEV空间内，算法可以基于先验知识，对被遮挡的区域进行预测，“脑补”出被遮挡的区域是否有物体。

2021年Wayve联合剑桥大学提出的FIERY是一种端到端，不依赖高精地图，仅基于单目相机的鸟瞰图实现的道路动态物体实例预测算法。

FIERY模型

来源：arXiv

促进端到端的自动驾驶框架发展

在BEV空间内，感知和预测可以在统一的空间中，通过神经网络直接做端到端优化，同时得到结果。不仅是感知模块，基于BEV进行的规划决策模块也是学术界研究的方向。 

2022年，上海人工智能实验室自动驾驶团队与上海交通大学严骏驰副教授团队合作的论文ST-P3，提出一种时空特征学习方案，可以同时为感知、预测和规划任务提供一组更具代表性的特征。

ST-P3架构

来源：arXiv

AI大模型推动算法迭代

2012年之后，深度学习算法基本接管了自动驾驶的主要分支领域。为了支撑更大更复杂的AI计算需求，诞生了具有“巨量数据、巨量算力、巨量算法”特性的AI大模型，其加快了算法迭代速度。

大模型及智算中心方面

2021年，毫末智行启动了针对Transformer大模型的研究和落地尝试，随后逐步在包括多模态感知数据融合、认知模型训练等项目中得到了大规模运用。2021年12月，毫末智行发布了自动驾驶数据智能体系MANA（中文名“雪湖”），将感知、认知、标注、仿真、计算等多个环节融合于一体。2023年1月，毫末超算中心——雪湖·绿洲(MANA OASIS)亮相 ，由毫末智行与火山引擎联合打造，每秒浮点运算达67亿亿次，毫末训练平台部署到 OASIS上后，可以运行包括云端大模型训练、车端模型训练、标注、仿真等各类应用。在MANA OASIS的加持下，毫末MANA五大模型迎来全新亮相升级。

毫末超算中心——雪湖·绿洲(MANA OASIS)

来源：毫末智行

毫末五大模型

来源：毫末智行

2022年8月，基于阿里云智能计算平台，小鹏汽车建成自动驾驶智算中心“扶摇”，专用于自动驾驶模型训练。2022年10月，小鹏也宣布引入Transformer大模型。

小鹏汽车智算中心——扶摇

来源：小鹏汽车

2022年11月，百度发布了文心大模型，其自动驾驶感知模型超过10亿的参数规模，具备数千个对象识别能力，大大扩展了自动驾驶语义识别数据。目前主要应用在远视距、多模态和数据挖掘三个方面。

百度文心大模型应用——多模态

来源：百度

《2023年中国自动驾驶融合算法研究报告》目录

报告页数：220页

01

自动驾驶算法综述

1.1 自动驾驶算法概述

1.1.1 环境感知算法概述——视觉方向

1.1.2 环境感知算法概述——激光雷达方向

1.1.3 环境感知算法概述——毫米波雷达方向

1.1.4 环境感知算法概述——多传感器融合方向

1.2 决策规划、控制执行类算法概述

1.3 神经网络发展历程

1.4 自动驾驶算法供应模式

02

芯片厂商算法研究

2.1 华为

2.1.1 华为智能汽车解决方案部门简介

2.1.2 华为ADS自动驾驶全栈解决方案

2.1.3 华为核心算法介绍

2.1.4 华为自动驾驶算法发展规划及生态合作伙伴

2.2 地平线

2.2.1 地平线公司简介

2.2.2 地平线合作模式

2.2.3 地平线车载计算平台及单目前视解决方案算法

2.2.4 地平线自动驾驶感知算法设计

2.2.5 地平线核心算法模型介绍

2.2.6 地平线领航辅助驾驶解决方案及超级驾驶解决方案算法

2.2.7 地平线软件开放平台

2.2.8 地平线目前量产的成果及后期算法规划

2.2.9 合作动态

2.3 黑芝麻智能

2.3.1 黑芝麻智能公司简介

2.3.2 黑芝麻智能感知算法

2.3.3 黑芝麻智能最新算法成果

2.3.4 黑芝麻智能山海工具链

2.3.5 黑芝麻智能合作伙伴

2.3.6 黑芝麻智能近期合作

2.4 复睿微

2.5 Mobileye

2.5.1 Mobileye公司简介

2.5.2 Mobileye物体识别技术

2.5.3 Mobileye芯片算法发展进程

2.5.4 Mobileye视觉算法

2.5.5 目前发展及合作

2.6 高通Arriver

2.6.1 Arriver公司简介

2.6.2 Arriver视觉感知算法

2.7 恩智浦

2.8 英伟达

2.8.1 英伟达公司简介

2.8.2 英伟达合作模式

2.8.3 英伟达自动驾驶汽车软件栈

2.8.4 英伟达感知算法介绍

2.8.5 英伟达感知算法模型介绍

2.8.6 近期合作动态及合作伙伴

03

Tier1 & Tier2厂商算法研究

3.1 Momenta

3.1.1 Momenta公司简介

3.1.2 Momenta核心技术及产品

3.1.3 Momenta算法的应用

3.1.4 Momenta合作动态

3.2 纽劢科技

3.2.1 纽劢科技公司简介

3.2.2 纽劢科技视觉感知模块及产品落地进程

3.2.3 纽劢科技最新的视觉感知算法介绍

3.2.4 纽劢科技算法产品落地进程

3.2.5 纽劢科技合作动态及发展规划

3.3 虹软科技

3.3.1 公司简介

3.3.2 ADAS技术介绍 

3.3.3 BSD、AVM技术介绍 

3.3.4 虹软一站式车载视觉解决方案

3.3.5 近期动态及主要客户

3.4 觉非科技

3.4.1 觉非科技公司简介

3.4.2 视觉特征融合定位解决方案

3.4.3 觉非科技BEV感知技术发展历程

3.4.4 LiDAR融合定位解决方案

3.4.5 基于LiDAR的不同融合方案

3.4.6 觉非科技合作生态

3.5 中科创达

3.6 禾多科技

3.6.1 禾多科技公司简介

3.6.2 HoloPilot及其主要算法介绍

3.6.3 HoloParking及其主要算法介绍

3.6.4 禾多科技中间件

3.7 映驰科技

3.7.1 映驰科技公司简介

3.7.2 映驰科技自动驾驶软件

3.7.3 映驰科技近期合作

3.8 毫末智行

3.8.1 毫末智行公司简介

3.8.2 毫末智行产品矩阵

3.8.3 毫末智行目前的发展

3.8.4 MANA 系统

3.8.5 MANA 系统——视觉、激光雷达感知模块

3.8.5 MANA 系统——融合感知模块

3.8.5 MANA 系统——认知模块

3.8.6 感知能力的进化

3.8.7 认知能力的进化

3.8.8 毫末新技术实践之路

3.8.9 毫末智行近期算法成果

3.9 环宇智行

3.9.1 环宇智行公司简介

3.9.2 环宇智行自动驾驶软件

3.9.3 环宇智行Athena 5.0

3.9.4 环宇智行发展成果及规划 

3.10 法雷奥

3.10.1 法雷奥公司简介

3.10.2 典型算法模型介绍

3.11 StradVision

3.11.1 StradVision公司简介

3.11.2 StradVision视觉产品分类&产品客户&产品时间线

3.11.3 Stradvision自动驾驶算法

3.11.4 Stradvision视觉产品发展动态

04

新势力及主机厂研究院算法研究

4.1 特斯拉

4.1.1 特斯拉简介

4.1.2 特斯拉算法

4.1.3 特斯拉多相机融合算法

4.1.4 特斯拉环境感知算法

4.1.5 特斯拉最新规划与决策算法

4.2 蔚来

4.2.1 蔚来简介

4.2.2 蔚来自动驾驶系统演进

4.2.3 蔚来Pilot系统与NAD系统对比

4.3 理想

4.3.1 理想简介

4.3.2 理想智能驾驶路线

4.3.3 理想算法历程

4.3.4 理想AD Max智能驾驶算法架构

4.3.5 理想汽车智能驾驶方面的布局

4.3.6 理想汽车未来发展规划

4.4 小鹏

4.4.1 小鹏简介

4.4.2 小鹏汽车算法及自动驾驶能力演进路线

4.4.3 小鹏自动驾驶算法架构

4.4.4 小鹏汽车全新感知架构

4.4.5 小鹏的数据采集、标注和训练

4.5 飞凡

4.5.1 飞凡汽车简介

4.5.2 飞凡汽车RISING PILOT

4.5.3 飞凡Full Fusion全融合算法

4.5.4 飞凡R7 全融合算法：上车效果

4.6 零跑

4.6.1 零跑汽车简介

4.6.2 零跑汽车全域自研

4.6.3 零跑汽车的算法能力及未来规划

4.7 极氪

4.7.1 极氪汽车简介

4.7.2 极氪的Mobileye方案

4.7.3 极氪与Waymo的合作及算法自研的方案

4.8 宝马

4.8.1 宝马汽车简介

4.8.2 宝马汽车的算法

4.8.3 宝马汽车自动驾驶方面的合作

4.9 上汽

4.9.1 上汽集团自动驾驶布局

4.9.2 零束科技简介

4.9.3 零束科技计算平台

4.9.4 上汽人工智能实验室

4.10 通用汽车

4.10.1 通用汽车自动驾驶布局

4.10.2 Cruise简介

4.10.3 Cruise感知算法

4.10.4 Cruise决策算法

4.10.5 Cruise的自动驾驶开发工具链

4.10.6 Cruise的Robotaxi及未来规划

05

L4级自动驾驶Robtaxi算法研究

5.1 百度 Apollo

5.1.1 百度 Apollo简介

5.1.2 百度 Apollo无人驾驶技术架构历程

5.1.3 百度Apollo感知算法介绍

5.1.4 百度无人车定位技术

5.1.5 百度Apollo最新亮点技术

5.2 小马智行

5.2.1 小马智行简介

5.2.2 小马智行主要业务及商业模式

5.2.3 小马智行核心技术及最新自动驾驶系统配置

5.2.4 小马智行传感器融合方案

5.2.5 小马智行合作动态

5.3 文远知行

5.3.1 文远知行简介

5.3.2 文远知行WeRide One

5.3.3 WeRide One的算法模块

5.3.4 文远知行合作动态

5.4 元戎启行

5.4.1 元戎启行公司简介

5.4.2 元戎启行技术

5.4.3 元戎启行自研算法

5.4.4 元戎启行合作及最新动态

5.5 轻舟智航

5.5.1 轻舟智航简介

5.5.2 轻舟智航产品

5.5.3 轻舟智航超融合感知方案

5.5.4 轻舟智航预测算法

5.5.5 轻舟智航规划算法

5.5.6 轻舟智航经典算法模型介绍

5.5.7 轻舟智航近期合作

5.6 驭势科技

5.6.1 驭势科技公司简介

5.6.2 U-Drive智能驾驶系统

5.6.3 驭势科技视觉定位技术

5.6.4 驭势科技最新算法

5.6.5 驭势科技研发规划及合作伙伴

5.7 AutoX

5.7.1 AutoX公司简介

5.7.2 AutoX无人驾驶技术 

5.7.3 AutoX L4级别无人驾驶融合感知系统xFusion

5.8 滴滴自动驾驶

5.8.1 滴滴自动驾驶公司简介

5.8.2 滴滴自动驾驶技术

5.9 Waymo

5.9.1 Waymo公司简介

5.9.2 Waymo公司传感器矩阵

5.9.3 Waymo公司技术

5.9.4 Waymo行为预测算法

5.9.5 Waymo近期动态

06

自动驾驶算法发展趋势

6.1 算法趋势一

6.2 算法趋势二

6.3 算法趋势三

6.4 算法趋势四

6.5 算法趋势五

6.6 算法趋势六

6.7 算法趋势七

更多佐思报告

报告订购及合作咨询联系人:

张女士：13716037793（同微信）

佐研君：18600021096（同微信）

自主品牌主机厂自动驾驶	汽车视觉(国内)	高精度地图
合资品牌主机厂自动驾驶	汽车视觉(国外)	高精度定位
ADAS与自动驾驶Tier1-国内	环视市场研究(本土篇)	汽车网关
ADAS与自动驾驶Tier1-国外	环视市场研究(合资篇)	数据闭环研究
自动驾驶与座舱域控制器	红外夜视	汽车信息安全硬件
多域计算和区域控制器	自动驾驶仿真(国外)	汽车信息安全软件
乘用车底盘域控	自动驾驶仿真(国内)	OEM信息安全
域控制器排名分析	激光雷达-国内篇	无线通讯模组
E/E架构	激光雷达-国外篇	汽车5G融合
L4自动驾驶	毫米波雷达	800V高压平台
L2/L2+自动驾驶	车用超声波雷达	燃料电池
乘用车摄像头季报	Radar拆解	一体化电池
ADAS数据年报	激光和毫米波雷达排名	一体化压铸
合资品牌车联网	专用车自动驾驶	汽车操作系统
自主品牌车联网	矿山自动驾驶	线控底盘
自动驾驶重卡	无人接驳车	滑板底盘
商用车ADAS	无人配送车	电控悬架
商用车智能座舱	无人零售车研究	转向系统
商用车车联网	农机自动驾驶	线控制动研究
商用车智能底盘	港口自动驾驶	充换电基础设施
汽车智能座舱	模块化报告	汽车电机控制器
智能座舱Tier1	V2X和车路协同	混合动力报告
座舱多屏与联屏	路侧智能感知	汽车PCB研究
智能座舱设计	路侧边缘计算	IGBT及SiC研究
仪表和中控显示	汽车eCall系统	EV热管理系统
智能后视镜	汽车EDR研究	汽车功率电子
行车记录仪	智能汽车个性化	电驱动与动力域
汽车数字钥匙	汽车多模态交互	汽车线束
汽车UWB研究	车载语音	汽车音响
HUD行业研究	TSP厂商及产品	汽车座椅
人机交互	自动驾驶法规	汽车照明
车载DMS	自动驾驶标准和认证	汽车镁合金压铸
OTA研究	智能网联测试基地	电装新四化
汽车云服务研究	PBV及汽车机器人	造车新势力-蔚来
汽车功能安全	飞行汽车	造车新势力-小鹏
AUTOSAR研究	行泊一体研究	造车新势力-理想
软件定义汽车	智慧停车研究	自动驾驶芯片
软件供应商	汽车分时租赁	座舱SOC
乘用车T-Box	共享出行及自动驾驶	汽车VCU研究
商用车T-Box	车企数字化转型	汽车MCU研究
T-Box排名分析	智能表面	传感器芯片
小鹏G9功能拆解	车型供应商调研	车载存储芯片
理想L8/L9功能拆解	蔚来ET5/ET7智能化功能拆解	汽车CIS研究
大疆前视双目与图达通激光雷达拆解

「佐思研究月报」

 ADAS/智能汽车月报 | 汽车座舱电子月报 | 汽车视觉和汽车雷达月报 | 电池、电机、电控月报 | 车载信息系统月报 | 乘用车ACC数据月报 | 前视数据月报 | HUD月报 | AEB月报 | APA数据月报 | LKS数据月报 | 前雷达数据月报