“看”车，有TA就够了！车辆分析工具PP-Vehicle开源上新！

停车场闸机的车牌识别、道路两侧的违停检测、繁华路口的车流统计、茫茫车海中的车辆锁定……这些场景背后的技术原理大家是否在心中简单构思过？抑或想要抽时间自己攒一套出来可却又不知如何下手？

PP-Vehicle 来告诉你答案！

继行人分析工具 PP-Human 之后，飞桨目标检测端到端开发套件 PaddleDetection 正式开源车辆分析工具 PP-Vehicle！

PP-Vehicle 功能全景图

PP-Vehicle 是一款针对车辆分析相关场景的开源工具，产品主要围绕以下几个方面进行设计开发：

• 实用性：针对车辆分析场景共性的底层模型进行优选迭代；针对几个高频场景进行了详细的后处理策略设计，可以满足业务的快速上线需求。同时提供丰富的二次开发教程，方便用户根据自己的业务场景进行私有化开发；

• 泛化性：在公开数据集以及自采数据集上进行充分训练，并且提供预训练模型，覆盖车辆分析中监控视角、驾驶员视角、俯拍视角等常见相机视角；

• 低代码：实现1行代码快速部署，支持图片、视频、单路/多路 rtsp 视频流输入，修改配置文件即可快速实现策略修改以及 pipeline 的组合。

接下来让我们具体看一下 PP-Vehicle 的工作。源码链接如下：

https://github.com/PaddlePaddle/PaddleDetection

记得 Star 收藏，防止走丢又实时关注更新！

 整体方案 
PP-Vehicle 技术架构
PP-Vehicle 整体分为输入、核心算法、输出三部分：
■ 输入
支持离线图片、视频以及 rtsp 视频流等形式，可根据输入类型快速配置，如下图为输入配置为 rtsp 拉流的示例。
PP-Vehicle rtsp 拉流预测示例
■ 核心算法
主要由预训练模型以及逻辑策略组成。预训练模型主要有4个：车辆检测模型、车辆跟踪模型、车牌识别模型、车辆属性分析模型。各个模型性能见下表。
预训练模型
违停 pipeline 配置文件示例
■ 输出
包括车牌信息、车辆轨迹、车辆属性、违停信息等。同时支持这些信息的可视化渲染输出，如下图为直接配置可视化信息 rtsp 推流显示。
rtsp 推流展示示例
可视化效果
🔗详见链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED.md
 方案简析 
PP-Vehicle 针对一些高频车辆分析场景提供了详细的解决方案，在这里就主要思路进行讲解，更多方案细节欢迎大家关注文末课程，听一听开发同学的详解。
■ 车牌识别方案

• 通过目标检测来获取图片中的车辆检测框，模型方案为 PP-YOLOE-l。当输入为视频时，会基于车辆检测框，使用 OC-SORT 跟踪器来完成车辆的多目标跟踪；

• 通过车辆检测框的坐标截取对应位置图像；

• 使用车牌检测模型在每张车辆截图中识别车牌所在位置，同理截取车牌区域，模型方案为 PP-OCRv3 车牌检测模型；

• 使用字符识别模型识别车牌中的字符，模型方案为 PP-OCRv3 车牌识别模型。

• 此外还使用了一些优化策略提升速度以及准确率：

1. 使用跳帧策略，每10帧做一次车牌检测，避免每帧做车牌检测的算力消耗；

2. 车牌结果稳定策略，避免单帧结果的波动，利用同一个 id 的历史所有车牌识别结果进行投票，得到该 id 最大可能的正确结果；

3. 车辆检测模型联合 BDD-100k 和 UA-DETRAC 数据集训练，车牌检测方案采用 CCPD 数据集在车牌场景 finetune 提升检测精度。

🔗详见链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_plate.md
■ 车辆属性识别方案

• 车辆属性识别模型使用了 PaddleClas 超轻量图像分类方案（PULC，Practical Ultra Lightweight image Classification）。

• 在该模型的基础上，进一步使用了以下优化方案：

1. 使用 SSLD 预训练模型，在不改变推理速度的前提下，精度提升约0.5个百分点；

2. 融合 EDA 数据增强策略，精度提升0.52个百分点；

3. 使用 SKL-UGI 知识蒸馏，精度提升0.23个百分点。

🔗详见链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_attribute.md
■ 违停检测方案

• 通过目标检测来获取车辆检测框，模型方案为 PP-YOLOE；

• 基于跟踪算法获取每辆车的轨迹，模型方案为 OC-SORT。如果车辆中心在违停区域内且在指定时间内未发生移动，则视为违章停车；

• 使用车牌识别模型得到违章停车车牌并可视化。

🔗详见链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_illegal_parking.md
 二次开发 
此外，PP-Vehicle 支持二次开发，大家可以在自己的数据集上进行模型训练、策略改写等，定制化自己的专属 PP-Vehicle。如下图为车牌识别任务二次开发示例：
二次开发示例
🔗详见链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/docs/advanced_tutorials/customization/ppvehicle_plate.md
 部署优化 
特别的是，PP-Vehicle 针对边缘端部署场景进行了优化，如针对 Jetson 系列模型选择轻量级版本，同时开启跟踪跳帧功能进行优化，并提供了丰富的部署选项以达到性能-速度的平衡。
Jetson 配置参数
🔗详见链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED_en.md#Inference-Deployment
 直播预告 
10月20日20:30，百度资深工程师们将在直播间为大家讲解以上方案实现细节以及设计思路，大家如果有任何问题也可以在直播间进行互动交流！
我们不见不散！