开发者说｜利用现实世界进行更真实的LiDAR仿真

下面是由社区开发者—王方浩提供的文章，本文主要分析 利用现实世界进行更真实的LiDAR仿真。主要介绍通过真实世界进行三维重建，然后生成真实的激光雷达点云，并且在KITTI数据集上进行了对比。

    ENJOY THE FOLLOWING  

目前主要有3种不同形式的仿真：

• 真实场景下的路测和结构化测试
• 基于真实数据回放的测试
• 基于仿真器模拟的测试

上述三种测试都有各自的优点和局限性，真实场景下的路测和结构化测试，可以对无人车在真实环境中进行端到端的测试，但是成本高昂，并且针对一些安全性相关的场景也不便进行测试，例如一只鸭子从马路中穿行，人从卡车上意外掉落。

基于真实数据回放的测试，先通过收集路测过程中的各种数据，再进行测试，它可以保证测试数据足够真实，但是可交互性极差，例如，当自动驾驶车的行为改变后（由直行变为左转）周围的车辆并不会随着改变。

基于仿真器模拟的测试，可以自由地构建测试场景，特别是一些现实生活中较少遇到的场景，而且测试成本比真实路测的成本低，时间花费更少。但是目前仿真器的测试都是基于汽车动力学模拟或游戏引擎的方式来实现，对真实世界的数据模拟并没有那么真实，还存在一些差异，因此目前的仿真测试为了保证测试结果的一致性，大部分情况下只会测试单独的自动驾驶模块。

所以只要能解决仿真器测试的缺点，能够对真实世界模拟的更加真实，那么我们就可以在仿真器中进行端到端的测试。

由于激光雷达传感器的数据在自动驾驶中非常关键，因此如何真实的在仿真器中模拟激光雷达显得非常关键。

虚拟环境，是指机器人和自动驾驶汽车运行的环境，一般都是通过事先进行3D建模的方式来构建虚拟环境，如果要构建真实的城市环境，可以通过三维扫描和重建的方式来实现。

虚拟标签迁移，在仿真器中获取标签的成本几乎为0，吸引光流和语义分割等需要大量标注的任务。研究者也在探索如何将仿真器中学习到的标签迁移到真实世界，同时利用仿真器的数据进行预训练也有助于提高训练速度。

点云生成，通过3D模型生成激光雷达点云，然后利用VAE和GAN对生成的点云增加噪音和重构。

真实世界传感器模拟，传感器模拟包括深度图和RGB图的模拟，还有Lidar点云的模拟，本文中的方法主要有以下几个优势：

• 利用的传感器成本很低

• 利用真实数据生成模型，比CAD模型更加真实

• 相比真实数据中生成数据然后加入噪音，我们的方法更加真实

下面开始介绍本文中的方法。

真实世界的重建包括2部分，静态场景和动态物体。静态场景的重建采用Graph-SLAM来实现，而动态物体的重建采用了采样加重构的方式。

上述动态物体的重建过程文中描述不是非常详细，例如如何通过稀疏的点云生成真实的三维模型？下面那些更加细节的模型是如何生成的？

基于真实世界的不同车辆模型

本文中的方法和另外一篇论文Augmented LiDAR Simulator for Autonomous Driving的主要区别就是生成模型的方式，本文方法中模型更具多样性，生成了大概25000个真实世界的模型。

下面把生成好的动态物体放入到静态场景中，然后通过物理引擎获取出激光雷达点云，因为当前生成的点云不够真实，接下来会对点云进行过滤，本文称这个方法为"Raydrop"，网络架构是一个标准的8层U-Net。比如真实环境中汽车的玻璃并没有反射Lidar点云，而游戏引擎中会进行反射，下图是Raydrop的点云对比。

3种点云的对比图

最后论文中对仿真器Carla、本文的LidarSIm，以及真实数据集KITTI进行了对比，得出的结论就是LidarSim模拟的数据和真实数据非常接近，并且可以用来作为训练数据。

本文还对一些特殊的场景进行了一些说明，因为仿真的目的主要是仿真更少出现的场景，仿真大量普通的场景对自动驾驶的提升并没有多大意义。

稀有物体测试

文中在静态场景中放入之前在道路中不可能出现的动物和物体，然后通过LidarSim生成点云，发现和真实数据中训练的模型在没有出现场景中的结果非常接近，并且还可以指出是哪些地方导致了问题，比如下图就把犀牛识别为汽车了。

安全关键测试

然后通过LidarSim中构建测试场景，测试了NMP（增强型神经运动计划器）在不同的城市和场景中可以达到90%的成功率。

本文主要思路有两点，一是生成的动态物体模型更加丰富和接近真实场景，二是采用一个过滤网络对生成的激光雷达点云进行过滤，从而更加接近真实数据。

*利用现实世界进行逼真的LiDAR仿真

https://mp.weixin.qq.com/s/9drGSnn5jtkodp6YBi5YhQ

以上是"利用现实世界进行更真实的LiDAR仿真"的全部内容，更多话题讨论、技术交流可以扫描下方二维码添加『Apollo小哥哥』为好友，进开发者交流群。

©️著作权归作者所有，如需转载，请注明出处，否则将追究法律责任。