重磅|欧卡智舶与图灵奖获得者Yoshua Bengio及团队发布无人船视角下内河漂浮垃圾数据集
欧卡智舶技术专题发布最近，欧卡智舶联合世界领先的AI专家和深度学习先驱、图灵奖得主Yoshua Bengio的Mila实验室、清华大学、西北工业大学的研究人员，发布城市水域漂浮垃圾检测数据集。公开由欧卡智舶无人驾驶清洁船在多天气条件、多城市水域中执行清洁工作时，船身传感器收集的多样本水面漂浮垃圾形成FloW数据集 —全球第一个无人船视角的水面漂浮垃圾检测数据集。通过发表FloW数据集，我们希望能引起人们对水域及内河漂浮垃圾污染问题的关注，同时吸引更多研究者参与到无人船与水面漂浮垃圾检测相关研究中来，为相关研究者提供一个平台和基准，推动水面漂浮垃圾检测技术快速发展。
01
视觉检测系统的技术背景
近年来，愈发严重的海洋塑料垃圾污染引发人们对这一问题的关注。海洋垃圾给海洋生物的生存带来较大威胁，造成的污染随着生态循环进而危害整个生态系统。有大量的海洋垃圾，来自于陆地，经过内陆河道，最终流入海洋。因此，清洁内陆水域，如运河、河流、湖泊和海湾环境中的漂浮垃圾，是减缓海洋垃圾增长、防治水污染问题的重要方法。
人工捞垃圾
SMURF收集垃圾
02
当前的技术问题？
然而，塑料瓶和易拉罐等漂浮垃圾的体积较小，当其与平台间的距离扩大时，大部分漂浮废物占据的图像面积会变得很小。对于基于深度神经网络的物体检测，与大目标相比，小目标通常缺乏足够的外观信息，无法提取其深度特征，检测难度会提升很多，难以将其与背景区分，也难以实现准确的定位。
除了“小”之外，复杂的内河场景环境，也给基于视觉的检测方法带来了挑战。例如，河岸上物体的反射，水面的波浪，以及其他无害的漂浮物等会干扰视觉检测系统，造成错检。同时，水面上的强烈反光造成的眩光，可能会遮蔽真实目标，造成漏检。因此，在实际应用中，基于视觉的漂浮垃圾检测仍面临着诸多问题。
水面倒影干扰
待检测目标较小
其他漂浮物干扰
水面反光干扰
基于单个视觉传感器的漂浮垃圾检测面临着环境带来的诸多挑战，而传感器融合则有利于提高自动驾驶系统的适应性。随着毫米波电路技术的发展和信号处理算法的提升，77GHz毫米波雷达逐渐被应用于自动驾驶感知系统的目标检测中。与相机相比，毫米波雷达对天气和光照条件更为鲁棒；此外，雷达数据还可以直接反映目标位置，且对RCS达到一定值的小目标，稍远距离的探测相对视觉也更为稳定。对于漂浮垃圾检测，毫米波雷达数据能为视觉检测提供很好的补充。
03
FloW数据集是什么？
开放的数据集有利于推动相关研究的发展，同时也为不同方法性能的评估提供基准。目标检测领域中的COCO和pascalVOC等数据集有效支持了基于视觉的目标检测方案的发展。为了吸引人们对内河漂浮垃圾清理的关注，同时支持水面小目标检测相关研究，我们采集并发布了FloW数据集 —— 全球第一个无人船视角的水面漂浮垃圾检测数据集。
FloW数据集和其他垃圾检测数据集的对比
FloW数据集由图像子数据集FloW-Img，和多模态子数据集FloW-Radar-Img(FloW-RI)组成。FloW-Img包含2000张图像和5271个标记目标，小目标（Area< 32*32）占其中的一半以上。除了标注的图像，在FloW-Img中，我们还提供了200个未标注的视频序列，以支持对水面漂浮垃圾追踪的相关研究。FloW-RI则包含4000帧的同步的图像和毫米波雷达数据，以支持基于融合的水面漂浮垃圾检测相关研究。数据集采集于不同的光照和波浪条件下，在不同方向和视角上对目标进行观测。
04
FLoW数据集采集及标注
我们在无人船上，搭载了HDR相机与毫米波雷达进行数据采集，以平衡照明，以获得更清晰的图像。HDR相机（AR0230）捕获图像分辨率为1280×720；毫米波雷达为TI 77GHz FMCW AWR1843雷达。在采集数据集的过程中，我们考虑到了场景、视角、光照条件等多样性。
FloW数据采集平台
对FloW-Img数据集，我们采集了10Hz图像数据，进而对其进行降采样，并删除模糊图像，得到最终的数据集。对FloW-RI数据集，我们同时采集了图像和毫米波雷达数据并进行了同步，在我们设计的雷达波形下，毫米波雷达数据距离分辨率为0.0349m，最大感知距离为14.5m，速度分辨率为0.03m/s，最大感知速度为4.10m/s，我们保存了毫米波雷达数据中的距离-多普勒矩阵（RDM）和对应的毫米波雷达点云。
对FloW-Img数据集，我们使用LabelImg工具进行标注。对FloW-RI数据集，由于RDM不像图像一样可以直接反映目标的分布，而是给出目标的距离和多普勒速度，RDM中难以进行数据的标注。在这种情况下，对于RDM的注释，我们采取了以下步骤。
FloW-RI雷达RDM标注：在第一张图像中，RDM图像上的红点标记了低CFAR阈值下的检测结果；第二张图像显示了投影在RGB图像上的解析出来的点云，并对真实目标点进行了标注（由绿色框框）；最后一张图像中的红点标记了最终的真实目标单元格。
首先，我们为RDM设置了一个相对较低的检测阈值，并使用到达角（DOA）估计来生成四维雷达点云；接着，利用相机和雷达之间的外参标定结果，我们将雷达点云投影到图像平面上；而后，我们将所有点云投影到图像上时，可以参照图像，对雷达点云进行标注；最后，我们找到标注的雷达点云对应的RDM中的单元格，该单元格则被视为RDM中真实目标单元格。
05
FloW数据集数据情况
FloW-Img包含2000张图像，其中有5271个标记目标。我们随机选择1200张图像作为训练集，其余的作为测试集。FloW-Img数据分布如下图所示。可以看出，训练和测试数据中不同大小目标的分布较为近似。其中，小目标（size<32×32）在我们的数据集中所占的比例最大。此外，FloW-Img数据集中还提供了200个没有标注的视频段。可用于支持基于视觉的漂浮垃圾追踪算法的研究。FloW-RI数据集包含了来自21个序列的4000帧同步的图像和雷达RDM数据以及相应的雷达点云，16段序列设置为训练集，5段序列设置为测试集。
FloW数据分布：每帧包含目标数以及目标占据的区域大小分布
06
基于FloW数据集的实验及结论
我们在FloW-Img数据集上测试了6种基于视觉的目标检测方法，每种方法在小目标（Area < 32*32）、中目标（32*32 < Area <96*96）、大目标（Area > 96*96）上检测的PR曲线，以及每种方法检测的FPS（GeForce GTX 1070 GPU）如下图和表格所示。我们发现，除了目标的尺寸较小外，水面漂浮垃圾检测还面临几个挑战。首先，水面上的强烈的光反射会遮蔽目标；此外，岸边物体的反射也会干扰检测系统。在我们的数据集上，在上述算法中，Cascade R-CNN在我们的数据集上的检测精度上表现最好，鲁棒性更强，然而，CascadeR-CNN检测帧率较低，可能无法满足水面目标检测的实时性要求。
FloW-Img数据集上各方法FPS
对于FloW-RI，我们分别基于图像、雷达数据，以及基于图像和雷达的融合进行了实验。我们使用的方法、对应的数据类型、以及检测结果如下方表格所示。
07
总结
FloW是全球第一个真实内河场景下、无人船视角的漂浮垃圾检测数据集。FloW-Img子数据集中，超过一半的目标都是小目标（Area<32*32），可以支持针对水面小目标检测的研究；而我们的FloW-RI子数据集则提供了视觉-毫米波雷达融合的目标检测基准数据，有助于基于视觉-毫米波雷达的水面目标检测方案的研究。通过发表FloW数据集，欧卡智舶希望进一步加快水面垃圾识别技术的发展，推动无人船行业快速发展，通过无人驾驶，让水域更美好！
论文原文
FloW: A Dataset and Benchmark for Floating Waste Detection in Inland Waters.
论文原文链接
https://openaccess.thecvf.com/content/ICCV2021/html/Cheng_FloW_A_Dataset_and_Benchmark_for_Floating_Waste_Detection_in_ICCV_2021_paper.html
数据下载链接
http://www.orca-tech.cn/datasets/FloW/Introduction