技术专栏｜水面小目标识别技术

☟

本篇为欧卡智舶水面无人驾驶技术专题推送

第六期——水面小目标识别技术

后续将会分享自主返航、多船协同清扫等多个无人船关键技术

内容将陆续上线，敬请保持关注!

近年来，随着无人驾驶技术和机器人技术的发展，无人船逐渐发展并应用于水面垃圾清理工作中。与路面的自动驾驶汽车一样，无人船需要对周围水面环境进行精准的感知，以保证无人船作业效率和作业安全。例如在真实作业环境中，除了常见的树叶浮萍等需要收集的垃圾外，也有塑料瓶塑料袋等体积较小的白色垃圾。同样的，真实场景也往往存在着景观喷泉口等难以识别的小型障碍物。对于无人船而言，水面小目标的自主识别是十分重要的，识别远处较小的水面漂浮垃圾和障碍可以让无人船更加智能化地进行自主清扫工作，提高清扫效率。但无人船对水面小目标自主识别上仍有一些技术难点，本文将重点介绍无人船对水面小目标自主识别方法。

水环境污染

无人船清理水面垃圾

01

水面小目标识别的技术难点

传统的水面小目标自主识别方法是基于无人船搭载的摄像头进行视觉识别方案，在水面场景下将摄像头数据放入到神经网络模型中进行模型检测，但这种视觉识别方案包含以下问题：

首先是在大多数水面场景下都包含着复杂的倒影，倒影将水面的目标包裹，使得模型在识别水面目标时容易受到干扰，甚至可能将岸上的物体识别为垃圾，干扰无人船的水面清扫工作。其次，摄像头容易受到光线影响，当无人船正对阳光直射时，水面的反光使得图像上出现光斑，当水面目标与光斑重合时，视觉神经网络模型很难检测到水面的目标。并且视觉神经网络模型容易受到光线变化影响，当光线场景较暗(傍晚)时，视觉神经网络模型识别检测水面目标的精度会大幅度下降。

水面环境倒影

水面强光干扰

另外，无人船搭载的摄像头为了保证相机视场角宽广往往采用短焦摄像头，虽然识别视角广，但远处的水面小目标在图像中仅占很小一部分，对于视觉神经网络模型而言，小目标的识别精度往往不高，使得无人船往往只能识别到占图像像素大的近距离目标。远处的水面小目标毫米波雷达具有波长短、频带宽(频率范围大)，穿透能力强的特点，目前广泛应用于自动驾驶汽车辅助驾驶系统上，使用毫米波雷达能够有效检测到相对于视觉方法的超远距离的目标。但单独依靠毫米波雷达监测检测水面小目标也面临一些问题，如毫米波雷达会将水面上的部分波浪也检测成雷达点云，并且由于大多数水面小目标的反射能力弱，毫米波雷达经常会出现漏检。

02

欧卡智舶的解决方案

在无人船自主识别水面小目标的问题上，欧卡智舶研究团队引入了一种基于毫米波雷达点云和视觉图像融合的目标检测解决方案，利用从毫米波雷达点云和视觉图像中提取传感器特征再融合特征进行检测，实现跨传感器的融合交互和监督学习。

基于毫米波雷达点云和视觉图像融合的目标检测解决方案（1）多传感器融合标定首先，为了消除雷达与相机两种模态的数据差异方便神经网络能更有效地学习模态信息，传感器的空间同步是不可或缺的一步。这类技术在空间维度将相机的像素坐标系与雷达的空间坐标系关联，把相同目标匹配在一起。在后续的感知任务中，使不同传感器的优缺点进行互补。对于毫米波雷达和相机而言，我们需要将三维的毫米波雷达点云投影到二维的图像平面上来形成二者之间点与点的精确对应关系，这个过程被称为空间投影。传统的空间投影中，通过标定相机内参（相机焦距，相机焦点位置），相机与毫米波雷达的外参（坐标系投影矩阵），将空间点云投影至摄像头像素平面中。但是由于毫米波雷达高度方向分辨率较低，测量目标高度不准，使得将物体的毫米波雷达点云投影到视觉图像上存在较大误差。下图为利用传统方法完成毫米波雷达到相机传感器的空间投影结果，可以看出，图中绿色点为塑料瓶的毫米波雷达投影点云与图像中的塑料瓶位置相差较大。传统方法投影结果  针对毫米波雷达点云与相机的空间投影问题，欧卡智舶研究团队提出了一种基于惯性测量单元(IMU)和雷达点云位置补偿的空间投影方法，能够将水面目标的毫米波雷达点云精准地投影到图像目标上，实现多传感器的空间同步。下图右侧为基于IMU位置补偿的空间投影结果，可以看出绿色的毫米波雷达点云准确地投影到图像中对应的塑料瓶中。基于IMU位置补偿的空间投影方法（2）多传感器融合检测模型-RISFNET基于多传感器的融合感知方案已广泛地运用在路面的L4级自动驾驶汽车中，主流的多传感器融合方法包含浅层融合和深层融合。在浅层融合中，一类是前融合，将传感器数据进行空间同步后直接融合起来放入到神经网络中进行目标检测；另一类是后融合，将不同传感器的数据各自进行检测后，根据应用需求对多传感器的检测结果进行决策级的融合处理。而目前在自动驾驶感知技术中更多使用的是基于深层融合的融合检测方案，将传感器的数据进行特征提取后进行特征级的融合，能够让神经网络最大程度地挖掘多传感器的数据信息，实现跨模态的信息流检测。并且深层融合也能与浅层融合配合使用，形成混合式融合方法。在毫米波雷达和视觉图像深层融合检测模型的设计上，欧卡智舶研究团队提出了一种基于时序和注意力机制特征级多模态融合目标检测模型(RISFNET)，将连续时间的雷达点云投影密度图和视觉图像输入到单独的特征提取模型中。在特征融合阶段，位置编码模块和局部注意力模块为雷达点云提供时序上的空间补偿信息，全局注意力模块提升了点云与图像在不同场景下的融合能力，即当单个传感器数据质量下降时模型能够自主调节融合情况，提高了模型的鲁棒能力。最后通过金字塔特征融合网络输出目标检测结果。

多模态融合目标检测模型RISFNET框架

03

解决方案的效果如何？

接下来将介绍该融合检测方法在真实水面场景下对水面小目标的检测性能。以漂浮的塑料瓶作为测试集的检测目标，漂浮的塑料瓶体积小并且反射电磁波能力弱，并且垃圾场景广泛，适合作为检测对象来衡量模型的检测精度。欧卡智舶研究团队收集了大量水面小目标真实场景数据，在相同的真实场景数据中对RISFNET方法，视觉方法和其他多模态融合方法进行测试。
相较于单模态的视觉检测和雷达检测方法，多模态的检测结果有着更好的表现。选用平均精度均值(mAP@IoU=0.35)作为精度评估指标，欧卡智舶研究团队的RISFNET模型取得了90.05%的良好表现，相对于单模态视觉检测精度有显著的提升。并且相较于其他研究提出的多模态融合检测方法，欧卡智舶研究团队的RISFNET也有着更好的表现。
另外，当单个传感器数据质量下降时，融合模型的检测性能往往也会下降。为了验证RISFNET融合模型在面对毫米波雷达数据质量下降的场景(如面对风浪较大的场景)和视觉图像数据下降的场景(光线过亮或光线过暗)的性能，也进行了实验测试，测试结果如下图所示，可以看出融合模型在面临单个传感器数据质量下降时，相较于单模态视觉方法而言仍有更高的检测精度，并且当一个传感器完全失效时，融合模型性能与单模态模型性能持平。通过该实验充分证明了RISFNET的模型鲁棒性，实现多传感器融合的”1+1>=1”。下图是RISFNET模型在面对单个传感器性能下降时的模型表现。

模型表现(毫米波雷达数据质量下降)

模型表现(视觉图像数据质量下降)

弱光下水面小目标检测结果(左侧为RISFNET方法，右侧为YOLOv4方法)，可以看出光线较弱下视觉检测方案已经出现较高漏检率。

弱光条件下检测结果对比

对比欧卡智舶研究团队的多模态检测模型RISFNET和工业界主流的视觉检测模型YOLOv4视频结果：

04

总结

本文对于无人船对水面小目标的自主识别技术方向进行了简单的梳理，融合视觉图像和毫米波雷达点云信息，可以帮助无人船更好地检测水面小目标。欧卡智舶研究团队的基于多传感器融合水面小目标检测模型RISFNET已经发表于国际计算机视觉和人工智能会议ICCV2021上，推动无人船自主识别技术的进一步发展，通过水面无人驾驶，让水域更美好!

RISFNET模型相关论文已发表至国际计算机视觉和人工智能会议ICCV2021

论文地址

https://openaccess.thecvf.com/content/ICCV2021/papers/Cheng_Robust_Small_Object_Detection_on_the_Water_Surface_Through_Fusion_ICCV_2021_paper.pdf