【最新成果】多尺度特征融合与特征通道关系校准的SAR图像船舶检测

Original 周雪珂，刘畅雷达学报 2022-07-02

点击蓝色“雷达学报”关注

中国科学院空天信息创新研究院刘畅研究员等基于Faster R-CNN算法进行优化，将其用于SAR图像船舶检测中。首先，在卷积神经网络部分引入通道注意力模型进行通道间特征的关系校准。其次，结合基于神经架构搜索算法的特征金字塔模块，以提升检测性能。另外，在边界框回归时使用双线性差值填充浮点数位置像素解决位置边框偏移问题，在目标检测时利用非极大值软抑制算法以改善非极大值抑制的性能，提高复杂背景下停靠在一起的密集船舶检测精度。

图1 中国科学院空天信息创新研究院刘畅研究员科研团队

研究背景

合成孔径雷达（Synthetic Aperture Radar, SAR）作为一种主动式微波成像传感器（如图2），利用脉冲压缩技术改善距离分辨率，利用合成孔径原理改善方位分辨率，具有全天时、全天候进行高分辨率雷达成像观测能力。随着SAR 成像技术的日益成熟，对SAR图像中船舶目标检测的实时性和准确性也有了更高的要求。传统的SAR船舶检测方法一般采用多个步骤，从图像预处理，海陆分割，再到候选区域提取，最后进行目标检测和鉴别。然而这种方法往往针对不同的场景问题就需要设计具体的解决方案，具有泛化性差、检测精度低等问题。

图2 星载SAR系统

近些年，深度学习技术以其强大的特征表达能力和自主的学习能力在各个领域都得到了广泛的应用。基于深度学习的目标检测方法具有很多的优点。深度学习算法充分体现了端到端的检测思想，整个过程几乎不需要人为干预和人为假设。因其泛化性好，基于深度学习的目标检测算法针对光学图像、SAR图像，或者针对飞机、车辆、船舶等不同目标只通过变更样本重新训练即可，不需要修改网络结构和构建新特征。而且其适应性强，深度学习技术在进行船舶检测时不用区分远海近岸目标，网络可以自主学习目标的深度特征。但是针对复杂场景下的SAR图像船舶检测，提升检测精度和检测速度，降低模型训练代价，仍是目前大多数算法亟需解决的问题。

团队工作

在解决复杂背景下的SAR图像船舶目标检测任务时，Faster R-CNN模型存在检测精度较低且算法复杂度高、训练代价大的问题，导致其模型应用能力受限。针对此问题，中国科学院空天信息创新研究院刘畅研究员等尝试使用多尺度特征融合与特征通道关系校准的方法对原始的Faster R-CNN模型进行改进。该文基于Faster R-CNN在卷积神经网络中加入通道注意力模块，对不同通道间的特征关系进行校准，提升网络的特征提取能力，基于神经架构搜索算法，改进特征金字塔结构，使网络可以自动跨不同特征层进行特征融合，其网络结构如图3所示。对比原始的Faster R-CNN，检测精度从85.4%提高到89.4%，检测速率也从2.8 FPS提高到10.7 FPS。有效了实现高速与高精度的SAR图像船舶检测，具有重要的应用价值。

图3 算法网络结构

该工作已发表在《雷达学报》网络优先出版的论文“多尺度特征融合与特征通道关系校准的SAR图像船舶检测”（周雪珂，刘畅，周滨）

论文介绍

该文使用特征通道关系校准模块（如图4）与多尺度特征融合模块（如图5）对Faster R-CNN模型进行优化。在特征通道关系校准模块中，该文基于Resnet网络在残差结构中结合通道注意力机制，提出SE_Resnet模型，作为Faster R-CNN的特征提取网络，对有效特征信息进行增强，对无关特征信息进行抑制。在多尺度特征融合模块，该文基于神经架构搜索算法，优化特征金字塔结构，使用强化学习的思想获取最优的特征组合结构，实现多尺度特征的充分融合。

图4 通道注意力模块结构

图5 NAS-FPN模块结构

从图6可以看出，在该文算法中经过NAS-FPN模型，最终送入RPN中的特征图在保留原始信息的基础上，已经充分融合了各个尺度的特征信息，实现了对目标的精确定位。

图6 NAS-FPN热力图结果

为验证文章所提出的算法相较现有算法的优势所在，对比SSD、CascadeR-CNN、PANet在SSDD与HRSID数据集上的P-R曲线图。从图7可以看出，该文算法明显具有更好的检测精度。

图7 不同算法的P-R曲线对比

另外，除在检测精度方面的优势，图8、图9、图10分别从SSDD中选择了3种不同场景下的SAR船舶图像进行对比，包括小目标船舶、近岸船舶和密集停靠船舶，充分说明该文算法对各种复杂场景下船舶目标的检测适应能力更强。

图8 小目标船舶图像的检测算法对比

图9 近岸船舶图像的检测算法对比

图10 密集停靠的船舶图像检测算法对比

作者简介

周雪珂，女，陕西西安人，中国科学院大学硕士研究生，研究方向为SAR图像处理、机器学习。