【最新成果】基于特征转移金字塔网络的SAR图像跨尺度目标检测

点击蓝色“雷达学报”关注

前言

电子科技大学杨建宇教授团队提出了一种基于特征转移金字塔网络的SAR图像跨尺度目标检测方法，在实现SAR图像多尺度目标检测的基础上，该文在特征提取阶段构建了特征转移层，并同时加入空洞卷积群，可以实现对SAR图像中尺寸相差较大的目标的同时检测，在陆地侦察、情报获取和海洋管理等方面具有重要意义。

背景介绍

传统的CFAR目标检测算法对简单场景进行目标检测效果还不错，并且也可以较好地进行多尺度目标检测，但是对于多类别复杂的大场景SAR图像而言，多尺度目标检测性能有所下降。针对尺寸很大和尺寸很小的目标，也存在小目标漏检或者大目标漏检以及虚警的问题。现今流行的基于深度学习的目标检测算法对多尺度目标检测效果也很好，依然存在多类别复杂的大场景SAR图像检测性能下降，特别是尺寸很大和尺寸很小的目标检测性能较差的问题。因此现阶段的目标检测算法还不能较好地同时检测到不同类别的尺寸相差很大的目标，比如大尺度机场目标和小尺度舰船目标。在同一幅SAR图像中，目标尺寸大小或者是目标所占像素大小相差较大的不同目标，称为跨尺度目标，其中，跨尺度是指不同目标的尺度比例相差较大而呈现出大尺度和小尺度。如图1(a)表示跨尺度机场目标和舰船目标，图1(b)表示跨尺度舰船目标。最近一些学者提出了一种基于特征金字塔网络的多尺度特征表示方法，并且在多尺度目标检测方面取得了较好的性能，但是此类衍生的方法绝大多数是针对相近尺度和尺度相差不大的多尺度目标，针对SAR图像中不同类别的密集排列以及尺度相差巨大的目标同时检测仍有待探索。

（a） 跨尺度机场目标和舰船目标                        （b）跨尺度舰船目标       

图1 跨尺度目标

团队工作

电子科技大学杨建宇教授团队提出了一种基于特征转移金字塔网络的SAR图像跨尺度目标检测方法。首先，利用残差网络对SAR图像进行特征提取，经过多个池化层输出不同尺度的特征图，并且将每一层的特征图都转移到后面每一层的特征层上，避免了随着网络深度的加深而目标特征减少的问题，在下采样的最后阶段网络层中加入空洞卷积群，让大尺度目标的特征被提取，然后将特征转移后的不同层的特征图送入特征金字塔网络进行特征融合，能够尽可能地保留密集排列以及尺度相差巨大的目标特征，最后将融合后的特征送入区域候选网络（Region Proposal Network, RPN）进行预测候选框输出。试验结果表明，所提出的方法可以将复杂SAR图像中密集排列的目标和跨尺度目标检测出来，并且具有优异的检测性能。特征转移金字塔网络框架如图2所示。

图2 特征转移金字塔网络框架

该工作已发表在《雷达学报》网络优先出版的“基于特征转移金字塔网络的SAR图像跨尺度目标检测”（周正，崔宗勇，曹宗杰，杨建宇）。

论文介绍

（一）特征转移层及对检测结果的影响

该文首先设计了整个网络的特征转移层，如图3所示。该网络结构将每一个阶段的所有特征转移到后面每一个阶段的特征图上，充分把SAR图像上的小目标特征保留，使得每一个阶段的特征图都存在小目标特征。

图3 特征转移网络结构

除此之外，每一个阶段互相连接，不仅提高了低层网络和高层网络之间最大程度信息传递的能力，还减少了梯度消失的问题，尽可能地保留了SAR图像中各种大小尺度不一的目标特征信息，能够将小尺度目标和大尺度目标的特征提取，特别是能够很好的将较小目标或者极小目标的特征提取。促使后续特征融合效果更好，也为了能够检测到更多的不同类型不同尺度的目标。特征转移层对检测结果的影响如图4所示。

      （a） 真值                （b）没有采用特征转移层        （c）采用特征转移层  

图4 特征转移层对检测结果的影响

（二）空洞卷积群及对检测结果的影响

由于SAR图像中存在着跨尺度目标，大尺度目标的尺寸巨大，在卷积网络中进行特征提取时，出现了特征提取消失的问题。特征转移层能保留SAR图像中不同尺度的目标特征，特别是在保留了更多小目标特征的条件下，为了提取到SAR图像中较大尺度和更大尺度的目标特征，我们在标准的卷积中注入空洞，来增加感受野，在特征转移层中引入空洞卷积，通过调节扩张率来控制数据间距，在不降低特征分辨率的情况下，增大特征提取感受野，获得更高层的语义信息，设置的扩张率越大，其对应的卷积核大小越大，特征提取感受野越大。空洞卷积群如图5所示。

图 5 空洞卷积群

初始卷积核大小为3×3，以设置不同的扩张率如{1，6，12，18，24}来实现不同的并列的空洞卷积群。当扩张率为1时，感受野大小不变，重点就是为了保留小目标的特征；当扩张率为24时，能够将较大或者巨大尺度目标的特征进行提取。由图5可知随着扩张率的逐渐增大，感受野大小也在逐渐增大。空洞卷积群的提出，更好的解决了大尺度目标难以被检测的问题。空洞卷积群对检测结果影响如下图6所示。

  （a）没有采用空洞卷积群

（b）采用空洞卷积群

图 6 空洞卷积群对检测结果的影响

（三）特征转移金字塔网络的检测性能

该论文提出的方法和现阶段先进的目标检测算法在基于SSDD数据集和高分三号机场数据集下进行试验对比，在网络检测结果对比试验中添加了基于深度学习目标检测网络，比如基于单阶段的目标检测网YOLOv4、YOLOv5，基于双阶段的目标检测网络改进的Faster R-CNN、PANet、DAPN，以及基于anchor free的目标检测网络SGE-centernet。为了验证该方法是否具有同时检测出尺寸差异较大的目标的检测性能，该团队在数据集中挑选了具有尺度差距较大的SAR图像，由于YOLOv4中包含PANet网络结构且与YOLOv5检测性能几乎一样，所以挑选出YOLOv4、DAPN、SGE-centernet与该文方法进行试验验证对比。试验验证对比结果如图7所示。

（a）YOLOv4的检测结果（b）DAPN的检测结果（c）SGE-centernet的检测结果（d）该文方法的检测结果

图 7 与其他方法的比较

除此之外，该文方法还对大场景SAR图像进行目标检测，基于SSDD数据集、高分辨率SAR舰船检测数据集-2.0和高分三号机场数据集，在相同的试验设置条件下进行测试，测试结果如图8所示。

（a）跨尺度机场目标和舰船目标检测结果             （b）跨尺度舰船目标检测结果                

图 8 大场景SAR图像跨尺度目标检测结果

该文从SAR图像中不仅仅存在尺度比例相近的目标，还存在着尺度比例相差巨大的跨尺度目标出发，针对SAR图像中跨尺度目标很难被检测的问题，提出了一种基于特征转移金字塔网络的SAR图像跨尺度目标检测方法，该方法将整个网络的特征提取阶段进行特征转移，实现高层的特征图输出都存在大小尺度的目标特征，同时在高层网络中加入空洞卷积群，不仅保证了小目标特征不会消失，还能提取到大目标的特征。试验结果表明，该方法能够将SAR图像中跨尺度目标检测出来。除此之外，在同一数据集下，分别做了特征转移和空洞卷积群对检测结果影响的验证，并与其他先进的目标检测算法进行跨尺度目标检测试验验证，试验结果表明该方法的检测性能更优且能检测到跨尺度目标。

作者介绍

周正，男，四川眉山人，电子科技大学信息与通信工程学院博士在读研究生，主要研究方向为SAR目标检测识别等。

崔宗勇，男，山东菏泽人，电子科技大学信息与通信工程学院副教授，主要研究方向为SAR图像处理，目标识别，深度学习等。

曹宗杰，男，山西太谷人，电子科技大学信息与通信工程学院教授，主要研究方向为SAR目标检测识别，图像处理，人工智能等。

杨建宇，男，电子科技大学教授，博士生导师，主要研究方向为雷达前视成像、实孔径超分辨成像、双多基合成孔径雷达成像。获国家出版基金资助出版专著1部。获省部级奖6项、国家技术发明二等奖2项。

网站论文全文请点击“阅读原文”。

↓↓↓

相关阅读

编辑：吕书懿

审核：于青 贾守新

声明

欢迎转发本号原创内容，转载和摘编需经本号授权并标注原作者和信息来源为《雷达学报》。

本号发布信息旨在传播交流，其内容由作者负责，不代表本号观点。如涉及文字、图片、版权等问题，请在20日内与本号联系，我们将第一时间处理。《雷达学报》拥有最终解释权。