论文推荐 | 姚群力：基于多尺度融合特征卷积神经网络的遥感图像飞机目标检测

《测绘学报》

构建与学术的桥梁        拉近与权威的距离

基于多尺度融合特征卷积神经网络的遥感图像飞机目标检测

姚群力^1,2, 胡显^1,2, 雷宏¹     

1. 中国科学院电子学研究所航天微波遥感系统部, 北京 100190; 
2. 中国科学院大学电子电气与通信工程学院, 北京 100049

收稿日期：2018-08-26；修回日期：2019-05-05

基金项目：国家自然科学基金青年基金（61422113；61601437）；国家重点研发计划（2017YFB0502700）

第一作者简介：姚群力(1993-), 男, 硕士, 研究方向为机器学习。E-mail:[e-mail]

摘要：飞机检测在遥感图像解译中具有重要的研究意义。针对现有目标检测算法对于复杂场景区域或飞机密集区域的小尺度飞机目标检测精度较低的问题，本文提出了一种端到端的多尺度特征融合飞机目标检测框架MultDet。该方法基于SSD多尺度检测框架，采用轻量级基础网络提取多尺度特征信息；然后设计反卷积特征融合模块，通过跳跃连接将高层语义特征与低层细节特征进行特征融合，得到结构层次丰富的多尺度融合特征；最后设计了一系列不同纵横比的候选框以适应多尺度飞机目标检测。本文在光学遥感图像数据集UCAS-AOD上进行数据分析试验，结果表明，MultDet512在飞机数据集上取得了94.8%的平均检测精度（average precision，AP），在Titan Xp GPU上达到0.050 0 s/img的检测速度。本文所提飞机目标检测算法在包含多种复杂场景的遥感图像中，能够实现多尺度飞机目标的高精度稳健检测。

关键词：遥感图像    飞机检测    特征融合    多尺度特征    

Aircraft detection in remote sensing imagery with multi-scale feature fusion convolutional neural networks

YAO Qunli^1,2, HU Xian^1,2, Lei Hong¹     

1. Department of Space Microwave Remote Sensing Systems, Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China;
2. School of Electronics, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049, China

Foundation support: The National Natural Science Foundation of China (Nos. 61422113; 61601437); The National Key Research and Development Program of China (No. 2017YFB0502700)

First author: YAO Qunli(1993—), male, master, majors in machine learning. E-mail:[e-mail].

Abstract: Aircraft detection in remote sensing images (RSIs) is a meaningful task. There are many problems in current detection methods, such as low accuracy in complex background and dense aircraft area, especially for small-scale aircraft. To solve these problems, an end-to-end aircraft detection method named MultDet is proposed in this paper. Based on single shot multibox detector (SSD), a lightweight baseline Network is used to extract multi-scale features for its powerful ability in feature extraction. To obtain the feature maps with enriched representation power, then the multi-scale deconvolution feature fusion block is designed. We add the high-level features with rich semantic information to the low-level features via deconvolution fusion block. In order to locate aircraft of various scales more accurately, a series of aspect ratios of default boxes are set to better match aircraft shapes and combine predictions deduced from feature maps of different layers. The quantitative comparison analysis are carried out on the challenging UCAS-AOD data set. The experimental results demonstrate that the proposed method is accurate and robust for multi-scale aircraft detection, and achieves 94.8% AP(average precision) at the speed of 0.050 0 s/img with the input size 512×512 using a single Nvidia Titan Xp GPU.

Key words: remote sensing images    aircraft detection    feature fusion    multi-scale features    

飞机目标自动检测技术是遥感图像智能解译领域的重要研究方向之一，飞机作为一类重要的军事和民用地物目标，在目标判读、交通安全和应急救援等方面具有重要的应用价值。目前，飞机目标检测算法通常可以划分为传统的多阶段检测算法和基于卷积神经网络的端到端检测算法两类。传统多阶段飞机检测算法^[1-8]首先通过滑窗获得目标候选区域，然后提取特征训练分类器，最后通过分类器对候选框中的目标进行判决。事实上，多阶段飞机检测算法实现流程复杂，并且候选框的提取存在较大冗余性，在目标检测的精度和效率方面，均难以满足大范围自动化检测的需求。

近年来，基于端到端的目标检测研究取得了快速进展，研究人员提出了大量兼顾检测精度与速度的深度卷积神经网络(deep convolutional neural networks, DNNs)目标检测框架^{[9-13], 注1, 注2}。为提高遥感目标检测精度，文献[14]提出了R-P-Faster R-CNN，该方法将RPN添加到Faster R-CNN体系结构中，从而获得了比其他基于DNNs模型更高的检测精度。文献[15]基于难样本挖掘和权重平衡策略构造了HEM-CNN框架，提高了复杂环境下的飞机目标检测精度。文献[16]提出一种多尺度共享基础网络来增强多尺度目标的检测性能。然而，由于预测特征的感受野尺度相对固定，该类方法制约了小尺度目标的检测性能。文献[17]提出了一种基于多尺度形变特征卷积网络的目标检测方法，利用可形变卷积网络对具有尺度和方向变化的遥感图像目标进行特征提取。文献[18]则在SSD网络的基础上提出了一种输入图像尺度可变的方法，该方法对输入图像进行分块，提高了飞机检测精度。然而，由于来自低层的卷积特征的语义信息较弱，该方法对多尺度目标的检测能力仍待提高。FPN^[13]和TDM^注3则利用top-down结构^[19]解决多尺度目标检测的问题。然而，由于特征金字塔的逐级特征融合方式极大地增加了计算成本，限制了目标检测的速度，给实时检测应用造成了困难。

注1：https://arxiv.org/abs/1701.06659.

注2：https://arxiv.org/abs/1712.00960v1.

注3：https://arxiv.org/abs/1612.06851.

受上述研究启发，并针对复杂场景区域或飞机密集区域内的小尺度目标检测精度较低的问题，本文提出了一种基于多尺度融合特征的轻量级飞机检测框架MultDet。全文主要工作内容如下：

(1) 设计了一种反卷积特征融合模块，通过跳跃连接将高层语义特征融合到细节信息丰富低层特征中，得到具有丰富结构信息的融合预测特征，并研究特征融合模块对飞机检测的影响。

(2) 以SSD目标检测框架为基础，提出一种轻量级多尺度飞机目标检测框架MultDet。设计一系列不同纵横比的候选框以适应多尺度飞机目标检测，利用新的融合特征进行多尺度遥感图像飞机目标检测，MultDet显著提升复杂背景下小尺度飞机目标的检测精度。

1 相关工作1.1 多尺度目标检测

对于多尺度目标检测，特别是小尺度目标的检测更加依赖低层特征信息，然而低层特征缺乏足够的语义信息，从而导致网络对小尺度目标特征的表征能力不足。因此，仅采用卷积神经网络固有的多尺度特征进行目标检测是不够的。文献[19—21]提出基于多尺度特征融合的目标检测方法，为小尺度目标检测提供更多必要的语义特征，提升了多尺度目标的检测精度。RON^[21]通过反向连接增强了前向特征的语义信息；ION^[21]使用跳跃连接提取多尺度特征，以及使用空间递归网络集成感兴趣区域外部的语义信息；DSOD^[19]则引入密集层次连接的方式构造多尺度融合特征来强化多尺度目标的检测能力。此外，本文采用UCAS-AOD^[22]多尺度数据集，以分析检测框架对于多尺度目标的检测性能。该数据集中目标实例的尺度和纵横比统计信息如图 1所示，从图 1中可以看出，数据集中目标实例的尺度分布于20~220像素，纵横比分布于0.7~1.6。数据统计表明，目标实例呈现出尺度差异明显、形态变化多样的统计特性，能够满足多尺度目标检测试验分析。

图 1 飞机数据分布信息统计Fig. 1 The distribution of aircraft regions on training data

图选项

1.2 特征融合算法

为了丰富特征的结构信息，文献[13, 23]考虑到特征间的关系，利用多尺度特征提高网络的检测性能^注1，注2。DSSD^注1采用了SSD+ResNet-101的方式，使用反卷积融合模块引入了上下文信息，提升了小尺度目标的检测精度。FSSD^注2将浅层的细节特征和高层的语义特征结合起来，重构了一组金字塔特征，使网络的检测精度得到提升。FPN^[13]则采用top-down结构进行充分的信息融合，增强了网络的特征表达能力。FCN^[23]则使用对称结构和跳越连接来关联低层特征和高层特征。

2 MultDet飞机检测框架2.1 MultDet检测框架

所提检测框架MultDet的网络整体结构如图 2所示。所提算法采用轻量级的VGG16作为基础网络提取多尺度特征信息。为充分利用低层特征信息的细节表达能力以提高网络对小尺度目标的检测精度，设定融合运算保持conv4_3和conv7层不变，将conv9_2和conv10_2分别反卷积添加到conv4_3和conv7层，新的融合特征层定义为M_1和M_2，并以此代替SSD的conv4_3和conv7进行目标检测。

图 2 MultDet飞机目标检测框架Fig. 2 The architecture of aircraft detection MultDet

图选项

2.2 融合模块设计

MultDet通过特征融合构成了2层新的特征M_1和M_2。以MultDet300为例，M_1对应的特征融合模块结构如图 3所示，对于M_2模块同理。对于conv9_2，首先以步长为2进行3次反卷积运算，卷积核设定为2×2×256和3×3×256维张量；反卷积层后紧邻卷积层，采用L2规范化以及ReLU激活函数；conv4_3经3×3×256的卷积后，进行L2规范化，然后将两路特征进行逐元素求和，直至得到新的融合特征；最后添加3×3×256的卷积层以增强融合特征的分辨力，再经过ReLU激活函数后，即得到了M_1特征融合模块。2个特征融合模块的维度分别为512和1024。

图 3 反卷积融合模块Fig. 3 Deconvolution fusion block

图选项

2.3 候选框设计

假设取m个特征层用于目标检测，则第k层特征的候选框尺度系数设定为

 (1)

式中，s_min和s_max分别表示尺度系数的最值，根据图 1飞机尺度信息统计特性，尺度系数范围设定为s∈{0.05, 0.5}，对于不同的预测层根据s_k的定义均可计算出相应候选框的尺度系数。通过图 1的飞机数据集尺度统计信息可知，飞机目标的纵横比通常处于0.5~1.5之间。为此，本文设计相应尺度与纵横比的候选框，对于特征融合模块M_1，M_2，候选框的纵横比设置为r，r∈ 。每个候选框对应到原图像所占宽度设定为w_k=σ·s_k·，高度为h_k=(σ·s_k)/，当纵横比为1时增加一个长宽均为σ·的候选框，其中σ代表输入图像的边长。候选框中心点坐标为, i, j∈[0, |f_k|)，其中|f_k|表示第k个特征的边长。

2.4 网络模型训练

本文设计了多任务联合损失函数，用于对目标分类和边框回归两个任务进行联合训练。该损失函数如式(2)所示

 (2)

式中，N是匹配的候选框数目；α是平衡回归损失和分类损失的超参数，α通常可设置为1；损失函数的第1项L_conf(x, c)是分类损失，通常采用Softmax函数，该损失函数可表示为

 (3)

式中，代表第i个候选框属于类别p的置信度；x_ij^p={1, 0}判别第i个候选框和第j个真值框关于类p的匹配度，本文约定p={0, 1}，当p=1时，意味着检测到飞机目标，反之则为背景。此外，式(2)的第2项代表回归损失，通常采用smooth_L1函数，该损失函数可表示为

 (4)

式中，代表真值框信息；(d_i^cx, d_i^cy, d_i^w, d_i^h)代表候选框信息；(l_i^cx, l_i^cy, l_i^w, l_i^h)则代表预测框的相对偏移量。

3 试验与结果分析3.1 数据集与训练参数

本文在UCAS-AOD^[23]公开数据集上评估了所有试验。该数据集包含飞机图像1000景，共标注了7482个飞机目标，本文采用1000景飞机数据作为试验数据。训练过程中，随机分配其中的60%为训练集，余下的40%为测试集，数据集的统计信息如表 1所示。

表 1 数据集信息统计Tab. 1 The statistics of object in data set

数据信息	图像数量/幅	尺度信息/像素	飞机数量/个
训练集	600	1280×659	3591
测试集	400	1372×941	3891

表选项

本文采用翻转以及旋转等方式将训练集进行数据扩充。扩充后训练集样本总量为3600景。本文训练和测试采用硬件平台为NVIDIA Titan Xp GPUs，并采用Pytorch深度学习框架完成试验的构建。本文采用与SSD相同的端到端训练方式，初始学习率设置为0.001，优化方法为随机梯度下降，动量设置为0.9，正则化系数设置为0.000 5，批处理大小设置为1。

3.2 评价指标

本文采用平均检测精度(average precision, AP)和PR曲线(precision-recall curve, PRC)作为飞机目标检测结果的评价指标。其中，正确检测将定义为检测边框与真值边框的某一交并比(intersection over union, IoU)阈值，本文将在2种IoU阈值(0.5和0.75)下评估相应的多尺度目标检测精度。

为了验证本文所提方法的有效性，本文将在UCAS-AOD数据集上训练好的飞机检测模型迁移到国产高分辨率光学影像数据的检测中。该部分试验采用的数据为4景分辨率为1 m，幅面为3000×3000像素的光学遥感图像。

3.3 试验结果与分析

本文在UCAS-AOD数据集上对不同的目标检测方法进行训练和测试，检测结果如表 2所示。从表 2的检测结果可以看出：①Faster R-CNN在IoU阈值为0.5时取得了86.3%的平均检测精度，然而，当IoU阈值为0.75时，平均检测精度仅为43.5%，其原因是Faster R-CNN仅利用固定尺度的末端特征图生成预测，使得网络难以准确回归多尺度目标的位置信息；②R-FCN相较于Faster R-CNN的检测性能有了明显改善，这是由于R-FCN采用了ResNet-101网络，提升了检测器对目标特征的学习能力；此外，R-FCN提出了位置敏感得分图，增强了对多尺度目标的定位能力；③SSD300在IoU阈值为0.75时取得了73.3%的平均检测精度，相较于Faster R-CNN以及文献[24]所提的方法有明显的提高，原因在于SSD网络引入了多尺度检测思想，提升了检测精度；④FSSD相较于SSD网络进一步引入了多尺度特征融合模块，提升了多尺度目标的检测精度；⑤DSSD方法采用了反卷积特征融合策略，提高了对多尺度目标特征的表达能力；⑥相较于其他典型的目标检测方法，本文所提方法MultDet512在不同的IoU阈值下均取得了最优的平均检测精度，所提方法表现出了对于多尺度目标检测的优越性。

表 2 不同飞机目标检测方法结果对比Tab. 2 Comparison of different aircraft detection methods

检测方法	基础网络	AP0.5/ (%)	AP0.75/ (%)	速度/ (s/img)
Faster R-CNN[9]	VGG16	86.3	43.5	0.070 2
R-FCN[10]	ResNet-101	90.0	77.7	0.095 0
Liang[24]	VGG16	63.1	-	0.055 6
Xia[25]	Darknet19	90.66	-	-
SSD300[12]	VGG16	80.6	67.3	0.024 7
DSSD321注1	ResNet-101	81.3	72.7	0.065 6
FSSD300注2	VGG16	81.7	74.7	0.027 5
MultDet-300	VGG16	85.9	78.1	0.047 7
SSD512[12]	VGG16	89.7	76.7	0.036 2
DSSD513注1	ResNet-101	90.4	80.6	0.072 7
FSSD512注2	VGG16	90.1	79.5	0.034 0
MultDet-512	VGG16	94.8	81.3	0.050 0

表选项

注1：https://arxiv.org/abs/1701.06659.

注2：https://arxiv.org/abs/1712.00960v1.

不同检测方法对应的飞机目标检测结果的PR曲线如图 4所示，本文所提MultDet检测框架在精度和召回率两个性能指标均优于其他方法。如图 5所示，分别给出SSD512(如图 5(a)，图 5(d))、FSSD512(如图 5(b)，图 5(e))以及MultDet512(如图 5(c)，图 5(f))的飞机目标检测结果示例，方框代表检测到的飞机目标。从图 5中可以看出，相较于SSD512和FSSD512目标检测框架，基于VGG16的MultDet网络显著提升了小尺度密集飞机目标的检测能力。此外，在不同场景下，MultDet网络的部分检测结果示例如图 6所示，在密集飞机停靠区域(图 6(a)、(d))、复杂背景区域(图 6(b)、(e))以及小尺度飞机目标区域(图 6(c)、(f))，MultDet均可以精确检测出其中的飞机目标，试验结果证明了MultDet目标检测框架可以有效提高复杂场景区域及密集小尺度飞机目标的检测能力。

图 4 不同检测算法在UCAS-AOD数据集上的PR曲线Fig. 4 Precision-recall curves of the diverse methods on the UCAS-AOD dataset

图选项

图 5 不同框架的检测结果对比图Fig. 5 Aircraft detection results of different detection methods

图选项

图 6 MultDet512飞机检测结果示例Fig. 6 Aircraft detection results of MultDet512

图选项

3.4 消融试验

3.4.1 融合构型分析

如表 3所示，本文设计了3组多尺度特征融合构型分析对比试验，同时评估了相应模型的检测精度。以第1组试验为例，如表 3第3~5行所示，当输入尺度为300×300时，即设定(conv4_3、conv8_2)为基本融合层时，对比了在不同融合组(conv7、conv9_2)以及(conv7、conv10_2)下的检测性能，其平均检测精度分别为85.6%和84.7%。试验结果表明，MeticDet300按所设计的不同融合构型，其平均检测精度由85.9%递减到83.7%。

表 3 融合策略对飞机检测性能的影响Tab. 3 The influence of fusion strategy on aircraft detection performance

基础特征层	SSD层	AP0.5/ (%)
conv4_3	conv7	conv8_2	conv9_2	conv10_2
√		√
	√		√		85.6
	√			√	84.7
√			√
	√	√			84.8
	√			√	85.9
√				√
	√	√			84.6
	√		√		83.7

表选项

3.4.2 融合组件分析

表 4的对比试验分析了融合模块对飞机目标检测结果的影响，从试验结果可以看出，MultDet300在含有M_1、M_2特征融合模块时，飞机目标检测结果较仅含M_1融合模块时提高了1.6%；MultDet512检测结果较仅含M_1融合模块时提高了1.3%。试验结果表明，多尺度特征融合组件可以合理挖掘多尺度特征信息，增强多尺度目标的特征学习能力，从而提高了多尺度飞机目标检测性能。

表 4 融合模块对飞机检测的影响分析Tab. 4 The impact of fusion module on aircraft detection framework

项目	MultDet-300	MultDet-512
M_1	√	√		√	√
M_2	√			√
AP/(%)	85.9	84.3	81.7	94.8	93.5	87.1
时间/(s/img)	0.047 7	0.035 6	0.024 7	0.050 0	0.038 7	0.036 2

表选项

3.4.3 候选框设计

通过表 5设计的对比结果可以看出设计多种纵横比的候选框可以提高飞机检测精度，注意到增加纵横比为的候选框时，对飞机目标检测精度并无提升，这是由于遥感图像数据中几乎不存在相应比例的飞机数据。检测结果表明MultDet所设计的候选框比例是相对合理的。

表 5 候选框纵横比设计分析Tab. 5 Aspect ratios design of default box

候选框纵横比	AP0.5/ (%)
{1}
√	√	√	√	94.8
√	√	√		94.8
√	√			92.5
√				87.6

表选项

3.5 检测速度

本文评估了MultDet300/512框架的飞机目标检测速度，并与几种代表性多尺度飞机检测框架进行了对比，结果如表 2第5列所示，MultDet300在单张Titan Xp GPU上的检测速度为0.047 7 s/img；由于所提算法在SSD网络上附加了融合特征层，导致额外消耗了推断时间，但是相比于DSSD网络仍具明显的速度优势。本文所提方法相较于其他目标检测算法实现了具有竞争力的检测速度，同时实现了检测精度与检测速度的良好权衡。

3.6 迁移试验分析

为了验证本文所提方法的有效性，以及对于小而密集的飞机目标的检测效果，本文将在上述UCAS-AOD数据集上训练好的飞机检测模型，直接用于国产高分辨率光学遥感卫星影像数据的飞机目标检测。

如图 7所示，本文给出了4景国产高分辨率光学遥感影像的检测结果实例。从中可以看出，MultDet对于小尺度密集分布的飞机目标检测效果比较理想，证明了本文方法对于检测尺度密集分布飞机目标的有效性。此外，训练集所采用的主要是民航客机样本，而测试图像中飞机形态与训练集数据的差异性较大，本文所提方法仍然能对其进行有效检测，证明了本文方法所学习到的检测模型具有一定的迁移性和通用性。

图 7 迁移试验检测结果Fig. 7 The migration test results

图选项

4 结论

本文提出一种基于深度卷积神经网络的端到端飞机目标检测框架MultDet。采用轻量级的特征提取网络作为基础网络，设计多尺度特征融合模块，通过跳跃连接将高层语义特征与低层细节特征进行信息融合，增强了特征的结构信息以提高模型对多尺度目标特征的表征能力。本文根据数据集尺度分布特征，设计了相应尺度与纵横比的候选框，使检测器更好地适应多尺度飞机目标检测。试验结果表明，本文所提方法在保持较小的运算速度损失前提下，有效地解决了深层特征维度过低，特别是对小尺度目标表征能力不足的问题，实现了对复杂场景多尺度飞机目标的最优检测性能。

【引文格式】姚群力, 胡显, 雷宏. 基于多尺度融合特征卷积神经网络的遥感图像飞机目标检测. 测绘学报，2019，48(10)：1266-1274. DOI: 10.11947/j.AGCS.2019.20180398

精

彩

回

顾

权威 | 专业 | 学术 | 前沿

微信投稿邮箱 | [e-mail]

微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。

欢迎加入《测绘学报》作者QQ群： 297834524

进群请备注：姓名+单位+稿件编号