论文推荐 | 赵泉华：全卷积网络和条件随机场相结合的全极化SAR土地覆盖分类
《测绘学报》
全卷积网络和条件随机场相结合的全极化SAR土地覆盖分类
赵泉华1
1. 辽宁工程技术大学测绘与地理科学学院遥感科学与应用研究所, 辽宁 阜新 123000;
2. 自然资源部国土卫星遥感应用中心, 北京 100048
收稿日期：2019-01-21；修回日期：2019-08-03
基金项目：国家自然科学基金（41271435；41301479）；辽宁省高校创新人才支持计划（LR2016061）
第一作者简介：赵泉华(1978-), 女, 博士, 教授, 研究方向为遥感图像建模与分析、随机几何在遥感图像处理中的应用。E-mail:zqhlby@163.com
摘要：针对经典全卷积网络（fully convolution network，FCN）分类精度低、效果差，以及传统的极化合成孔径雷达（PolSAR）土地覆盖分类方法未充分考虑地物散射特性的问题，提出了一种结合改进FCN和条件随机场（conditional random field，CRF）的全极化SAR土地覆盖分类算法。首先，利用Freeman分解和Pauli分解建模全极化SAR影像，同时提取各分解对应的散射特征，参考Freeman分解散射功率获取其主散射分量对应的主散射地物；同时，借鉴在图像分类领域中具有卓越表现的FCN-Vgg19-8s网络，考虑其高层卷积参数量大和低层卷积模型参数优化程度不足，通过在高层和中层分别构建多尺度卷积组和代价函数设计了FCN-MD-8s网络，保证对整体模型参数进行降维和优化；以Freeman分解散射机理特征为基准，采用级连式迁移学习结构，实现FCN-MD-8s网络的模型训练和测试；然后，根据主散射分量所对应的主散射地物，在各分量预测图中提取出主特征地物，得到分量地物分类结果，并将其进行叠加得到全局粗分类；最后，利用全连接CRF结合Pauli相干分解重建假彩色图，对全局粗分类进行全局像素类别转移获得细分类结果。通过对分类结果定性和定量分析，可知提出算法具有有效性和可行性。
关键词：目标分解 全卷积网络 条件随机场 多尺度卷积组 双代价收敛
Land cover classification of polarimetric SAR with fully convolution network and conditional random field
ZHAO Quanhua1
1. Institute for Remote Sensing Science and Application, School of Geomatics, Liaoning Technical University, Fuxin 123000, China;
2. Land Satellite Remote Sensing Application Center, Beijing 100048, China
Foundation support: The National Natural Science Foundation of China (Nos. 41271435;41301479); University Innovation Talent Support Program of Liaoning Province (No. LR2016061)
First author: ZHAO Quanhua(1978—), female, PhD, professor, majors in modeling and analysis of remote sensing imagery, the remote sensing image processing application of random geometry. E-mail:zqhlby@163.com.
Abstract: Aiming at the problems of low classification accuracy and poor effect in the traditional fully convolution network (FCN), and insufficient consideration on the scattering characteristics of ground object features in the traditional polarimetric synthetic aperture radar (PolSAR) land cover classification methods. To overcome this limitation, this paper proposes a land cover classification algorithm of polarimetric SAR with improved FCN and conditional random field (CRF). First of all, the Freeman and Pauli decompositions are used to model the full-polarimetric SAR image to obtain the scattering features of scattering mechanisms, and Freeman decompositions are referenced to obtain the main scattering object corresponding to the main scattering component. Learning from the FCN-Vgg19-8s network with excellent performance in the field of image classification, and considering the large amount of high-level convolution parameters and the insufficient optimization of low-level convolution model parameters, Then an improved FCN, named FCN-MD-8s, is designed though constructing multi-scale convolution group and cost function in the upper and middle layers based on FCN-Vgg19-8s to guarante dimensionality reduction and optimization of overall model parameters. Additionally, FCN-MD-8s network is trained and tested for scattering mechanisms from Freeman decomposition by Cascade-migration-learning structure. Afterwards, according to the main scattering feature corresponding to the main scattering component, the main feature object is extracted from each component prediction image to obtain a component classification result. The result of each component classification is superimposed to gain a global rough classification. Finally, the fully-connected CRF with false color image, which is visualized by Pauli coherent decomposition, is used to transfer full image information over global rough classification for fine classification. The qualitative and quantitative analyses of classification results demonstrate that the proposed algorithm has effectiveness and feasibility.
Key words: target decomposition fully convolution network conditional random field multi-scale convolution group double-cost convergence
土地覆盖是全球地理环境变化研究的关键指标，由地表上各类地物特征与属性确定[1]。土地覆盖分类不仅在反映人类与自然关系的人地交互系统中扮演着重要角色，而且在地球系统的气候和生物化学全球尺度模式中发挥着重要作用[2]。为此，进行有效、准确的土地覆盖分类对全球地理环境变化研究具有重要的科学价值和应用意义。
合成孔径雷达(synthetic aperture radar, SAR)作为一种主动微波遥感传感器，不受光照及云雾天气影响，能够实现全天时、全天候对地观测。极化SAR(polarimetric SAR, PolSAR)影像蕴含丰富的地球表面信息，并已广泛应用于地球科学、气候变化研究、城市规划，农业评估和环境监测等领域[3-4]。目前，SAR影像土地覆盖分类方法主要分为两种。一种是基于像素的分类方法。该类方法利用SAR影像极化信息，从极化散射矩阵中提取出散射熵H、散射角α及多种分解参数等作为与散射机理和特性高度相关的特征参数，结合基于SVM(support vector machine)、复合Wishart分布和BP(back propagation)神经网络等分类器实现土地覆盖分类[5-9]。但是这类PolSAR土地覆盖分类方法无法充分利用地物的散射特性，存在较多斑点噪声，导致分类精度较低。另一种是基于对象的分类方法。该类方法针对SAR影像提取出各种有利于分类的特征参数，并结合图谱分割、区域合并等分割技术实现分类[10-12]。然而，这类方法对提取特征未经甄选便投入分类，容易造成数据冗余，进而影响分类精度。
以卷积神经网络(convolution neural network, CNN)[13]为主要代表的深度学习技术飞速发展，尤其在计算机视觉领域表现出卓越的优势[14]。CNN具有在少量样本中实现自动学习和逼近复杂函数的高效学习能力，这也为PolSAR影像分类开辟了一条新途径。近年来有很多学者针对PolSAR影像采用CNN网络模型进行地物分类研究。文献[15]在PolSAR影像成像机理的基础之上构造了复数深度卷积神经网络，有效利用了PolSAR影像通道间相干相位差蕴含的丰富信息，并将该算法用于PolSAR影像实现地物分类。文献[16]利用PolSAR影像复数相干矩阵转换的6维实向量作为CNN网络模型的输入，提高了地物分类精度。文献[17]利用CNN网络为基础构造了FFS-CNN网络模型，对PolSAR影像在基于补丁水平下进行多像素同步分类。虽然上述分类研究均能得到较好的分类结果，但由于CNN网络中其全连接层的存在，导致其输入必须为固定尺寸并且在处理大批量影像时内存急剧增加，影响处理效率[18]。文献[19]提出的全卷积网络(fully convolution network, FCN)用卷积层替换全连接层，使FCN网络对输入没有尺寸限制，并对末层热图进行转置卷积生成与输入影像分辨率一致的输出层，实现像素级的分类。但此模型依然存在参数量巨大、分类精度不高、未充分利用全局信息和结构信息的问题。全连接条件随机场(conditional random field, CRF)[20]是一种判别式概率无向图学习模型，可充分考虑影像全局结构信息[21]，结合FCN和CRF可有效实现自然场景的影像分类[22]。因此，本文组合改进FCN网络和全连接CRF进行PolSAR的土地覆盖分类研究。
1 极化目标分解
已知PolSAR数据Z={Zj:j=1, 2, …, M}, Zj={zpqj=Apqj+iBpqj:p, q∈{H, V}}，其中，p和q分别表示天线发射和接收方式，H和V分别表示水平和垂直极化，M表示像素总数，i表示虚数单位，j为像素索引，zpqj表示在不同极化方式下第j个像素的复散射系数，Apqj和Bpqj分别表示zpqj的实部和虚部。由Z构建极化散射矩阵集S={Sj:j=1, 2, …, M}
假设其满足互易性条件，即SjVH=SjHV，对S进行Pauli相干分解得到其三维影像特征矩阵集F={Fj:j=1, 2, …, M}[23]
式中，aj、bj和cj分别表示像素j的奇次、偶次和体散射系数。
将S表示为定义在Lexicographic旋转基下的三维目标矢量集Ω={Ωj:j=1, 2, …, M}[23]
式中，T表示转置操作符。由于分布式地物目标的散射特性随时空变化呈现不稳定性[24]，即表现为具有一定随机性，因此为了更精确地描述分布式地物目标，可利用S的Lexicographic散射矢量得到其三维极化协方差矩阵集C={Cj:j=1, 2, …, M}
式中，*表示共轭操作符。利用窗口大小为5×5的Refined Lee滤波[25]对Cj处理。对滤波后的矩阵Cj进行Freeman分解得到像素j的总极化协方差矩[26]
式中，CVj、CSj和CDj分别为体散射模型、表面散射模型和偶次散射模型，fsj、fdj和fvj分别表示表面散射、偶次散射和体散射分量的系数，αj和βj分别为偶次散射和表面散射模型中的参数。从能量守恒的角度，可得其散射总功率为[26]
式中，Psj、Pdj和Pvj分别为像素j的表面、偶次和体散射功率。根据式(3)—式(6)可得各散射功率为
依据主散射分量更能有效地体现分辨单元的散射机理，本文利用Freeman分解三分量散射功率确定像素主散射机制，然后判断得出主散射分量所对应的主散射地物。
2 FCN-MD-8s网络
虽然传统上基于FCN-Vgg19-8s[19]网络的影像分类器通过融合高低层特征信息，提高了网络分类能力，但其高层卷积参数巨大导致参数训练时间较长，低层卷积模型参数距离末端较远导致优化不足。因此，为了提高网络训练效率，优化模型参数，本文借鉴FCN-Vgg19-8s网络结构模型，通过在高层构建多尺度卷积组，并针对全局模型参数嵌入中层代价函数构建双代价收敛结构，设计了FCN-MD-8s网络。
2.1 网络结构
FCN-MD-8s网络共41层，包括32个卷积层、5个池化层、3个转置卷积层和1个Softmax分类器层，如图 1所示。其中，池化层将32个卷积层隔断为6个卷积组，从左至右每个卷积组包含卷积层数分别为2、2、4、4、4和16。前5个卷积组卷积层的卷积核大小为3×3像素，且组内卷积核数目相同，并逐组递增，分别为64、128、256、512和512。在第5个池化层后添加中层代价函数，以优化中低层网络参数。第6个卷积组为多尺度卷积组，由多尺度卷积核构成。转置卷积层由转置卷积和跳跃结构实现，将多尺度卷积组通道连接特征图通过2倍转置卷积与第4个池化层特征结合得到第1次融合结果，对该融合结果再进行2倍转置卷积与第3个池化层特征结合得到第2次融合结果，最后对第2次融合结果通过8倍转置卷积并经Softmax分类器恢复到与输入图像相同大小的特征图，实现对原始输入图像端到端像素级预测分类。
| 图 1 FCN-MD-8s网络结构Fig. 1 Network architecture of FCN-MD-8s |
图选项 |
图 1中虚线框内的结构为多尺度卷积组，A1表示融合操作，A2表示卷积层和激励层；A3表示池化层，A4表示将通道联合后的特征，A5表示第1次融合结果，A6表示第2次融合结果。
2.1.1 多尺度卷积组
利用尺寸为1×1、1×3、3×1、1×5、5×1、1×7和7×1的多尺度非对称卷积核构建多尺度卷积组。多尺度卷积组的构建将原始19层网络深度增加到32层，提高了网络灵活性。1×1卷积核结构可在保证信息特征的情况下降低通道维数并可跨通道进行信息交互和整合。N×1和1×N非对称卷积核结构是由N×N卷积核结构拆分而成，可大量节约网络参数并减轻过拟合，同时增加了一层非线性扩展。引入多尺度卷积组可有效避免高维特征表示瓶颈，增加网络空间聚合和网络特征表达能力，可以处理更加丰富的空间特征。图 2为多尺度卷积组结构分布图，表 1给出了多尺度卷积组的参数分布表。
| 图 2 多尺度卷积组Fig. 2 Multi-scale convolution group |
图选项 |
表 1 多尺度卷积组参数分布Tab. 1 Multi-scale convolution group parameter distribution
| 层号 | 多尺度卷积核 | 卷积核数目 |
| Conv6_1 | 1×1 | 2489 |
| Conv6_2 | 1×3 | 950 |
| Conv6_3 | 3×1 | 950 |
| Conv6_3_1 | 1×3 | 300 |
| Conv6_3_2 | 3×1 | 300 |
| Conv7_1 | 1×1 | 1300 |
| Conv7_2 | 1×5 | 700 |
| Conv7_3 | 5×1 | 700 |
| Conv7_3_1 | 1×5 | 190 |
| Conv7_3_2 | 5×1 | 190 |
| Conv8_1 | 1×1 | 790 |
| Conv8_2 | 1×7 | 300 |
| Conv8_3 | 7×1 | 300 |
| Conv8_3_1 | 1×7 | 150 |
| Conv8_3_2 | 7×1 | 100 |
| Conv9 | 1×1 | 1000 |
表选项
2.1.2 双代价收敛结构
FCN-Vgg19-8s中参数的训练是通过将网络末端特征图转置卷积为与原图分辨率相同的预测图，然后利用预测图与标签图构建代价函数，最后利用BP算法迭代更新网络参数。FCN-MD-8s网络深度达到32层，根据BP算法的原理，高层参数会优先更新，低层参数距离末端较远会减少其更新幅度，减弱低层训练效果。因此，为了均衡高、低层网络参数的优化，本文提出了一种双代价收敛结构，在第5个池化层后添加中层代价函数，将第5个池化层后产生的特征图输出为与1/32原图分辨率相同的预测图，再将其与相应分辨率大小的标签图利用交叉熵损失构建中层代价函数。整体代价函数由高层代价函数与中层代价函数构成，如式(8)和式(9)所示
式中，J(x)为交叉熵代价函数；n为样本总数；xj和yj分别为像素j的输入特征和类别标签；R(x)表征像素j输出结果；网络的最终代价函数Jz(x)由中层代价函数Jmid(x)和末层代价函数Jhigh(x)的平均加权构成。利用Jz(x)值优化全局网络参数，当Jz(x)达到目标值时，表明Jmid(x)和Jhigh(x)值也相对较小，全局参数优化程度较好；当Jmid(x)偏大时，表明其低层参数优化程度较差，其Jz(x)也会相应增加，则继续进行网络参数训练，直到Jz(x)值到达目标训练值。双代价函数结构可有效优化全局参数，更好地使网络达到收敛。
2.2 网络优化
网络模型优化的实质是在避免过拟合情况下历经最短时间迭代最小化代价函数的过程，本文对FCN-MD-8s网络采用以下3点实现整体优化。
(1) FCN-MD-8s网络学习率。更新使用指数衰减法控制参数更新的速度，以期快速接近较优解，削弱模型在训练后期的波动幅度。相应的学习率定义为[27]
式中，dlr为每一轮优化时所用的学习率；lr0为初始学习率；dr为衰减系数；ds为衰减速度；gs为当前迭代次数；
(2) 改进池化层。依据PolSAR影像多噪声的特点，将传统池化窗口由2×2改扩大为3×3，并用平均池化代替最大池化，可在一定程度上克服噪声影响。
(3) L2正则项。添加L2正则项[27]
式中，R(w)刻画模型的复杂程度；λ为正则项系数；w为网络参数。添加L2正则项到整体网络代价函数中，惩罚权重，防止过拟合。
3 FCN-MD-8s+CRF地物分类
Freeman分解散射分量之间独立同分布，由此提出一种级连式迁移学习结构训练网络参数。如图 3所示，级连式迁移学习拥有3级训练结构，首先将Freeman分解表面散射机理特征样本输入第1级结构进行网络参数训练，通过全层微调迁移学习的方式，将第1级训练好的模型参数迁移至第2级结构对偶次散射机理特征进行参数训练，然后利用同样的迁移方式将第2级训练好的模型参数迁移至第3级结构进行体散射机理特征参数训练。利用此结构在提高网络训练效率的同时保证了网络训练精度。
| 图 3 级连式迁移学习结构Fig. 3 Cascading migration learning structure |
图选项 |
使用级连式迁移学习结构对Freeman分解散射机理特征进行参数训练，由于FCN网络对输入特征尺寸没有限制，因此利用其相应训练参数对三散射机理特征分别进行整图预测，在各预测图中根据主散射分量对应的主散射地物提取出其相应的像素标签，并将其按照像素坐标依次进行叠加。FCN为基于像素的分类，类边缘有冗余噪点，在叠加过程中，重叠部分随机分配给相邻类别，得到全局粗分类。由于FCN实现端到端像素级分类，未考虑全局结构信息，分类结果的类间边缘较粗糙。为更好地利用PolSAR特征，把Pauli相干分解得到的3个散射系数作为PolSAR影像的三维影像特征矩阵，并以此构建假彩色图，结合全连接CRF对全局粗分类进行全局像素类别转移，细化分类结果。
在全连接CRF中，像素的标签信息来自全局粗分类，其中每个位置的像素值都对应标签集合L ={1, 2, …, K}中的一个标签变量，其中，K表示类别标记数。所有标签变量构成一个随机场A={Aj:j=1, 2, …, M}，Aj为像素点j对应的类别标签。在另一组变量上定义随机场I={Ij:j=1, 2, …, M}，其中，Ij为假彩色图位置j的颜色特征向量。则条件随机场(I, A)可以表示为一个吉布斯分布
式中，P(A|I)表示假彩色图像素点分布为I的条件下标签分布为A的后验概率；Z(I)表示条件概率归一化因子；E(A|I)表示势能函数，由于输入假彩色图像素点分布I为固定条件，后续推导中将E(A|I)简化表示为E(A)。通过最大化式(12)中的后验概率P(A|I)即最小化吉布斯能量函数E(A)便可得到分类结果，在全局条件下定义能量函数E(A)
式中，Ψu(aj)=-log P(aj)为一元势函数，P(aj)表征全局粗分类图像素点j属于某类的概率；Ψp(aj, as)表示二元势函数，使用对比度敏感的双核高斯势函数，表征一个像素和其他所有像素的关系[20]
式中，μ(aj, as)对应像素类别转移矩阵，即标签兼容性比较函数，运用Potts模型，当aj=as时μ(aj, as)=0，否则等于1；H为像素位置信息；第1个指数函数为表面高斯核函数，其中θα和θβ为控制位置和颜色相近像素具有一致分类的尺度；第2个指数函数为平滑高斯核函数，其中θγ为控制位置信息的尺度，用于惩罚孤立小区域。
4 试验与结果4.1 试验数据
本文试验数据为来自美国San Francisco Bay地区、我国河北省沧州市南皮县地区和我国山东省德州市平原县地区的3幅由高分三号卫星获取的C频段PolSAR影像(下文中以SFB代表美国San Francisco Bay地区，NPX代表沧州市南皮县地区，PYX代表德州市平原县地区)，分辨率为8 m，大小分别为2500×2500像素、5800×5800像素和2630×2630像素，包括HH、HV、VH和VV 4种极化方式，对PolSAR影像采用大小为5×5的窗口进行Refined Lee滤波去噪，在满足互易性条件下，将实际交叉极化测量值的平均值作为单站交叉极化值。如图 4所示，其中图 4(a1)—(d1)、(a2)—(d2)和(a3)—(d3)分别为SFB、NPX和PYX 3个地区四极化方式的SAR强度图像。
| 图 4 全极化影像Fig. 4 Full-pol images |
图选项 |
如图 5所示为PolSAR分解结果图，图 5(a)—(d)来自SFB地区，主要地物包括林地、水体、待开发区、高密度建筑区和低密度建筑区；图 5(e)—(h)来自NPX地区，主要地物包括农田、建筑用地和水体；图 5(i)—(l)来自PYX地区，主要地物包括农田、建筑用地和水体；图 5(a)、(e)和(i)为3个地区Pauli相干重建伪彩色图，图 5(b)—(d)、(f)—(h)和(i)—(l)为3个地区Freeman分解散机理特征图。利用labelme软件对3个地区地面主要地物进行标注，标注结果如图 7(a)—(c)所示。由于不同地物类别尺度不同，单一尺度样本无法满足对类别的特征选取，因此对散射机理特征矩阵分别选取同坐标和大小且大致平均包含各类的40张64×64像素与30张128×128像素的多尺度子图像作为样本集。通过旋转和翻转等操作，共扩展为6720张多尺度样本。按照5:1的比例随机分配给训练样本集和验证样本集用于模型训练和调试。
| 图 5 分解结果Fig. 5 Decomposition result |
图选项 |
为了验证FCN-MD-8s网络模型参数在非采样地区是否具有泛化能力，如图 6所示，选取来自我国河北省秦皇岛市北戴河地区和美国Berkeley地区的两幅高分三号PolSAR影像(下文中以BDH代表秦皇岛市北戴河地区，BKL代表美国Berkeley地区)，分辨率为8 m，大小都为1000× 1000像素。图 6(a)—(d)来自BDH地区，主要地物包括农田、建筑用地和水体；图 6(e)—(f)来自BKL地区，主要地物包括林地、农田、水体和建筑用地。图 6(a)和(e)为两地区Pauli相干重建伪彩色图，图 6(b)—(d)和(f)—(h)为两地区Freeman分解散射机理特征图。图 7(d)和(e)分别是BDH地区和BKL地区的真实地物标注图。
| 图 6 分解结果Fig. 6 Decomposition result |
图选项 |
| 图 7 5个区域真实地物标注Fig. 7 Real landmarks in five regions |
图选项 |
本文应用3个地区高分三号PolSAR影像，参考Freeman分解散射功率获取其各散射分量对应的主散射地物，具体分类见表 2所示。表 2中高密度建筑区和低密度建筑区包含在建筑用地中，地物编号分别用6和7表示。可得出表面散射主散射地物为水体和待开发区，偶次散射主散射地物为建筑用地和农田，体散射主散射地物为林地。
表 2 主散射地物归类Tab. 2 Primary scattering properties classification
| 主散射分量 | 地物编号 | 主散射地物 |
| 表面散射 | 1 | 水体 |
| 2 | 待开发区 | |
| 偶次散射 | 3 | 建筑用地 |
| 4 | 农田 | |
| 体散射 | 5 | 林地 |
表选项
4.2 试验结果与比较分析
本文利用基于Ubuntu 18.04操作系统下的Tensorflow深度学习框架和配置Nvidia Tesla K40c GPU的PC机进行试验。分别采用Freeman-Wishart[28]、FCN-Vgg19-8s、FCN-MD-8s、FCN-Vgg19-8s+CRF和本文分类算法进行分类对比，Freeman-Wishart算法为非监督分类方法，在合并聚类阶段，可设置每种散射机制最终合并类别数，分类结果如图 8所示。
| 图 8 使用不同方法在3个地区的分类结果Fig. 8 Classification results of three areas for different methods |
图选项 |
图 8为分别用不同方法在SFB地区、NPX地区和PYX地区分类结果。可以看出，Freeman-Wishart算法在农田和海洋水体处达到了很好的甄别效果，但对其他地物的分类结果存在大量误分类像素点。这是因为Wishart分布对于非匀质区域无法很好地建模，对于相近散射机制的地物容易误分类，其他4种神经网络分类算法均能达到很好的分类效果。FCN-MD-8s和FCN-Vgg19-8s网络模型算法分类结果都含有少量误分类点，但明显FCN-MD-8s网络模型性能更优，算法精度较FCN-Vgg19-8s网络略高。由图 8(b1)、(b2)和(b3)以及图 8(c1)、(c2)和(c3)的分类结果可以看出，两种算法均表现为类间边缘处模糊且类内含有少量误分像素，但FCN-MD-8s网络在细节保持方面较FCN-Vgg19-8s网络有所优化，面积过小的池塘和林地后者算法并未检测出。FCN-Vgg19-8s+CRF和本文算法均结合了Pauli分解特征并利用CRF进行全局类别转移，两种算法分类结果均优于其他3种分类算法，类间误分类像素极少，边缘更加规整，整体上来看分类结果十分接近。二者区别更多在于对小区域及其边缘细节的分类精度。为了更清晰地表明本文算法优势，从SFB地区分类结果中随机截取局部区域结果图，如图 9所示，本文算法在细节保持和类间边缘区分方面均优于其他算法。图 10为调用已训练好的FCN-MD-8s+CRF模型参数利用级连式迁移学习结构对BDH地区和BKL地区的分类结果。由于每类地物样本量的缺乏和不同地区类别内的变化，导致非采样地区相比较于采样地区其分类结果在细节保持方面稍显不足，但整体分类效果相对乐观。
| 图 9 美国SFB地区分类结果局部Fig. 9 Local classification results of SFB area in the United States for different methods |
图选项 |
| 图 10 非采样地区分类结果Fig. 10 Classification results of two non-sample areas |
图选项 |
采用交并比(intersection over union, IoU)、分类准确率(pixel accuracy)[29]、Kappa和总体准确率4个指标对分类结果进行定量评价。其中，IoU和分类准确率计算公式如下
式中，TP、FP和FN分别表示正确分类、错误分类与遗漏分类。表 3、表 4和表 5所列分别为在SFB地区、NPX地区和PYX地区分类定量评价结果比较，可以看出Freeman-Wishart算法结果在各项评价指标方面明显低于其他4种分类算法。以反映综合性能的指标Kappa和总体准确率来比较各网络模型性能，在美国SFB地区，FCN-MD-8s比FCN-Vgg19-8s模型其Kappa值和总体准确率分别提高4.91%和3.27%，本文算法比FCN-Vgg19-8s+CRF模型的Kappa值和总体准确率分别提高了3.91%和2.62%；在NPX地区，FCN-MD-8s模型比FCN-Vgg19-8s模型的Kappa值和总体准确率分别提高了5.55%和0.29%，本文算法比FCN-Vgg19-8s+CRF模型的Kappa值和总体准确率分别提高了2.07%和0.57%；在PYX地区，FCN-MD-8s模型比FCN-Vgg19-8s模型的Kappa值和总体准确率分别提高了6.12%和0.92%，本文算法比FCN-Vgg19-8s+CRF模型的Kappa值和总体准确率分别提高了3.29%和1.40%。表 6所列为在BDH地区和BKL地区分类定量评价结果，可以看出BDH地区其Kappa值和总体准确率分别为72.67%和87.38%，BKL地区其Kappa值和总体准确率分别为83.51%和92.69%，表明FCN-MD-8s网络模型在样本量较少的情况下也具有一定的泛化能力。
表 3 SFB地区分类定量评价结果比较Tab. 3 Quantitative evaluation results of SFB area for different methods
| 地物编号 | IoU | Pixel accuracy | Kappa | 总体准确率/(%) | |||||||||
| 1 | 2 | 5 | 6 | 7 | 1 | 2 | 5 | 6 | 7 | ||||
| Freeman-Wishart | 95.42 | 28.70 | 70.02 | 35.32 | 27.28 | 98.72 | 49.68 | 85.38 | 39.46 | 55.51 | 74.00 | 82.91 | |
| FCN-Vgg19-8s | 95.06 | 34.91 | 87.53 | 80.27 | 75.49 | 96.14 | 75.54 | 94.50 | 84.41 | 79.16 | 88.51 | 92.36 | |
| FCN-MD-8s | 96.83 | 88.18 | 92.23 | 90.38 | 86.59 | 98.51 | 95.01 | 96.34 | 94.83 | 89.17 | 93.48 | 95.63 | |
| FCN-Vgg19-8s+CRF | 97.19 | 89.49 | 93.21 | 91.16 | 87.67 | 98.34 | 94.47 | 96.46 | 94.11 | 89.32 | 94.53 | 96.34 | |
| 本文方法 | 99.13 | 97.11 | 97.65 | 97.64 | 95.98 | 99.40 | 98.21 | 99.19 | 98.55 | 96.58 | 98.44 | 98.96 |
表选项
表 4 NPX地区分类定量评价结果比较Tab. 4 Quantitative evaluation results of NPX area for different methods
| 地物编号 | IoU | Pixel accuracy | Kappa | 总体准确率/(%) | |||||
| 1 | 3 | 4 | 1 | 3 | 4 | ||||
| Freeman-Wishart | 39.22 | 28.54 | 87.21 | 53.42 | 75.85 | 89.13 | 41.71 | 87.79 | |
| FCN-Vgg19-8s | 41.20 | 64.29 | 92.88 | 53.21 | 75.24 | 96.14 | 71.30 | 92.75 | |
| FCN-MD-8s | 43.12 | 67.14 | 93.63 | 58.92 | 80.48 | 96.54 | 76.85 | 93.04 | |
| FCN-Vgg19-8s+CRF | 46.94 | 70.47 | 94.24 | 63.15 | 81.52 | 97.26 | 78.36 | 94.72 | |
| 本文方法 | 51.88 | 72.55 | 94.86 | 71.36 | 83.85 | 97.33 | 80.43 | 95.29 |
表选项
表 5 PYX地区分类定量评价结果比较Tab. 5 Quantitative evaluation results of PYX area for different methods
| 地物编号 | IoU | Pixel accuracy | Kappa | 总体准确率/(%) | |||||
| 1 | 3 | 4 | 1 | 3 | 4 | ||||
| Freeman-Wishart | 33.51 | 31.93 | 93.60 | 45.40 | 75.20 | 94.51 | 46.35 | 89.74 | |
| FCN-Vgg19-8s | 35.80 | 53.78 | 94.94 | 44.94 | 78.57 | 97.02 | 65.78 | 92.97 | |
| FCN-MD-8s | 38.10 | 60.32 | 95.90 | 52.07 | 81.16 | 96.56 | 71.90 | 93.89 | |
| FCN-Vgg19-8s+CRF | 37.95 | 54.37 | 95.67 | 77.89 | 88.10 | 96.30 | 74.81 | 94.86 | |
| 本文方法 | 41.56 | 65.83 | 96.86 | 80.09 | 91.20 | 97.46 | 78.10 | 96.26 |
表选项
表 6 BDH地区和BKL地区分类定量评价结果Tab. 6 Quantitative evaluation results of BDH area and BKL area
| 地物编号 | IoU | Pixel accuracy | Kappa | 总体准确率/(%) | |||||||
| 1 | 3 | 4 | 5 | 1 | 3 | 4 | 5 | ||||
| BDH地区 | 58.17 | 55.87 | 70.02 | — | 80.52 | 81.10 | 84.82 | — | 72.67 | 87.38 | |
| BKL地区 | 80.79 | 75.70 | 76.66 | 83.99 | 87.02 | 85.83 | 86.53 | 87.86 | 83.51 | 92.69 |
表选项
4.3 参数分析与设置
FCN-MD-8s网络较传统的FCN-Vgg19-8s网络大幅度减少参数，FCN-Vgg19-8s网络模型参数总量高达1.44亿，而FCN-MD-8s网络参数数量仅为0.45亿，很大程度上简化了训练复杂度，加快网络分类效率。由于FCN网络对于输入特征尺寸没有限制，在测试阶段采用整图预测分类，避免了由影像分块后拼接带来的边缘效应和时间问题，表 7给出了不同模型算法的分类运行时间。表 8所列为对不同L2正则项系数λ的分类结果比较，根据训练准确率选择最优λ值为0.000 5；在CRF参数选择方面，文献[30]经大量试验证明，当控制参数θα=160、θβ=3、θγ=5时可较好地细化边缘和排除孤立点。
表 7 不同分类算法运行时间Tab. 7 Different classification algorithms running time
| s | |||||
| 模型 | SFB | NPX | PYX | BDH | BKL |
| Freeman-Wishart | 86.32 | 193.61 | 87.41 | — | — |
| FCN-Vgg19-8s | 39.43 | 101.23 | 41.56 | — | — |
| FCN-MD-8s | 23.69 | 79.42 | 25.31 | — | — |
| FCN-Vgg19-8s+CRF | 49.58 | 130.56 | 52.12 | — | — |
| 本文算法 | 34.01 | 110.31 | 38.42 | 13.53 | 13.78 |
表选项
表 8 不同正则项系数下网络的训练准确率Tab. 8 Train accuracy of the network under different regular term coefficient
| 正则项系数 | 训练准确率 |
| 0.000 1 | 0.899 1 |
| 0.000 2 | 0.912 3 |
| 0.000 3 | 0.934 7 |
| 0.000 4 | 0.946 3 |
| 0.000 5 | 0.964 4 |
| 0.000 6 | 0.953 7 |
| 0.000 7 | 0.921 2 |
| 0.000 8 | 0.901 1 |
| 0.000 9 | 0.908 8 |
表选项
4.4 级连式迁移学习分析
本文利用Freeman分解三分量矩阵特征独立同分布特点，运用级连式迁移学习结构训练网络参数，有利于提高分类效率。图 11、图 12和图 13分别为表面散射、偶次散射、体散射机理特征利用FCN-MD-8s网络模型在级连式迁移学习结构上训练和验证的交叉熵损失和精度变化趋势。如图 11所示，用表面散射机理特征在第1级级连式迁移学习结构上训练网络模型，共迭代2000次，用时40 min，其训练集初始交叉熵损失达到654，在迭代1000次附近达到收敛，最终交叉熵损失仅为0.08；将第1级训练好的模型参数利用微调迁移学习的方式迁移至第2级结构进行偶次散射机理特征的参数训练，如图 12所示，共迭代500次，用时15 min，其训练集初始交叉熵损失为4.58，在迭代320次附近达到收敛，最终交叉熵损失仅为0.075；再将第2级训练好的模型参数利用相同迁移方式迁移至第3级结构进行体散射机理特征的参数训练，如图 13所示，共迭代500次，用时15 min，其训练集初始交叉熵损失为5.12，在迭代320次附近达到收敛，最终交叉熵损失仅为0.078。这种结构使用迁移学习高效合理的利用网络参数，在第2级和第3级结构中交叉熵从较小的损失开始训练，并快速使网络达到收敛，极大地节省了计算成本。
| 图 11 表面散射模型训练Fig. 11 Surface scattering model |
图选项 |
| 图 12 偶次散射模型训练Fig. 12 Double scattering model training |
图选项 |
| 图 13 体散射模型训练Fig. 13 Volume scattering model training |
图选项 |
5 结论
本文以美国San Francisco Bay地区、我国河北省沧州市南皮县地区和山东省德州市平原县地区为例，首先采用高分三号C频段PolSAR数据，提取极化目标分解特征参数，然后针对传统FCN-Vgg19-8s网络模型高层卷积参数量大和低层卷积模型参数优化程度不足的问题，在传统网络模型高层和中层分别构建多尺度卷积组和代价函数设计了FCN-MD-8s网络，保证了对整体模型参数的降维和优化，利用级连式迁移学习结构训练网络模型，最后结合全连接条件随机场与Pauli极化分解特征得到细分类结果。对本文算法和对比算法的分类结果进行了定量评价，取得了较好的分类精度与准确度，验证了算法的有效性，并得出以下结论：①通过对多尺度卷积组和双代价收敛结构的引入，大幅度降低网络模型参数的同时提高了中低维特征的学习能力和网络训练效率；②结合数据本身特点，利用级连式迁移学习结构高效合理地利用网络参数，使网络模型快速达到收敛，极大地节省了计算成本；③利用本文算法通过对其他非采样地区的PolSAR影像进行试验，试验结果表明了FCN-MD-8s网络模型具有一定的泛化能力。虽然本文方法分类精度较高，但对各极化分解参数相关性未能很好考虑利用，后续研究中将融合更多的极化特征，增加地物类别样本，扩大试验区域，以进一步提升对PolSAR影像的分类能力。
【引文格式】赵泉华, 谢凯浪, 王光辉, 等. 全卷积网络和条件随机场相结合的全极化SAR土地覆盖分类. 测绘学报，2020，49(1)：65-78. DOI: 10.11947/j.AGCS.2020.20190038
精
彩
回
顾
精
彩
回
顾
院士论坛 | 李德仁：展望5G/6G时代的地球空间信息技术
院士论坛 | 龚健雅:智慧城市综合感知与智能决策的进展及应用
论文推荐 | 杨必胜：点云智能研究进展与趋势
书讯 | 王家耀院士：地图制图数据处理的模型与方法
招聘启事 | 中国测绘科学研究院公开招聘人员
资讯 | 自然资源部关于2019年第十二批注册测绘师注册审批结果的公告
权威 | 专业 | 学术 | 前沿
微信投稿邮箱 | song_qi_fan@163.com
微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。
欢迎加入《测绘学报》作者QQ群： 297834524
进群请备注：姓名+单位+稿件编号
权威 | 专业 | 学术 | 前沿
微信投稿邮箱 | song_qi_fan@163.com
微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。
欢迎加入《测绘学报》作者QQ群： 297834524
进群请备注：姓名+单位+稿件编号