【最新成果】SARMV3D-1.0: SAR微波视觉三维成像数据集

点击蓝色“雷达学报”关注

前言

SAR微波视觉三维成像，是为了降低现有SAR三维成像体制所需多角度观测的数量而发展出的新的研究思路：即将雷达回波和二维图像中隐含的三维线索，通过微波散射机制（微波）和图像视觉语义（视觉）挖掘的方法加以提取，并引入到传统的SAR成像方法中，增加三维成像的可用信息量，从而实现高效的三维成像。

目前在SAR三维成像领域，国际上公开可用的数据集非常稀缺。为推动SAR微波视觉三维成像理论技术的发展，在自然基金重大项目支持下，中科院空天信息创新研究院丁赤飚研究员牵头，联合复旦大学、中科院自动化所等单位，正在构建一个比较完整的SAR微波视觉三维成像数据集，目前完成了第一批数据——SAR微波视觉三维成像数据集-1.0（SARMV3D-1.0）的制作，将在《雷达学报》网站上公开发布。

图1 项目组主办的“雷达与微波视觉”论坛

背景介绍

三维成像是合成孔径雷达（SAR）技术发展的重要前沿方向之一。SAR三维成像可以直接获得目标的三维电磁散射结构，消除SAR图像中由成像机理导致的收缩、叠掩、顶底倒置等现象，显著提升目标识别和解译能力，对全天时/全天候的三维环境构建、陡峭地形和城市测绘、目标精细化解译和灾害评估等具有重要意义。

深入分析现有SAR三维成像处理技术，在三维成像时仅利用了该像素点多角度图像的角度维信息，而并未利用该像素所在二维图像中所包含的物体结构、属性等信息，以及该像素的散射机制信息。为此，中科院空天院牵头，联合复旦大学等单位，提出了一个新的研究思路：能否将雷达回波和二维图像中隐含的三维线索，通过微波散射机制（微波）和图像视觉语义（视觉）挖掘的方法加以提取，并引入到传统的SAR成像方法中，从而降低所需多角度观测的数据量，实现高效的三维成像，发展出全新的“SAR微波视觉三维成像理论与方法”,获得了国家自然基金重大项目的支持。

在该项目支持下，项目组拟研制一套小型化无人机载一发四收全极化SAR，称为微波视觉三维SAR验证系统，进行数据获取和技术验证，并拟构建和公开发布一套典型场景和目标的SAR微波视觉三维成像数据集，为该领域的研究提供必要的基础平台，也为理论方法的应用转化提供测试数据。

图2 SARMV3D数据集构成示意图

SAR微波视觉三维成像理论方法的研究涉及三维电磁散射机理及微波视觉信息感知逆问题、SAR图像视觉三维认知理论与方法、基于微波视觉的SAR三维成像理论与方法3个关键科学问题。为了促进各个科学问题的研究，SARMV3D数据集包括三维电磁散射机制研究和SAR图像视觉三维认知研究两个辅助数据集和一个基于微波视觉的SAR三维成像研究综合数据集。目前团队完成了第一批数据——SAR微波视觉三维成像数据集-1.0（SARMV3D-1.0）的制作，包括：提出了基于三维模型仿真逆投影进行建筑实例语义标注的系统性流程和方法，利用GF-3卫星聚束模式数据，构建了典型建筑物语义分割数据集-1.0（SARMV3D-BIS-1.0）；采用基于定标器估计和基于场景三维图像熵优化估计两种方法相互验证的策略，获取准确可靠的幅相误差估计结果来进行补偿,并采用基于邻域约束的稀疏重建算法进行三维成像，构建了基于微波视觉的SAR三维成像城镇类数据集-1.0（SARMV3D-Imaging-1.0）。其中：

（1）SARMV3D-BIS-1.0包括困难（D）、中等（M）和简单（S）三组数据，分别包括1024×1024大小的SAR图像1588张、773张和234张，每张都有1B级幅度图、对应的单视复图像（SLC）、叠掩次数图和标注Mask图像，涵盖标注的建筑实例分别为4.8万、1.5万和6000余个，每个建筑实例均标注了建筑立面、建筑屋顶和建筑阴影三个类别，每组数据均按照6:2:2的比例随机分成了训练集、验证集和测试集。

（2）SARMV3D-Imaging-1.0包括山西运城和四川峨眉两个地区的机载阵列干涉SAR数据，阵列干涉通道数分别为8和12，图像尺寸分别为3100×1220和3600×1800，数据包括了每个通道的单视复图像（SLC）、幅度图像、三维成像结果数据、叠掩次数图和辅助数据。

图3 SARMV3D-1.0构成示意图

该工作已发表在《雷达学报》网络优先出版的“SARMV3D-1.0: SAR微波视觉三维成像数据集”（仇晓兰，焦泽坤，彭凌霄，陈健堃，郭嘉逸，周良将，陈龙永，丁赤飚，徐丰，董秋雷，吕守业）。

论文介绍

该文首先给出了SAR建筑物实例语义分割数据集-1.0(Synthetic Aperture Radar Microwave Vision 3D Imaging -Building Instance Segmentation Dataset 1.0，简称SARMV3D-BIS-1.0)的构建方法，提出了基于三维模型仿真逆投影进行标注的系统性流程和方法，方法流程如图4所示。

图4 SARMV3D-BIS数据集构建流程图

首先进行建筑区域场景三维模型的构建；然后根据每景影像的SAR成像参数和带地理信息的三维模型数据进行SAR成像投影几何关系的计算，得到阴影、屋顶、建筑立面在SAR一级图像上的投影范围，并根据每个像素对应的来自不同部分的散射贡献数量，得到叠掩次数图；最后对SAR图像及其对应的Mask图和叠掩次数图进行标准化裁切，并按照既定的格式生成标注文件，从而形成了符合规范的数据集。

本数据集的主要贡献为：(1)面向SAR微波视觉三维成像，对建筑物的语义标注更加精细，每个建筑物都标注了建筑物的立面、屋顶和阴影3个部分，并且进行了实例标注；(2)基于单视复图像数据进行标注，从而能够与三维成像更好结合，也有利于散射特性的挖掘和SAR图像三维认知方法研究。

继而利用计算机视觉中实现SOTA的实例分割神经网络Mask RCNN来验证SARMV3D-BIS数据集的可用性。由于当前实例分割研究的主流方法均认为一个实例中只有一个语义类别，因此我们将SARMV3D-BIS 1.0数据集中的叠掩和屋顶之和（不计阴影）作为SAR图像建筑物的实例掩膜，表1和图5给出实例分割性能，验证了数据集的可用性。

表1: 使用Mask RCNN在SARMV3D-BIS 1.0（S）验证集上的掩膜mAP

（a）SAR图像   （b）光学参考图   （c）实例分割结果  （d）实例分割真值

图 5 使用Mask RCNN在SARMV3D-BIS（S）验证集上的实例分割结果

然后，该文给出了基于微波视觉的SAR三维成像数据集SARMV3D-Imaging-1.0的构建方法。数据集制作选用了中科院空天院的阵列干涉SAR实验系统在在山西运城和四川峨眉开展飞行试验获取的部分典型数据，两个区域主要包含的地物均为叠掩较为严重的建筑物，如图6和图7所示。

  （a）运城区域SAR斜距图像                                   （b）光学图像

图 6 运城区域数据影像

（a）峨眉山区域SAR斜距图像                      （b）光学图像

图 7 峨眉山区域数据影像

为了便于本领域研究人员应用该数据集开展研究，我们对机载阵列干涉SAR数据进行了一系列预处理，从而规避系统误差带来的影响。课题组采用基于定标器估计和基于场景三维图像熵优化估计两种方法相互验证的策略，获取准确可靠的幅相误差估计结果来进行补偿。为了给出一个比较良好的三维成像结果作为参考，团队采用近期提出的基于邻域约束的稀疏重建算法进行三维成像，在每个像素的8-邻域内通过相邻像素高程位置的相关性对杂散点位置进行约束，采用局部高斯-马尔科夫随机场对邻域高程分布进行建模，对相邻像素的高度进行联合求解，有效提升了重建精度并减少了杂散点数量，处理得到了三维成像结果如图8所示。在获得三维成像结果时，同步生成了叠掩次数图,如图9所示，给SAR微波视觉三维成像研究提供额外的辅助参考信息。

（a）运城数据重建三维点云             （b）峨眉山数据重建三维点云

图 8 SARMV3D Imaging数据集三维成像结果

（a）运城区域叠掩次数图

（b）峨眉山区域叠掩次数图

图 9 SARMV3D Imaging数据集区域叠掩次数图

该文提出了SAR微波视觉三维成像数据集的构建规划，并介绍了本次发布的1.0版本数据集(SARMV3D-1.0)的构成信息和构建方法。在国家自然基金重大项目的支持下，项目团队后续将持续致力于该数据集的构建和发展，并将根据数据集的应用反馈持续改进完善，希望缓解当前国际上公开可用的SAR三维成像数据集异常稀缺的现状，为SAR三维成像研究提供急需的测试和验证平台

作者介绍

仇晓兰，女，中国科学院空天信息创新研究院研究员，博士生导师。主要研究领域为SAR成像处理、SAR图像理解，IEEE高级会员、IEEE地球科学与遥感快报副主编、雷达学报青年编委。

焦泽坤，男，博士，中国科学院空天信息创新研究院助理研究员，研究方向为SAR三维成像技术。

丁赤飚，男，研究员，博士生导师。主要从事合成孔径雷达、遥感信息处理和应用系统等领域的研究工作，先后主持多项国家重点项目和国家级遥感卫星地面系统工程建设等项目，曾获国家科技进步一等奖、二等奖，国家发明二等奖等奖励。

网站论文全文请点击“阅读原文”。

↓↓↓

相关阅读

编辑：程东阳 周其玉

审核：于青    贾守新