【自然资源系列】深度学习技术在自然资源调查监测中的应用实践

2020年1月，自然资源部发布了《自然资源调查监测体系构建总体方案》（以下简称《总体方案》），明确了自然资源调查监测工作的任务书、时间表，为加快建立自然资源统一调查、评价、监测制度，健全自然资源监管体制，切实履行自然资源统一调查监测职责提供了重要遵循和行动指南。《总体方案》提出以空间信息、人工智能、大数据等先进技术为手段，构建高效的自然资源调查监测技术体系。

遥感技术作为自然资源调查监测主要的技术手段，对调查监测工作的开展以及成果的落地应用都起到了至关重要的作用。随着遥感数据进入大数据时代，传统人工解译效率低、周期长、成本高，已不能满足用户需求。纵观遥感技术应用史，自动化信息提取方案层出不穷，但始终没有取代人工作业，主要是传统的自动化信息提取方案的准确度难以满足实际生产需要。近年来，深度学习作为机器学习的一个全新理论，被引入图像处理和模式识别领域，它给遥感影像处理也带来了全新的思路。将深度学习技术应用于自然资源调查监测，解决传统方法存在的技术难点，可在很大程度上提升自然资源监测工作的效率与质量，节省人力、物力及财力。

遥感影像目标检测与遥感影像变化检测是自然资源调查监测的两个重要的应用方向：

一、遥感影像目标检测的任务是找出遥感影像中特定的目标地物，确定它们的位置和类别。通过建立自然资源遥感监管系统，结合各部门的需求，实现遥感影像特定地物的目标检测，同时集成数据的浏览、查看、分析等功能，从而更加有效的进行国土监测及督察工作。

二、遥感影像变化检测是指通过对同一地区不同时间观测到的遥感影像数据，利用图像处理技术分析不同时相的影像特征，通过特征识别出影像上的变化区域和未变化区域。该技术为大范围高时效动态变化监测提供着关键的技术支撑作用：基于不同时相的卫星遥感影像，对土地利用情况进行常态化跟踪监测，建立多项业务化应用专题，如：建设用地变化监测、耕地变化监测、土地利用现状变更调查等，从而发现特定时间特定区域面积内自然资源类别变化的情况，辅助国土空间规划监测评估、耕地保护和执法督察等。

本文将围绕以上两项技术及落地应用展开相应介绍。

深度学习技术方法介绍

目标检测模型算法及优化技术

基于深度学习的目标检测方法，从思路上来看，可以分为两大类：
一类是two stage的方法，即算法流程上分成两个阶段，生成候选框和识别框内物体，目前代表网络是Faster R-CNN，其通过RPN（Regional Proposal Networks）网络取代Selective Search算法使得检测任务可以由神经网络端到端地完成，特点是精度高，至今仍是目标检测方面的主流算法之一；
另一类是one stage的方法，其将整个流程进行了统一，直接给出检测结果，不显式生成候选框，主要包含YOLO、SSD系列。YOLO直接在输出层回归bounding box的位置和bounding box所属的类别，整张图作为网络的输入，将目标检测的问题转化成一个回归问题。其优点是泛化能力强、速度快，可达到实时检测的要求。但识别精准性较差、查全率低。
SSD结合了YOLO中的回归思想和Faster-RCNN中的Anchor机制，使用全图各个位置的多尺度区域进行回归。虽然算法实时性较好，但精度相对Faster R-CNN也稍有逊色。下图为不同目标检测网络精度及速度对比。

不同目标检测网络精度及速度对比

建立模型是深度学习技术的关键，从数据生产角度考虑，认为相对实时性来说模型的检测精度更为重要，故选择Faster R-CNN为研究模型。
在深度学习中，充分训练一般要求上百万数量级的图片。有学者通过实验对比得出结论：微调一个预训练好的卷积神经网络，比从头开始训练网络具有更好的分类精度和更快的收敛速度。在实际生产过程中，能获取到的样本数量很难达到上百万数量级的要求，因此采用迁移学习的思路来解决样本不足的问题。
遥感影像大小通常都是10000px*10000px以上，无法直接输入到模型中进行预测。通过对影像进行分块裁剪依次输入至模型中进行预测。为避免部分潜在目标在裁剪时被切分开而导致漏检，采用重叠区域滑动窗口裁剪方法，最大程度保证每张图片中都有潜在目标的完整地物。分块预测完成后，再全局执行一次非极大值抑制算法（Non-Maximum Suppression，NMS），将重复检测的目标地物矩形框进行合并，完成模型的预测。模型预测流程如下图所示。

利用重叠滑窗及全局NMS提升目标检测精度

变化检测模型算法及优化技术

利用深度学习技术，通过波段拼接早期融合，或孪生卷积神经网络，可实现两幅不同时相遥感影像像素级变化检测。

主流的语义分割算法，例如FCN、UNet、SegNet、Deeplab、Panoptic FPN等，逐步应用到遥感领域，目前最常用的基于UNet的地物轮廓提取方法，该模型结构简单，增加横向连接，可准确提取如建筑物、道路、水体等地物轮廓，相对于传统遥感分类算法，能够大幅度提升分类精度。Panoptic FPN结合多尺度特征提取算法，更好地利用了地物的低层次特征，对物体轮廓提取效果较好。语义分割网络对比如下图所示：

UNet与Panoptic FPN语义分割网络对比

使用Panoptic-FPN深度学习语义分割网络，兼具稳健性和准确性。采用波段拼接技术，将前后时相影像各3个波段拼接起来，形成6波段影像，而不是通过简单的RGB值求差或求和，这样会导致信息丢失。将6波段影像送入模型进行训练，让模型能学习到更丰富的变化信息。波段拼接如下图所示。

基于波段拼接早期融合方法的P-FPN变化检测模型

使用共享权值的孪生卷积神经网络，将两幅不同时相的影像分别输入到两个网络中，结合深度监督方法和注意力机制，让网络学习到更有代表性的变化特征，实现轮廓保持更好的检测效果。

基于孪生卷积神经网络的变化检测模型

深度学习技术在自然资源调查监测中的应用实践

下面来介绍一下遥感影像目标检测和遥感影像变化检测在自然资源调查监测中的一些具体的落地应用案例。

违规建设识别

国土空间规划实行全周期管理,对新增违规建设“零容忍”。违规建筑具有隐蔽性，传统的执法监测手段存在盲区、滞后等现象，使用无人机航空摄影方法，可及时获取城市重点区域高分辨率影像数据，对违规建设施工数据进行采集、处理，识别疑似的违规建筑，使得新增违规建筑“看得见管得住”，并通过违建“一张图”系统给主管部门提供指挥、决策、监督的依据。

利用深度学习技术，采用“自动化智能解译+人工复核”的模式，自动化智能解译为作业人员快速提供粗筛结果，后期辅以人工复核即可快速完成检测工作。
在测试区域的0.05米分辨率的无人机影像中，预测结果达到了准确率不低于70%，召回率不低于95%。生产作业员只需简单对检测结果进行核实，大幅度降低了人工目视判读的成本。

违法建设检测结果评估（黄色边界为真值，红色矩形框为预测值）

平台对自动检测结果进行人工复核

油井开采识别

利用深度学习技术，在遥感影像中精确识别出油田中大量且广泛分布的油井，了解石油开采情况，从而有针对性地采取相应措施。

在测试区域的0.2米分辨率的遥感影像中，共分布着230个油井，模型共检测出240个，其中正确检测出227个，准确率95%，召回率99%。

测试区域油井检测结果局部

测试区域油井检测结果局部放大图

运动场地检测

运动场地是城市基础设施中重要的组成部分，场地数量与分布情况，反映了城市体育事业的发展状况，也是市民运动需求的直接体现。掌握运动场地的分布情况，有利于主管部门合理配置土地资源，规划城市发展。
测试区域的0.2米分辨率的遥感影像中，共统计了6类115个运动场地，包含了田径场、足球场、篮球场、羽毛球场、排球场、网球场。模型共检测出119个，其中正确检测出107个，准确率90%，召回率93%。

测试区域运动场检测结果局部放大图

建设用地变化检测

对建设用地变化情况进行及时、直接、客观的定期监测，检查土地利用总体规划及年度用地计划执行情况，重点核查每年土地变更调查汇总数据，从而为国家宏观决策提供比较可靠、准确的土地利用变化情况报告。
基于Panoptic FPN语义分割网络的建设用地变化检测算法，可有效检测出两张相同区域不同时相的遥感影像中建设用地的变化区域，包含新增动土、新增建成、旧房拆迁等城市规划中重点关注的变化类别。在测试区域的遥感影像中，建设用地变化区域被检测出并进行了重点标识。
在公开数据集上对以下几种方法进行了变化检测结果对比，得到定量评价结果，参见下表，与其他几种主流方法相比，我们提出的方法在准确率和召回率上都有了较为明显的提升。

公开数据集上各种方法的变化检测结果对比

指标说明：P（Precision）准确率；R（Recall）召回率；F1 F1得分；OA总体精度。
在实际项目中也取得了良好的预测效果，局部识别效果如图所示

两期影像建筑用地变化检测预测图（左侧为变化前、右侧为变化后，红色半透明区域为自动预测出的变化区域）

深度学习技术在自然资源调查监测中已得到初步应用，如违规建设识别、油井开采识别、运动场地检测、建设用地变化检测等，并展现出了广阔的发展前景。南方数码还将继续探索和研究在自然资源及其它领域上的应用，为客户提供更加贴合业务需求的深度服务。

——   自然资源系列 ——