512防灾减灾日 | AI GIS如何提高城市抗灾能力？
目前，全球各城市在不断变化的建筑设施中面临着灾害风险管理的巨大挑战，了解建筑物设施的具体位置以及潜在的灾害损毁风险，是灾害风险管理(DRM)的关键任务。全球减灾和灾后恢复基金会(GFDRR)关注到，深度学习和地理空间技术的结合，在灾害风险管理中蕴含着巨大潜力，就设计推出了“开放城市AI挑战：面向提高抗灾能力的建筑物分割”竞赛。
大赛以研发准确可用的空间深度学习AI模型为目标，用于从非洲各城市的无人机航拍影像中识别建筑物，进而用于绘制各城市的灾害风险管理地图，提高抗灾能力。超图研究院GeoAI团队积极参与竞赛，并取得不错成绩。本文将结合超图的参赛项目，以高分辨率影像建筑物语义分割为例，介绍语义分割的实现以及多种优化方法。
语义分割
首先简单介绍一下什么是语义分割。计算机视觉是深度学习的热门研究方向，在人脸识别、图像检索、自动驾驶等领域拥有广泛的应用。语义分割(Semantic Segmentation)则是计算机视觉中的一项基本任务，其目标是将图像的每个像素所属类别进行划分，使得不同种类的物体在图像上可以被区分开来。
原图像（左）、语义分割（右）
注：来自Stanford Background Dataset的示例图像
语义分割被广泛用于自动驾驶、医疗影像分析和机器人等领域，其在地理信息影像分析场景下的应用，主要是通过训练深度神经网络模型，让机器从影像中识别道路、河流、建筑物等不同地物。
实现流程
基于深度学习的语义分割技术识别影像中的建筑物，主要包括数据准备、模型构建、模型推理几个过程。超图为我们提供了完成空间深度学习项目的GeoAI流程工具，支持完整的任务实现流程，可以帮助快速构建适合于各自业务的AI模型，并获得推理结果。点击
空间深度学习实现流程
▷ 数据情况
1、训练数据：包含建筑物的影像块（约2万张）以及无建筑物的影像块（约5万张），影像块行列数目均为1024，分辨率为0.02-0.2m；以及与影像块对应的矢量标签数据。
2、测试数据为分布在非洲不同区域的影像块（约1万张），行列数目均为1024。
训练数据示例（含有矢量标签的影像数据）
▷ 模型选型
可以用于影像语义分割的模型有很多，包括FPN、FCN、U-Net、PSPNet、DeepLab系列等。在选择分割模型时，需要针对项目要求，选择合适的模型。在该项目中，我们通过对比精度和效率，最终选用FPN模型。其中，EfficientNet 作为主干网络，用于提取图像基本特征， FPN则可以对EfficientNet提取的特征再做进一步处理。
1、EfficientNet
谷歌在2019年提出了一种新型卷积神经网络EfficientNet，具备高效的图像特征提取能力。卷积神经网络(CNN)通常在固定资源预算下开发，然后在更多资源加入进来时扩大规模，以达到更高精度，EfficientNet利用简单而高效的复合系数统一缩放模型的多个维度，有效提升了模型的准确率和效率。
选择合适的主干网络，可以使模型提取图像特征能力表现更好、效率更高。在语义分割中，常用的主干网络还包括ResNet、 VGG 、DenseNet等。
2、FPN
FPN(Feature Pyramid Network)是一种高效提取图片中各尺度特征的模型，可以使最终输出的特征更好地表示出输入图片各个维度的信息。本质上说它是一种加强主干网络特征表达的方法。
FPN基本架构（图片来源：Panoptic Feature Pyramid Networks）
优化策略
为了提高模型整体表现，我们分别从数据、训练策略和推理过程几个方面进行了针对性的优化，下面将着重介绍几种对训练效率、推理准确度有显著提升作用的优化方法：
▷ 数据优化
1、进行数据增强
在深度学习项目中，一般数据越多，训练任务的效果越好。数据增强可以让有限的数据产生更多的有效训练数据，增加训练的数据量，提高模型的泛化能力。在数据优化过程中可以采用裁剪、缩放、旋转等多种数据增强方法。
部分数据增强效果
2、增加负样本
样本中增加部分包含无建筑物区域的训练数据（例如耕地）作为负样本，进行训练时可以减少将耕地等非建筑区判别为建筑物的情况，进而提高推理准确度。如下图中，当增加负样本后，便不会出现推理为建筑物（黄色区域）的情况。
待推理影像（左） 、耕地推理误判情况（右）
▷ 训练优化
1、优化器
为了使模型输出逼近最优值，我们需要用各种优化策略和算法，来更新影响模型训练和输出的网络权重参数。通常我们将更新参数的算法称为优化器，即通过何种算法去优化网络权重参数。
常用的一些优化器：
如上表所示，梯度下降法是最基本的一类优化器；动量优化方法是在梯度下降法的基础上进行的改进；自适应学习率优化算法针对于模型训练过程的学习率设置进行优化，而学习率的有效调整可以提高训练速度和效果。
在实际应用中，需结合具体问题来选择适合的优化器。在该项目中，我们发现利用Radam + LookAhead优化器效果显著，这是一种新的组合优化器，把RAdam（经典Adam优化器的一个新变种）和LookAhead协同组合，能实现较高的优化水平，作为深度学习初学者也可以以此训练出一个表现较好的模型。
2、多显卡
多显卡训练可以使训练效率明显提升，同时在一定程度上也能提升模型的最终精度和泛化能力。
▷ 推理优化
1、多尺度图像推理加权
在推理过程中将图像放大缩小，利用多尺度图像进行推理，再将结果加权平均，得到最终输出结果，这种优化方法在应用中可以显著提高推理准确率。
多尺度图像推理加权
经过一系列优化后，该项目在测试数据集上的最终精度值IoU优于0.83，即可以较为准确地将影像中的建筑物分割出来，达到了实际应用的程度。
推理结果示例
交并比(Intersection-over-Union，IoU)：用于评估语义分割算法性能的标准指标。这个标准用于测量真实范围和预测范围之间的相关度，相关度越高，该值越高。
如下图绿色标线是人为标记的正确结果，橙色标线是算法预测出来的结果，IoU的测算准则是两个区域重叠部分的面积除以两个区域的集合部分的面积得出的结果。一般来说，IoU＞0.5 就可以被认为一个不错的结果了。
IoU计算原理
总结
越来越多的实际应用场景需要从影像中推理出相关的语义或知识，而深度学习是解决这些场景任务的有效技术。本文以高分辨率影像建筑物语义分割为例，介绍了语义分割的实现以及从数据、训练和推理过程方面采用的不同优化方法，为建立行之有效的深度学习项目提供了一个实用参考。
▼
欢迎转载~