Remote Sensing | 弱监督深度学习的遥感影像分割

点击左上角"MDPI 开放获取出版"关注我们，为您推送更多最新资讯。

弱监督降低遥感数据标注的困难性

近年来，伴随着人工智能和计算机视觉技术的广泛应用，深度学习的理论和方法也逐渐被引入遥感领域。深度学习的遥感影像分割精度不断提高(图1)，对土地利用制图、农业监测、灾害损失评估等工作也产生了积极的推动作用。

图1. 遥感影像分割实例——以农田为例(图片来源：百度飞桨，https://my.oschina.net/u/4067628/blog/3190657)

然而目前，用于遥感影像分割的数据集往往需要专业人士对影像中的每个像素进行逐一标注。尽管投入了大量的人力物力，但目前可用的影像分割数据集数量仍然较少，这使得卷积神经网络在遥感影像分割上的应用受到限制。

为了改善这一现状，来自美国斯坦福大学的计算与数学工程学院的Sherrie Wang博士生及其团队近期在Remote Sensing期刊上发表了一篇论文，该研究使用遥感数据集中常见的两种弱监督的来源标签(单像素标签和图像分类标签，如图2所示)，对位于美国中西部的Landsat 8影像进行分割，在一定程度上减少了在数据标注上的花费投入，并且保持了较高的影像分割精度。

图2. (a)Landsat 8影像示例；(b)完全分割标签；(c)弱监督类型的单像素标签；(d)弱监督类型的图像标签

用于农田影像分割的两种弱监督方法

本研究使用两种弱监督方法对农田进行影像分割。其一是利用稀疏的像素级标签训练一个U-Net模型来进行农田分割，通过掩膜过滤掉输出层中绝大部分特征，仅让随机位置的单像素标签参与损失计算(图3)；其二是基于图像级标注，由Zhou等人开发的类激活映射(Zhou et al., 2014)(Class Activation Maps，CAMs)，首先提取卷积神经网络(Convolutional Neural Networks, CNNs)的中间层，利用CAM算法得到CAM激活影像，最后通过阈值法来预测分割影像结果(图4)。

图3 . U-Net模型

图4. U-CAM模型(结合U-Net和CAM来创建新的架构)

对弱监督农田影像分割方法的评估(研究结果与展望)

图5显示了作者提出的两种弱监督方法的分割预测结果，以及与传统机器学习分割算法的比较。与使用随机森林分割的结果相比，掩膜U-Net(图3)和U-CAM(图4)在分割空间上更具一致性，且与真实农田数据层的分割影像更加相似，而随机森林分割的影像噪声较大，精度较差。

图5. (a) Landsat 8图像；(b) 影像真实标签；(c)基于稀疏像素标签训练模型的分割预测；(d)基于图像标签训练模型的分割预测。黄色像素预测为农田，紫色像素预测为非农田。

基于作者提出的两种弱监督分割方法，卷积神经网络可以在缺乏分割数据集的情况下，使用单像素和图像类别作为训练数据，进行分割训练，并达到较高的预测精度。而这类数据集也是容易生成的，这将在一定程度上减少影像标注的资金投入。但是，在许多遥感应用中，需要进一步工作来弥补机器学习方法的数据需求和数据可用性之间的差距，以及集成GIS数据平台与深度学习框架，以便大规模应用。

参考文献：

Zhou, B.; Lapedriza, A.; Xiao, J.; Torralba, A.; Oliva, A. Learning Deep Features for Scene Recognition using Places Database. In Advances in Neural Information Processing Systems 27; Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N.D., Weinberger, K.Q., Eds.;  Curran Associates, Inc.: Dutchess County, NY, USA, 2014; pp. 487–495.

Remote Sensing (ISSN 2072-4292; IF:4.509) 是一个与遥感学科相关的国际型开放获取期刊。其期刊范围涵盖遥感科学所有领域，从传感器的设计、验证和校准，到遥感在地球科学、环境生态、土木建筑等各方面的广泛应用。Remote Sensing采取单盲同行评审，一审周期约为19天，文章从接收到发表仅需2.9天。

识别二维码

阅读英文原文

原文出自Remote Sensing期刊

Wang, S.; Chen, W.; Xie, S.M.; Azzari, G.; Lobell, D.B.Weakly Supervised Deep Learning for Segmentation of Remote Sensing Imagery. Remote Sens. 2020, 12, 207.

往期回顾：

版权声明：

*翻译作者：Bob Du

*本文内容由MDPI中国办公室编辑负责撰写，一切内容请以英文原版为准。如需转载，请邮件联系：

[e-mail]

点击左下方“阅读原文”，了解Remote Sensing期刊更多内容。

喜欢今天的内容？不如点个“在看”吧！