覆盖5大任务，30+特色模型，高性能、全流程开发套件PaddleRS助力遥感影像智能解译化繁为简
近年来，随着卫星技术的发展和深度学习的火热，基于深度学习的遥感影像智能解译得到了前所未有的关注，并已成功应用于建筑物变化检测、SAR 影像船舶检测、道路提取、多光谱影像分类等任务中。高精度、高速度、自动化的特点为其带来广阔的发展前景。
尽管基于深度学习的解译算法大行其道，遥感领域至今缺乏模型种类丰富、任务覆盖全面、数据处理功能完备的一站式深度学习开源解决方案。同时，视觉领域的成熟方案由于并未较好考虑遥感数据的特性，也难以直接迁移应用到遥感领域。这些困难的存在使得许多初学者对 AI+遥感研究望而却步。
为了解决上述问题，飞桨推出高性能、多任务、全流程的遥感影像智能解译开发套件 PaddleRS。依托国产深度学习框架 PaddlePaddle，PaddleRS 具备工业级训练与部署性能，支持图像分割、目标检测、变化检测、图像复原、场景分类等五大任务，提供从数据准备到模型部署的全流程 AI+遥感开发能力。
PaddleRS 的全景图如下图所示。PaddleRS 从地块分类、船舶检测等产业实际应用出发，以丰富详实的实践案例帮助用户快速上手。
在部署层面，PaddleRS 推出开源业界首个遥感可视化智能解译工具 GeoView，提供轻量级、功能丰富的遥感模型 Web 部署与在线解译方案；
在模型层面，PaddleRS 提供31个开箱即用的视觉、遥感模型，涵盖经典算法与 SOTA 算法；
在数据层面，PaddleRS 提供充分考虑遥感数据特点的数据处理 API 和工具，帮助用户简化繁琐的遥感数据处理流程。针对遥感影像的大幅面性质，PaddleRS 特别提出滑窗推理和影像切片的优化功能。
■ 常见遥感任务的开发能力
PaddleRS 为图像分割、目标检测、变化检测、图像复原、场景分类等遥感领域通用任务提供全流程开发功能支持。针对高光谱影像场景分类、滑坡识别、建筑物生成、无人机影像超分重建等具体任务，PaddleRS 则提供丰富的实践案例以供参考，帮助用户快速跑通流程，而无需查阅 API 文档。目前，PaddleRS 已经集成社区案例16个，覆盖9个遥感子方向。对于在校学习的同学，PaddleRS 特别提供保姆级变化检测科研实战案例，帮助刚接触该领域的同学快速入门。
■ 丰富的遥感特色模型库
PaddleRS 集成12个变化检测模型、5个目标检测模型、4个场景分类模型、7个图像分割模型以及3个图像复原模型。其中，14个模型为学界针对遥感数据特性设计的遥感专用模型，19个模型支持处理具有任意数量波段的输入。所有模型均配套完善的训练、导出和部署教程。同时，为了方便用户进行迁移学习，PaddleRS 提供 Cityscapes、MS COCO、ImageNet 等视觉领域常用数据集和 iSAID、LEVIR-CD 等遥感领域常用数据集上预训练的模型权重，在模型训练时可以一键加载。
■ 顾及遥感特性与地学知识的数据处理
相较其它视觉任务，遥感影像解译任务的数据处理十分繁琐，在科研与工程实践中，往往需要花费大量时间和精力在数据处理上。这是因为相比自然影像，遥感影像具有大幅面、多类型、通道多样等特殊性质。如下图所示，针对遥感影像的特性，PaddleRS 提供一系列 API 和工具集，帮助用户便捷地完成遥感影像读取、影像预处理、数据增强、后处理以及可视化等工作。
在影像读取方面，无论是 JPEG、PNG、BMP 等格式的 RGB/RGBA 图像，GeoTIFF、IMG 等格式的地理空间栅格数据，还是.npy 等格式的原始二进制数据，使用 PaddleRS 的 decode_image() API 均可实现一键读取，并转换为便于深度学习模型处理的数组格式。除此之外，PaddleRS 还可对 SAR 影像自动完成归一化，对传感器获取到的原始 DN 数据自动实施光谱线性拉伸增强，真正做到一个 API 屏蔽遥感影像读取的复杂底层细节。为了进一步方便用户处理格式繁杂的遥感数据，PaddleRS 提供一系列格式转换工具，能够实现栅格-shapefile、GeoJSON-栅格等常见数据格式转换功能。
在影像预处理和数据增强方面，PaddleRS 充分考虑了遥感影像通道多样的性质，设计一套任意数量波段数据通用的数据预处理/增强算子。同时，对于遥感领域常见的多时相和高光谱影像，PaddleRS 提供丰富的多时相数据预处理（如辐射校正、影像配准、时相交换等）和高光谱影像预处理（如波段选择、光谱降维等）方法。对于希望基于开源遥感数据集开展实验的用户，PaddleRS 内置 RSOD、iSAID、UC Merced、SVCD 等影响力较大的开源数据集的预处理脚本，覆盖变化检测、场景分类、目标检测、语义分割等任务，支持开源数据集与 PaddleRS 代码的一键适配。为了充分利用多波段遥感影像丰富的光谱信息，PaddleRS 支持模型训练或推理阶段融入遥感指数特征，可选的遥感指数超过50种，涵盖植被、水体、城镇、雪、燃烧迹地等不同指数类型。
在数据后处理方面，PaddleRS 针对遥感领域具有代表性的道路提取任务和建筑物提取任务，分别提供道路断线连接和建筑边界规则化后处理功能，在模型预测结果的基础上进一步提升识别精度。同时，为了帮助用户更直观地评估模型的预测效果，PaddleRS 支持自动进行地理坐标的匹配，并将模型预测结果渲染到电子地图，效果如下图所示：
■ 针对遥感影像大幅面性质的优化
针对遥感影像大幅面性质，PaddleRS 提出两项优化策略：内存高效的滑窗推理和基于四叉树索引的影像切片。
在处理大幅面影像时，一种常用的策略是使用滑窗推理。然而，传统的滑窗推理算法需要将整幅影像载入内存，且对窗口重叠部分缺乏高效的处理措施。PaddleRS 基于延迟载入内存和局部缓存技术实现了一种内存高效的滑窗推理算法，每次执行推理时仅载入当前窗口范围内的数据，并使用滚动缓存区累积概率，优化窗口重叠部分预测结果，相比传统方法内存用量可减少40%。
在大幅面遥感影像中，我们感兴趣的地物往往只占很小的一部分。在基于原始遥感影像制作数据集时，如果采用均匀网格切片的方式，则很可能得到的大部分影像块都不包含感兴趣地物，或是影像块中前景像素占比很小。为了解决这一问题，PaddleRS 提供基于四叉树索引的遥感影像切片工具，其工作流程如下图所示：
首先，基于原始影像和类别标签构建四叉树。四叉树在前景像素分布密集的区域划分更多层级（在图中体现为小网格），而在仅包含背景像素的区域不进行子树划分（在图中体现为大网格）。在完成四叉树构建后，根据四叉树索引分别从影像和类别标签中提取多尺度影像块及对应的标签。这些影像块中包含不同尺度的关键目标，可直接用于分类模型的训练调优。
■ 业界首个遥感可视化智能解译工具 GeoView
长久以来，遥感领域缺乏影像智能化处理『最后一公里』——交互式解译工具的开源解决方案。无论是商用遥感影像解译平台，还是免费的闭源方案，都不能满足自主可控、自由分发和高度定制的要求。为此，PaddleRS 开源遥感智能解译工具 GeoView，提供一种轻量级、功能丰富的遥感模型 Web 部署与在线解译方案。GeoView 与 PaddleRS 无缝适配，支持变化检测、场景分类、目标检测、图像复原以及地物分类5大解译任务。除基本解译功能外，GeoView 提供遥感影像预处理、解译结果后处理、图像在线编辑、解结果导出、历史记录查询以及在线地图解译等附加功能。GeoView 的源码完全开放，任何人都可以基于 GeoView 发布自己的模型。除此之外，有定制化需求的用户还可基于 GeoView 进行二次开发，修改界面或是添加新功能。如下是 GeoView 的部分功能展示：
>> 进行遥感地物分类
>> 修改解译结果配色方案
>> 查询和浏览历史记录
■ 与百度智能云无缝集成提供完善的行业应用解决方案及行业大模型能力
百度云智慧城市智慧应急解决方案全面集成飞桨遥感能力及百度视觉技术部相关模型，提供遥感洪涝监测、森林火灾监测预警等一系列能力和行业解决方案。其中森林火灾监测预警系统通过飞桨对遥感卫星数据和百度时空数据、气象数据等多模数据的融合与分析，能够及时准确地发现森林火点及其相关的基本信息（发现时间、经纬度、火点亮度、过火面积、持续时间、周边气象条件、火势判别等）。能够全天候全方位对遥感数据进行高效解译分析，对森林火点坐标精准定位，对蔓延趋势进行有效预测，及时对重大火点进行报警，做到尽可能消除漏报，减少误报。实现火险因子实时采集、传输和分析研判；实现火情快速识别、准确定位和灾情实时传输和报警。
遥感洪涝监测系统通过对遥感卫星图像的分析，识别河流、湖泊等水体的分布范围，通过对前后水体分布范围的对比，监测河流、湖泊的水体变化，水体新增或消减，以及水体变化的面积。例行监测支持固定对哨兵1号卫星每12天一个周期的图像进行水体识别，并将前后两次的水体范围进行对比并输出新增或消减的范围和面积。支持采用同一个卫星的图像进行比对，也支持不同卫星的图像进行比对。
🔗详细介绍和体验请访问：
https://cloud.baidu.com/solution/city/baidusmartemergency.html
以上就是 PaddleRS v1.0 版本的主要内容。欢迎大家试用 PaddleRS，并留下宝贵的意见和建议。
🔗PaddleRS 传送门：
https://github.com/PaddlePaddle/PaddleRS
为了更详细地与大家进行交流沟通，我们安排了一场线上直播课。这次的课程我们还邀请到中科北纬的工程师分享飞桨在测绘遥感行业的深度应用与实战，请大家一定不要错过哦。欢迎大家扫码报名参加直播课：
■ 本文中部分配图来源如下
[1]LEVIR-CD 数据集
https://justchenhao.github.io/LEVIR/
[2]Massachusetts Roads Dataset
https://www.cs.toronto.edu/~vmnih/data/
[3]ESA 官网（遵循 JPL 协议）
https://www.esa.int/ESA_Multimedia/Images/2021/09/Hyperspectral_image_cube_showing_Mount_Vesuvius_Italy
[4]RSOD 数据集
https://github.com/RSIA-LIESMARS-WHU/RSOD-Dataset-
[5]LR-Net:Low-Rank Spatial-Spectral Network for Hyperspectral Image Denoising
https://ieeexplore.ieee.org/abstract/document/9580717/
[6]2022数字中国创新大赛：卫星应用赛题——海上船舶智能检测
https://aistudio.baidu.com/aistudio/competition/detail/137/0/introduction
[7]Spatial Procedures for Automated Removal of Cloud and Shadow (SPARCS)Validation Data
https://www.usgs.gov/landsat-missions/spatial-procedures-automated-removal-cloud-and-shadow-sparcs-validation-data
[8]SAR 图像船舶检测数据集
https://github.com/CAESAR-Radi/SAR-Ship-Dataset
[9]USGS 官网
https://www.usgs.gov/faqs/what-digital-elevation-model-dem#multimedia
[10]Season-Varying 变化检测数据集
https://pdfs.semanticscholar.org/ae15/e5ccccaaff44ab542003386349ef1d3b7511.pdf
■ WAVE SUMMIT⁺2022
WAVE SUMMIT⁺2022将于11月30日在深圳举办，欢迎大家扫码关注飞桨公众号，回复 WAVE 提前加入官方社群了解详情。
【WAVE SUMMIT⁺2022报名入口】