科研速递 | 理工学院潘文安教授团队在遥感领域国际期刊IEEE TGRS发表两篇基于大模型以及扩散模型的文章

香港中文大学（深圳）理工学院潘文安教授团队一个月内在遥感领域国级期刊IEEE Transactions on Geoscience and Remote Sensing发表两篇文章。该期刊是地球科学和遥感领域的顶级期刊之一，是IEEE地球科学与遥感技术协会（GRSS）会刊，在全球地球科学领域期刊中国际影响力排名前五，为中科院一区期刊，2023年影响因子7.5，在遥感技术和地球科学领域具有较高影响力。

01

DF4LCZ: A SAM-Empowered Data Fusion Framework for Scene-Level Local Climate Zone Classification

论文链接：https://ieeexplore.ieee.org/document/10556641

论文简介

局部气候区（LCZ）是一个标准化的城市土地类型分类框架，常用于分析不同城市区域的热特征，是研究城市热岛现象的重要工具。近年来，遥感技术的进步推动了局部气候区分类（LCZ classification）技术的发展。然而，传统使用卷积神经网络（CNNs）的遥感分类方法在有效结合地面物体先验知识方面有所欠缺。同时，LCZ分类中常用的哨兵2号数据源在捕捉地表对象细节方面也存在困难。为了解决这些问题，本工作提出了一种新颖的数据融合方法——DF4LCZ。该方法结合了高分辨率谷歌地球RGB影像和哨兵2号多光谱影像，融合了基于实例的位置特征和场景级空间-光谱特征。这个框架通过图卷积网络（GCN）模块和分割大模型（SAM）增强了从谷歌影像中提取特征的能力。同时，采用3D-CNN架构提取哨兵2号影像的光谱-空间特征。此外，通过在多源遥感图像数据集上进行实验，我们验证了DF4LCZ的有效性。

Figure 1 本项目提出的LCZ识别模型结构

文章的主要贡献

1

鉴于哨兵2号卫星影像的局限性，本研究首次提出利用高分辨率谷歌地球影像来提升LCZ分类性能；

2

提出了一个双流融合框架DF4LCZ，将基于实例的位置特征与场景级空间-光谱特征相结合，从它们的互补性中获得协同效益；

3

在该框架中，DF4LCZ使用分割大模型SAM从谷歌地球RGB图像中提取地面实例，并通过图卷积网络GCN从这些地面实例中提取场景判别特征并进行分类。此外，DF4LCZ还引入了3D ResNet11模块，用于从哨兵2号影像中提取空间-光谱特征；

4

利用哨兵2号多光谱和谷歌地球RGB图像构建了多源遥感图像数据集LCZC-GES2，并在该数据集上进行了多种实验，验证了DF4LCZ方法的性能。

02

Diffusion Enhancement for Cloud Removal in Ultra-Resolution Remote Sensing Imagery

论文链接：https://ieeexplore.ieee.org/document/10552304

论文简介

云层的存在严重损害了光学遥感图像的质量和有效性。然而，现有的基于深度学习的去云技术在准确重建图像的原始视觉真实性和详细语义内容方面遇到一些困难。为了应对这一挑战，这项工作在数据和方法方面进行了一系列改进。在数据方面，本论文建立了一个名为CUHK-CR的超高分辨率去云数据集，其空间分辨率为0.5米。该数据集包含了丰富的细节纹理信息和多样化的云覆盖类型，并为设计和评估去云模型奠定了坚实的基础。在方法方面，本论文提出了一种基于扩散模型的去云框架，称为扩散增强模型。该框架旨在逐步恢复纹理细节，并利用视觉先验提供图像的基础结构来提高推理精度。此外，本论文设计了权重分配网络来动态调整特征融合的权重，在超高分辨率图像上可以进一步提高去云性能。在训练方法上，本论文应用从粗到细的训练策略来有效地加快模型收敛，同时降低处理超高分辨率图像所需的计算复杂度。下图展示了一个基于港中大（深圳）校区的卫星可见光影像的去云案例。最左边为无云的地面真实值，中间为被云层遮挡的卫星影像。通过对被云层遮挡的卫星影像的有效处理，本项目提出的去云模型输出的去云后的影像（最右边）能高度还原地面真实值（最左边）。

Figure 2 基于港中大（深圳）校区的卫星影像的去云案例。从左到右分别是地面真实值，被云层遮挡的可见光影像（输入）以及去云后的影像（输出）

文章的主要贡献

1

提出了一种扩散增强网络（DE），以恢复云层覆盖下的地表景象。所提出的DE网络将全局视觉信息与渐进扩散恢复相结合，增强了捕获数据分布的能力。因此，它在推理过程中善于利用Reference model先验来预测详细信息；

2

设计了一个权重分配网络来计算自适应加权系数，用于融合扩散模型的中间去噪图像与Reference model生成的除云结果。因此，在最初的步骤中，Reference model有助于粗粒度的内容重建，而扩散模型则专注于在后续阶段生成丰富的细节信息。此外，我们采用从粗到细的训练策略来稳定与加速DE的收敛速度；

3

最后，建立了一个名为CUHK-CR的超高分辨率去云数据集，以评估针对不同类型云覆盖的去云方法。我们的数据集包括具有多光谱信息的668张薄云图像和559张厚云图像。据我们所知，我们的0.5m数据集是所有现有去云数据集中空间分辨率最高的。

03

主要作者简介

通讯作者：香港中文大学（深圳）潘文安教授。

潘文安，香港中文大学（深圳）理工学院副教授。于1996年获得香港中文大学电子工程学士学位，1999年获得日本筑波大学计算机科学硕士学位，2006年获得南加州大学电气工程博士学位。从2006年到2008年，他在普林斯顿大学进行博士后研究。

在2015年加入香港中文大学（深圳）之前，他在新泽西州华为（美国），波士顿三菱电气研究实验室（MERL）和日本东京索尼担任过研究职位。潘文安教授的研究兴趣包括人工智能物联网和机器学习在通信和卫星遥感中的应用。

潘文安教授已获得IEEE VTC’06 Fall，IEEE ICC’08和IEEE InfoCom’09的最佳论文奖。他在2010年至2014年担任IEEE  Transactions on  Wireless  Communications的副编辑。他是深圳IEEE联合SPS-Comsoc分会的创始主席。

第一篇文章的第一作者：香港中文大学（深圳）2022级博士生吴倩倩。

吴倩倩，分别于2019年和2022年获得中国地质大学（武汉）自然地理与资源环境专业学士学位和地图制图学与地理信息工程专业硕士学位。她目前正在香港中文大学（深圳）攻读博士学位。她的主要研究方向包括数据融合、深度学习、遥感图像处理等。

第二篇文章的第一作者：香港中文大学（深圳）2022级硕士生隋佳璐。

隋佳璐，于2021年获得山东大学计算机科学与技术学士学位。她目前正在香港中文大学（深圳）攻读硕士学位。她的主要研究方向是：遥感、机器学习、超分辨率、图像增强等。她曾作为访问学生在北京大学做短期访问。

供稿 | 潘文安教授团队

【END】

点击以下链接，进入理工时刻：