科研速递 | 理工学院潘文安教授团队在遥感领域国际期刊IEEE TGRS连续发表两篇文章

近日，香港中文大学（深圳）理工学院潘文安教授团队一个月内在遥感领域国际期刊IEEE Transactions on Geoscience and Remote Sensing 连续发表两篇文章。

01

期刊介绍

IEEE Transactions on Geoscience and Remote Sensing是地球科学和遥感领域的顶级期刊之一，是IEEE地球科学与遥感技术协会（GRSS）会刊。在全球地球科学领域期刊中，国际影响力排名前五，中科院最新升级版分区中为SCI一区期刊，2023年影响因子8.2。

02

论文介绍

论文1

题目：A Multilevel Multimodal Fusion Transformer for Remote Sensing Semantic Segmentation

链接：

https://ieeexplore.ieee.org/document/10458980

论文介绍：

在遥感技术中，将图像中的不同区域（如树木、水域和建筑）进行分类对于地理科学研究至关重要。最新发现表明，综合利用多种数据类型可以显著提高这一任务的效果，远胜于仅依赖单一数据源。然而，目前广泛采用的技术，如卷积神经网络（CNN）和视觉变换器（Vit），在融合这些多样化信息时，常常会忽视关键的细节和整体视角。为了解决这个问题，港中大（深圳）团队设计了一种名为FTransUNet的创新方法。这个方法将CNN和Vit技术结合在一起，从而更高效、准确地从遥感图像中提取并学习信息。它起初利用特定的层次来捕获图像的表层信息，随后通过名为FVit的技术深入挖掘更加复杂的内容和空间联系。整个流程分为三个阶段，这两种技术交替施用，从而更精确地识别各种对象的特征，并有效地整合来自多个渠道的信息。

图1 融合CNN和Transformer的语义分割FTransUNet模型

主要贡献：

1.港中大（深圳）团队对传统视觉变换器进行优化，开发了名为FVit的模型。该模型结合了自注意力（SA）层和一种创新的自适应相互增强注意力（Ada-MBA）层。通过一个精心设计的三阶段架构，FVit在这些层的配合下工作，从而深入地把握图像的整体信息，实现对图像内容的深度理解。

2.港中大（深圳）团队还开发了一种名为FTransUNet的新型模型，该模型融合了FVit与经典的CNN技术。这种结合使得模型能够更有效地学习并处理来自不同源的信息，进而实现更精准的信息融合。FTransUNet通过在多个级别上合并图像的表层细节和更深层次的背景信息，从而提升了对关键语义区域的辨识力，这样在进行遥感图像的语义划分时，准确率得到了显著提高。

论文2

题目：GCD-DDPM: A Generative Change Detection Model Based on Difference-Feature Guided DDPM

链接：

https://ieeexplore.ieee.org/document/10479050/

论文介绍：

近期，深度学习在图像变化检测方面取得了显著进展。目前，主要的技术手段依赖于卷积神经网络和Transformer来探究图像的属性、发现其中的变动，并探讨图像内部各个部分如何相互关联。但是，这些技术在应对多样化场景和精确捕捉细小变化方面，仍然存在局限。为了克服这些困难，港中大（深圳）团队基于机器学习领域最新的扩散模型，提出了一种名为GCD-DDPM的变化检测模型。与传统方法不同，GCD-DDPM直接生成反映变化的图像，这样可以更有效地捕捉细微或不规则的变化。该方法采用了差异条件编码器技术，以更精确地指导变化图像的生成。此外，通过变分推理技术，GCD-DDPM能够在整个过程中自我调节以优化结果。最后，研究团队还开发了一种噪声减少技术，以降低误差并提高变化检测的准确度。

图2 基于扩散模型的GCD-DDPM变化检测模型结构

主要贡献：

1.港中大（深圳）团队提出了专门为检测图片中的变化而设计的一个名为GCD-DDPM的新模型，该模型通过一个叫做自适应校准的技巧，能够慢慢地学习并改善它对数据的理解，这使得它能够很好地区分自然和城市场景中的各种变化。

2.GCD-DDPM能够识别出图片变化前后的特征之间的差异，并且把这些差异信息用在了创建变化图片的过程中。这样的设计可以帮助模型更详细地捕捉到变化的部分。

3.港中大（深圳）团队还设计了一个叫做NSSE的编码器，以减少噪声的负面影响。该设计类似于给信息加上一个过滤器，只留下重要的部分。这个过程对于改善模型提取和理解变化的准确性非常重要，能够使得模型能够更好地区分和识别变化。

03

作者简介

两篇论文的第一作者为香港中文大学（深圳）2021级博士生马献平。

马献平于2019年获得武汉大学地理信息科学学士学位。他目前正在香港中文大学（深圳）攻读博士学位。他曾作为访问学生先后在四川大学、北京大学以及香港中文大学做短期访问。他于2023年获得深圳大运留学基金会奖学金，将前往英国兰卡斯特大学做短期访问。他的主要研究方向包括遥感、机器学习、多模态融合、域适应等。

论文的通讯作者为香港中文大学（深圳）理工学院潘文安教授。

潘文安教授于先后于香港中文大学、日本筑波大学、美国南加州大学获得学士、硕士、博士学位。他从2006年到2008年在普林斯顿大学从事博士后研究。目前，他是香港中文大学（深圳）（CUHK-Shenzhen）理工学院副教授，祥波书院副院长。2015年加入香港中文大学（深圳）前，他在华为（美国），三菱电气研究实验室（波士顿）和日本东京索尼担任过研究职位。潘文安教授的研究兴趣包括人工智能物联网和机器学习在通信和卫星遥感中的应用。

END

点击以下链接，进入理工时刻：