好文推荐 丨 ESRCNN融合模型：Sentinel-2与Landsat-8融合的地表反射率产品制作

主题词

遥感图像时空融合，深度学习模型，Sentinel-2，Landsat-8

时序遥感分析已成为陆地地表监测的常用工具，也是目前遥感研究的热点与难点。尽管Landsat数据提供了目前最长的遥感时间序列数据，但是有效的地表监测仍受限于其时间和空间分辨率。

欧空局发射的Sentinel-2卫星有着与Landsat卫星数据相似的光谱波段，这使得更丰富的时序遥感分析成为可能。

如何协调Sentinel-2(10-20 m)和Landsat-8(30 m)的空间分辨率差异成了时序分析必须解决的问题。

武汉大学邵振峰教授的研究团队联合多位国际同行，包括美国伊利诺伊大学香槟分校付鹏博士、阿拉巴马大学胡蕾秋博士和橡树岭国家实验室刘涛博士，共同发表论文《Deep learning-based fusion of Landsat-8 and Sentinel-2 images for a harmonized surface reflectance product》，扩展了现有的深度学习模型和框架来融合Landsat-8与Sentinel-2图像，解决了传感器空间分辨率差异的问题，让生产长时间Landsat-8和Sentinel-2 联合数据集成为可能。

文章亮点

数据亮点

Sentinel-2(10-20 m)与Landsat-8(30 m)数据：二者的联合数据集使得时间分辨率最高可以达到2天。

方法亮点

使用两步设计的深度学习网络：

•  Sentinel-2空间分辨率自提升网络；

•  Sentinel-2和Landsat-8空间融合网络。

背景

Landsat系列和Sentinel-2卫星搭载的传感器能够协同提供可获取的不同空间分辨率的多光谱数据，应用在植被物候现象观测、农产品估产以及城市变化监测等方面。

综合Landsat和Sentinel-2数据，能够更密集更准确地监测发生在地球表面的各种现象。因此，协同Landsat数据的空间分辨率(30 m)与Sentinel-2数据的空间分辨率(10 m与20 m)有着重要的价值。

方法

通过Landsat-8与Sentinel-2卫星搭载传感器所获取的图像中存在的波段相似性，提出了拓展的超分辨率卷积神经网络（ESRCNN），从而利用多时相Sentinel-2卫星图像提供的10 m与20 m波段提升Landsat-8卫星图像中的30 m波段的空间分辨率。

01

根据Sentinel-2卫星10 m与20 m波段之间的相关性，构建第一阶段的卷积神经网络将20 m波段的空间分辨率提升至10 m，从而获得光谱与空间信息更加丰富的Sentinel-2数据。

02

利用获得的10 m空间分辨率的Sentinel-2数据，构建第二阶段的卷积神经网络将其与Landsat-8卫星30 m空间分辨率的数据进行融合，最终获得10 m空间分辨率的Landsat-8数据。

图1 融合结果

图1中第一行为三个时相的Sentinel-2图像，第二行和第三行的三列分别对应原始的30 m Landsat-8图像，融合得到的30 m Landsat-8图像和融合得到的10 m Landsat-8图像。

结果

与ATPRK(Area-To-Point Regression Kriging)方法相比，本文方法在主观与客观评价中，均获得了更好的融合效果。

图2 本文方法与ATPRK方法在第一组测试数据上获得的融合图像与参考图像对比图

图3 本文方法与ATPRK方法在第二组测试数据上获得的融合图像与参考图像对比图

主要结论

• ESRCNN在保证较高的精度的同时，能自由调整辅助Sentinel-2图像的数目将30 m空间分辨率的Landsat-8数据提升至10 m。

• 在融合过程中，ESRCNN能够学习到地表覆盖变化，并在结果中做出准确预测。

• ESRCNN较之ATPRK能更好地保留Landsat-8图像原始的地表反射率分布。

论文题目

Deep learning-based fusion of Landsat-8 and Sentinel-2 images for a harmonized surface reflectance product

发表期刊

Remote Sensing of Environment

全文论文链接

https://www.sciencedirect.com/science/article/pii/S0034425719304444

第一作者简介

邵振峰，武汉大学测绘遥感信息工程国家重点实验室教授。研究方向为城市遥感，遥感影像处理，深度学习以及计算机视觉。

E-mail: [e-mail]

ResearchGate: 

https://www.researchgate.net/profile/Zhenfeng_Shao2

通讯作者简介

蔡家骏，武汉大学测绘遥感信息工程国家重点实验室硕士，香港中文大学在读博士。研究方向为遥感影像质量改善，城市遥感以及深度学习。

E-mail: [e-mail]

ResearchGate: 

https://www.researchgate.net/profile/Jiajun_Cai2

通讯作者简介

付鹏，博士，美国伊利诺伊大学香槟分校（University of Illinois at Urbana-Champaign）研究人员。研究方向为城市及农业生态系统、环境建模、数据融合以及高性能计算。

Email: [e-mail]

ResearchGate: 

https://www.researchgate.net/profile/Peng_Fu

相关论文

Shao Z F, Cai J J. Remote Sensing Image Fusion with Deep Convolutional Neural Network. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(5): 1656–1669.

https://ieeexplore.ieee.org/document/8314460

曹琼,马爱龙,钟燕飞,赵济,赵贝,张良培.2019.高光谱-LiDAR多级融合城区地表覆盖分类.遥感学报,23(5):892-903

http://www.jors.cn/jrs/ch/reader/view_abstract.aspx?file_no=ygxb-23-5-caoqiong&flag=1

杨军明,吴昱,魏永霞,王斌,汝晨,马瑛瑛,张奕.2019.多源数据融合的高时空分辨率植被指数生成.遥感学报,23(5):935-943

http://www.jors.cn/jrs/ch/reader/view_abstract.aspx?file_no=ygxb-23-5-yangjunming&flag=1

张立福,彭明媛,孙雪剑,岑奕,童庆禧.2019.遥感数据融合研究进展与文献定量分析(1992—2018).遥感学报,23(4):603-619

http://www.jors.cn/jrs/ch/reader/view_abstract.aspx?file_no=ygxb-23-4-zhanglifu&flag=1

柳文杰,曾永年,张猛.2018.融合时间序列环境卫星数据与物候特征的水稻种植区提取.遥感学报,22(3):381-391

http://www.jors.cn/jrs/ch/reader/view_abstract.aspx?file_no=ygxb-22-3-liuwenjie&flag=1

张猛,曾永年.2018.融合高时空分辨率数据估算植被净初级生产力.遥感学报,22(1):143-152

http://www.jors.cn/jrs/ch/reader/view_abstract.aspx?file_no=ygxb-22-1-zhangmeng&flag=1

图片来源于网络

期待

久别重逢的樱

别来无恙的你

喧闹如初的城

等待

花开得胜

英雄的城市

武汉 加油

资源分享

资源分享第二弹，数据资料大荟萃

资源共享第一弹，在哪儿都能好好学

编辑推荐

专家报告

编辑：薇薇

审校：雪儿

指导：梧桐君

声明

欢迎转载、转发本号原创内容，转载信息请与本号联系授权，标注原作者和信息来源为《遥感学报》。

本号转载信息旨在传播交流，其内容由作者负责，不代表本号观点。文中部分资料（文字、图片等）来源于网络，如涉及作品文字、图片等内容、版权和其他问题请在20日内与本号联系，我们将在第一时间处理。《遥感学报》拥有最终解释权。

微信加群

为便于学术交流，提供优质服务，《遥感学报》建立了微信群。需要加群的小伙伴，请加小编个人微信入群，并备注：姓名+单位。营销广告者勿扰。

微推转载、合作联系：

E-mail：[e-mail]  或  微信后台留言。

投稿网站:http://www.jors.cn

好看就点这里哦