Nat Methods: 李栋/戴琼海团队开发深度学习超分辨显微成像方法

责编 | 兮

来源 | BioArt

近年来，基于卷积神经网络（Convolutional Neural Network，CNN）的深度学习算法在单张自然图像超分辨（Single Image Super Resolution，SISR）领域取得了巨大的进展，可将输入的低分辨率模糊图像上采样为细节清晰的高分辨率图像。目前，这些深度学习超分辨算法正快速运用到显微成像领域，例如：将单张宽场荧光显微图像作为超分辨神经网络的输入，即可得到突破衍射极限分辨率的超分辨图像输出【1, 2】。但与自然图像超分辨任务有所区别的是，超分辨荧光显微成像需要的不仅是视觉效果上的提升，更重要的是超分辨重建的结果必须保真、可信，才能服务于生物医学研究。然而，面对复杂度多样的生物结构，以及不同信噪比和分辨率的显微成像条件，现有超分辨神经网络模型与传统超分辨成像方法相比孰优孰劣？以及在不同成像条件下，生物学家在多大程度上能够信任这些模型的输出结果？是否可以利用显微成像的特点进一步提升超分辨神经网络的性能？以及这些超分辨神经网络是否能应用到生物医学研究中，并发现新现象？这些基本问题在这一新兴领域依然处于未知。

2021年1月21日，中国科学院生物物理所李栋课题组与清华大学自动化系、清华大学脑与认知科学研究院戴琼海课题组在Nature Methods杂志以长文（Article）形式发表题为Evaluation and development of deep neural networks for image super-resolution in optical microscopy的论文，用自主开发的多模态结构光照明超分辨显微镜（Multi-modality Structured Illumination Microscopy）采集了可用于深度学习模型训练的高质量公开数据集BioSR，并提出测评矩阵（assessment matrix）方法，从多个维度综合分析了现有超分辨卷积神经网络模型对于显微图像的超分辨性能，在此基础上，该论文深度挖掘图像超分辨过程中的频域特征，提出傅立叶域注意力卷积神经网络（Deep Fourier Channel Attention Network, DFCAN）和傅立叶域注意力生成对抗网络（Deep Fourier Generative Adversarial Network, DFGAN），相较于其他超分辨CNN模型，DFCAN和DFGAN可以在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨图像重建效果，进一步提升了超分辨活细胞成像的性能，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。

为测评现有多种超分辨神经网络在显微图像超分辨任务中的表现，以及建立基于深度学习的显微图像超分辨算法研究生态，李栋/戴琼海联合课题组首先利用自主搭建的整合了TIRF-SIM、Nonlinear-SIM【3】和GI-SIM【4】等多种超分辨成像模态的多模态结构光超分辨显微镜系统对不同生物结构进行成像，建立了一个包含四种不同复杂度的生物结构、九档信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高质量超分辨显微图像公开数据集，命名为BioSR。以此为基础，该团队测试了多个现有超分辨神经网络模型的性能，如SRCNN、EDSR、Pix2Pix、RCAN等，并提出测评矩阵（assessment matrix）方法，将超分辨神经网络模型与传统Linear-SIM和Nonlinear-SIM的效果进行比较，得到了不同模型的优越区域（priority region），即给出了不同模型实现足够好的超分辨成像效果，能够用于日常生物成像实验的成像条件。

图1. 傅立叶域注意力机制框架图。图示为DFCAN和DFGAN中的傅里叶域注意力机制（Fourier Channel Attention Mechanism）实现方式，即对网络中的特征图做傅立叶变换后取强度谱，再通过全局平均池化（global average pooling）和筛选机制（self-gating mechanism）获得每个特征图的权重后对其进行自适应加权。

图2. DFCAN与RCAN的SISR效果对比。(a) 宽场照明（WF）显微图像、真值超分辨显微图像（GT-SIM）、RCAN超分辨图像、DFCAN超分辨图像对比；(b) 图a中箭头示意的荧光强度轮廓线，DFCAN超分辨图像的结果比RCAN更接近GT-SIM；(c) DFCAN超分辨图像在均方差（NRMSE），结构相似度（MS-SSIM），和分辨率（Resolution）等指标上均比RCAN更接近GT-SIM。

但通过分析评测矩阵结果发现，现有超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升2倍分辨率（即Linear-SIM）的成像条件下，而在生物成像实验通常使用的中、高信噪比条件下的性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中的适用范围，提升超分辨成像和重建效果，李栋/戴琼海联合课题组基于高、低分辨率图像频谱覆盖范围的显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其它超分辨神经网络模型更鲁棒的显微图像超分辨预测效果，依据测评矩阵结果，其优越区域可以拓展至中、高信噪比成像条件，可在实际生物成像实验中替代现有超分辨成像方法，大大拓展了深度学习超分辨成像方法的适用范围。

图3. 本文提出的傅立叶域注意力生成对抗网络（DFGAN）超分辨成像方法在低信噪比条件下的成像效果优于海森结构光超分辨方法（Hessian-SIM）【5】。

使用DFCAN和DFGAN单张显微图像超分辨成像方法（DFCAN-SISR和DFGAN-SISR），李栋/戴琼海联合课题组在低激发功率的拍摄条件下对COS-7细胞中的线粒体内膜和线粒体拟核进行了动态活体双色成像，成像时程（>1000张超分辨图像）达到传统活细胞超分辨成像方法的10倍以上，并成功观察到伴随着线粒体内脊形变的拟核分离和聚合现象，这表明在动物细胞内，线粒体内脊的形变可能调控着线粒体拟核的分布和形态。此外，他们还观察到在活细胞中环形线粒体会在细胞质流的推动下进行双向旋转，这表明除植物细胞外，动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态。

图4. DFCAN和DFGAN超分辨活细胞成像示例。（a）COS-7细胞中线粒体内脊和线粒体拟核的双色DFCAN/DFGAN-SISR成像揭示线粒体内脊形变，以及随之发生的拟核分离和聚合现象；（b）GI-SIM超分辨活细胞成像发现类似的内脊形变与拟核分离协同的动态过程，验证了DFCAN/DFGAN-SIM与GI-SIM超分辨活细胞成像效果类似，可获得高保真超分辨动态信息。

DFCAN和DFGAN还可扩展用于结构光照明原始数据的超分辨重建（DFCAN-SIM和DFGAN-SIM），即输入多张结构光照明原始数据，输出对应超分辨图像。相较于SISR，DFCAN-SIM和DFGAN-SIM的超分辨重建结果更为准确。李栋/戴琼海联合课题组利用DFCAN-SIM和DFGAN-SIM在低激发功率的拍摄条件下对活细胞进行多色超分辨成像，发现COS-7细胞内吞过程中细胞微丝（F-actin）和网格蛋白小窝（CCPs）在内吞初始阶段相互作用较少，而在内吞即将结束时二者之间的相互作用大量增加；验证了线粒体的分裂和融合往往发生在其与内质网的接触位点附近。这些实验结果表明DFCAN-SIM和DFGAN-SIM能够在更低荧光信号成本的成像条件下获得与传统超分辨显微镜技术媲美的成像效果，从而扩大传统超分辨成像技术的适用范围，并为超分辨光学显微成像技术的进一步发展开拓新的技术路径。

图5. 基于DFCAN和DFGAN结构光超分辨重建的活细胞成像。(a) COS-7细胞中线粒体和内质网的双色成像；(b) 在内质网与线粒体接触位点线粒体分裂的延时图像；(c) 在内质网与线粒体接触位点线粒体融合的延时图像。

清华大学自动化系博士生乔畅、中国科学院生物物理研究所副研究员李迪、博士后郭玉婷、博士生刘冲为该论文共同第一作者，中国科学院生物物理所李栋研究员和清华大学自动化系戴琼海教授为共同通讯作者。
李栋课题组现有多个科研岗位需求，欢迎光学工程、自动化、物理、细胞生物学等方向的优秀博士生来电咨询申请（[e-mail]）。

原文链接：https://doi.org/10.1038/s41592-020-01048-5 

参考文献

1.Weigert, M. et al. Content-aware image restoration: pushing the limits of fluorescence microscopy. Nat Methods 15, 1090-1097 (2018).2.Wang, H. et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy. Nat Methods 16, 103-110 (2019).3.Li, D. et al. Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics. Science 349, aab3500 (2015).4.Guo, Y. et al. Visualizing Intracellular Organelle and Cytoskeletal Interactions at Nanoscale Resolution on Millisecond Timescales. Cell 175, 1430-1442 e1417 (2018).5.Huang, X. et al. Fast, long-term, super-resolution imaging with Hessian structured illumination microscopy. Nat Biotechnol 36, 451-459 (2018).

制版人：老翅膀(BioArt)

欢迎加入超过 20000人的

全球最大的华人脑科学社群矩阵