成像专题 | 深度学习实现彩色PIE无透镜显微成像（Optics and Lasers in Engineering）

深度学习实现彩色PIE无透镜显微成像

Deep learning colorful ptychographic iterative engine lensless diffraction microscopy

本期导读

Ptychographic 迭代法 (PIE) 是一种用于相干无透镜衍射成像的算法。它可以通过移动光源或生物医学病理样本载玻片来无限制地扩展成像视场，极大地促进了低成本大视场 (FOV) 无透镜显微镜系统的发展。在 PIE无透镜显微成像系统中，照明光需要具有部分相干性，难以采用白光等混合光照明。因此，如果要获得彩色显微镜图像，传统 PIE 无透镜显微成像系统中需要 3 个以上具有不同主波长的照明光源，大大增加了图像数据、PIE迭代计算时间和系统的复杂性。来自南京理工大学、苏州市立医院、苏州大学、中科院长春光机所和浙江大学的联合研究团队，提出了一种基于深度学习颜色转移方法的改进 PIE，以实现单色照明光下的彩色大视场无透镜显微镜成像。该方法仅使用一个部分相干光源，采集的图像数据比传统彩色 PIE 显微镜在多色照明下的图像少三倍。通过深度学习颜色转移方法增强的单色照明的彩色 PIE 显微镜将有助于开发低成本的大视场无透镜显微镜。该研究的方法与结果以论文形式发表于光学学术期刊《Optics and Lasers in Engineering》上。

图1  PIE无透镜显微成像方法原理图。(a) PIE无透镜显微成像系统图；(b) PIE无透镜显微成像示意图；(c)（相对）孔径平移路径图。

图2 单色照明的彩色 PIE 显微成像算法流程示意。

技术路线

该研究主要包含两部分研究内容：

       1. 单色照明PIE无透镜成像系统的数据采集与恢复。

图3  PIE迭代恢复无孪生像显微图像

图 3 是PIE迭代恢复无孪生像显微图像的示意图。与夫琅禾费衍射 PIE 不同，该研究的 PIE 无透镜显微成像方法基于菲涅耳衍射。病理切片与 CMOS 图像传感器之间的间隙仅为 ~0.5-1mm。圆形光阑和 CMOS 图像传感器的 x-y 坐标/位置是固定的。而病理组织幻灯片沿 x-y 轴精确移动。这些 x-y 位移相当于圆形孔径的位移。每个相邻孔径对的面积重叠为 80%。当等效光阑位于第一个位置时，CMOS 图像传感器沿 z 轴移动约 50μm 以记录 2 个不同的散焦全息图，它们将执行强度传递方程 (TIE) ，以获得PIE迭代的初始化值。然后，当等效孔径移动到新的 x-y 位置时，CMOS 图像传感器会记录相关的菲涅耳衍射图案。不同位置的菲涅尔衍射距离均由自动聚焦（autofocus）算法标定得到。等效孔径的位移，也由图像相关算法标定得到（准确度为像素级）。最后，执行PIE迭代算法。
2.  深度学习：基于GAN深度学习建立单色灰度图像与虚拟彩色图像的映射关系。

图4 基于GAN框架的深度学习色彩迁移示意图

实验结果

图 5 无透镜大视场彩色PIE显微成像结果。成像区域为12mm*7.9mm。黄色比例尺大约1.5mm。

图6  图像对比：单色灰度 PIE 显微图、彩色 PIE 显微镜和常规 RGB 明场显微图像。左上角的黑色比例尺约为 200 μm。幅值图像的灰度为 [0, 255]。

图7 彩色 PIE 显微图像和传统 RGB 明场显微图像的视觉比较。左上角的黑色比例尺约为 200 μm。

• 结论

该研究提出了一种基于深度学习的计算颜色转移方法来增强 PIE 无透镜显微镜。仅在一种准色光照明下， PIE 无透镜显微成像系统实现彩色显微镜成像。实验和数据表明，仅 G LED 照明下的 PIE 无透镜显微系统，经过深度学习颜色转移方法增强后，获得了能够与彩色明场商用显微相媲美的彩色图像，这证明了所提出概念的有效性和稳健性。通过深度学习颜色转移方法增强的彩色 PIE 显微镜将有助于开发低成本的超大视场无透镜显微镜。论文信息：

• Y. Bian, Y. Jiang, J. Wang, S. Yang, W. Deng, X. Yang, R. Shen, H. Shen, and C. Kuang, Deep learning colorful ptychographic iterative engine lens-less diffraction microscopy, Optics and Lasers in Engineering, Volume 150, 2022, 106843, 
  

技术详见：

https://doi.org/10.1016/j.optlaseng.2021.106843.

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前关于成像的相关报道，点击以下链接查阅。

回顾与预告

上期回顾：显示专题 | 注视点渲染加速光场合成 (Optica AO)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！



END