成像专题 | 显微成像中深度学习实现单透镜消色差（APL Photonics）

显微成像应用之基于深度学习的单透镜消色差成像

Deep Learning Virtual Colorization Overcoming Chromatic Aberrations in Singlet Lens Microscopy

本期导读

与多镜片组成的成像镜头相比，单透镜物镜具有无需精确组装和精密测试的天然优势，有利于缩减光学镜头产业的工艺步骤。尤其是在光学显微成像应用中，与基于同轴全息原理的无透镜显微成像相比，单透镜成像在自然光照明、长工作距离、荧光成像等应用场景，具有显著优势。由单一材料制作而成的单透镜（Singlet lens），仅通过一次曝光成像，很难实现光谱色散矫正。因此，来自南京理工大学（朱日宏教授课题组）、苏州市立医院（沈韧斌主任团队）、苏州大学（杨晓飞研究员课题组）、长春光机所（邓伟杰主任团队）和浙江大学（匡翠方教授课题组）的科研人员，针对病理切片的显微成像的特定场景，提出了利用深度学习的方法，建立单次曝光获取的灰度图像与RGB彩色图像之间的映射深度卷积神经网络，实现了虚拟彩色成像。基于此方法，研究人员展示了H&E染色的肿瘤切片在单透镜显微成像系统中的应用。该研究的方法与结果，以论文"Deep learning virtual colorization overcoming chromatic aberrations in singlet lens microscopy"近期发表于光学学术期刊《APL Photonics》。

图1. 深度学习助理单透镜显微成像消色差示意图。（a）单透镜显微成像示意图；（b）基于GAN深度学习建立灰度-彩色映射关系；（c）实际使用时的卷积过程示意图。

技术路线

该研究内容主要包含两部分研究内容，光学设计：设计具有高截止频率的线性成像单透镜；深度学习：基于GAN深度学习建立灰度—彩色映射关系。

• 光学设计—设计具有高截止频率的线性成像单透镜

深度学习方法不可能“无中生有”地“创造”图像信息。该研究内容首先设计了一个由双面偶次非球面构成地单透镜，该单透镜具有如下特殊性质（如图2）。第一，在某一个波长光照明下，该单透镜在物方0-2.5mm视场范围内，具有高度的线性成像性质，表现为MTF传递函数曲线的高度一致性。第二，在某一个波长光照明下，该单透镜具有逼近“衍射极限”的截至频率。

图2. （a）偶次非球面单透镜示意图。（b）在蓝光照明时，物方0-2.5mm视场时的MTF曲线；（c）在绿光照明时，物方0-2.5mm视场时的MTF曲线；（d）在红光照明时，物方0-2.5mm视场时的MTF曲线。

• 深度学习：基于GAN深度学习建立灰度—彩色映射关系

生成器网络的输入图像集为单透镜灰度图像反卷积后的图像；输出图像集为生成的虚拟彩色图像。鉴别器的输入图像集为生成器虚拟彩色图像和真实彩色图像；输出为0/1概率值。

图3.  GAN深度学习虚拟彩色网络示意图。（a）生成器网络；（b）鉴别器网络

实验结果

图4. 不同波长LED照明光下的灰度图像转变为彩色图像的结果图。灰度图像为单透镜直接采集图像的反卷积后的图像；深度学习虚拟彩色图像几乎与RGB探测器采集图像的色彩一致。

为了评估蓝光、绿光和红光照明下的灰度图像本身信息，对该研究的虚拟彩色渲染效果的影响，该研究内容还对比了蓝光、绿光和红光照明下200组虚拟彩色图像数据（如图5）。

图5.  在蓝光 / 绿光/ 红光LED照明下拍摄200组图像，以评估单色照明光对H&E染色病理切片的深度学习虚拟彩色成像方法（以图像领域广泛认可的PNSR和SSIM为评价标准）。在蓝光LED照明下，PNSR为25.906，SSIM为0.87；在绿光LED照明下，PNSR为27.59，SSIM为0.92；在红光 LED照明下，PNSR为28.61，SSIM为0.91。

研究结论

该研究展示了在针对染色病理切片时，能够使用深度学习虚拟彩色渲染的方法，克服单透镜成像的光谱色散困扰。研究内容的亮点在于，在硬件方面极其简单：单色LED照明，偶次非球面单透镜和普通灰度CMOS图像传感器。在算法方面，设计了一个GAN深度学习网络，实现灰度图像的虚拟彩色渲染。此外，出于实验对比目的，实验人员通过对比不同谱段LED照明的实验结果，认为对于H&E染色切片，绿色LED照明和红色LED照明将提供比蓝色LED照明更好的PSNR和SSIM。此外，该项研究也可以迁移到其他单色光照明成像系统（例如相干光）和其他单透镜成像系统（例如衍射表面和超表面）。

论文信息：

Yinxu Bian, Yannan Jiang, Yuran Huang，Xiaofei Yang, Weijie Deng，Hua Shen, Renbing Shen, and Cuifang Kuang, Deep learning virtual colorization overcoming chromatic aberrations in singlet lens microscopy. APL Photonics 6, 031301 (2021).

技术详见：

https://aip.scitation.org/doi/10.1063/5.0039206

* 主要文字由论文作者 Yinxu Bian 撰写，所有图片素材均来源于作者原始论文及网络公开资料，该技术分享不做任何商业用途。

回顾与预告

上期回顾：显示专题 | 球面和平面混合波面重建的全息Maxwellian近眼显示 (OSA OE)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END