成像专题 | 智能手机显微镜: 单透镜物镜的深度学习成像（Optics & Laser Technology）

智能手机显微镜：单透镜物镜的深度学习成像Smart-phone Phase Contrast Microscope with Singlet Lens and Deep Learning

本期导读

在互联网时代，低成本、轻便、远程通信的显微镜，在野外生物观测和检测仪器中，具有很强的吸引力、应用价值和商业价值。近期，来自南京理工大学、苏州市立医院、浙江大学、苏州大学和中科院长春光机所的研究人员提出了一种基于智能手机的便携式相称显微成像方法。研究的方法与结果以论文Smart-phone phase contrast microscope with a singlet lens and deep learning发表于光学学术期刊《Optics & Laser Technology》上。在光学硬件方面，在外部只设计了一个非球面单透镜，紧密“外挂”在智能手机的后摄像头前，构成了智能手机显微镜的成像部分。同时，本文采用圆形斜照明的方式。在计算成像方面，本文通过深度学习对环形照明图像进一步进行图像对比度提高。基于多个肿瘤组织病理切片样本，通过对实验图像数据进行训练，训练深度学习网络，验证了本文提高图像“衬度”的方法具有明显视觉提升。研究结果为5G+移动互联网时代具有高速远程通信能力的低成本、便携式、相称显微镜提供了有力的实例。

图1. 传统泽尼克相衬显微成像系统光路原理图

图2. 便携式深度学习单透镜手机显微镜示意图（a）单透镜手机显微镜成像示意图；（b）基于GAN深度学习建立环形斜照明图像-相称图像映射关系。

技术路线

该研究内容主要包含光学设计和深度学习两部分。其中光学设计主要是设计具有高截止频率的线性成像单透镜；而深度学习则是利用GAN的深度学习方法来建立环形斜照明图像-相称图像映射关系。1. 光学设计—设计具有高截止频率的线性成像单透镜。

图3. 非球面单透镜 (a)光学设计原理：“黑盒”等效，倒置设计；(b)单透镜实物:黄色圆圈内为通光孔径。

图4. 非球面单透镜加工信息。

图5. 本文单透镜的传递函数曲线（NMTF）与传统高次非球面单透镜对比 (a) 具有高度线性传递函数的非球面单透镜；(b) 视场增大时成像质量变差的传统非球面单透镜。

2. 深度学习——基于GAN深度学习建立环形斜照明图像-相称映射关系。生成器网络的输入图像集为单透镜灰度图像反卷积后的环形照明图像；输出图像集为生成的虚拟“相称”图像。鉴别器的输入图像集为生成器虚拟“相称”图像和真实Zernike图像；输出为0/1概率值。

图6. GAN深度学习虚拟彩色网络示意图，图中OI为环形照明图，GI为生成的高对比度虚拟“相称”图，CI为真实的Zernike相称图。

基于上述研究方案，该研究利用智能手机搭建了相称显微镜的便携实验装置，如图7所示，成像效果如图8所示。

图7. 智能手机相衬显微镜的demo装置 (a)三维设计图，黄色比例尺为3cm；(b)未染色及H&E染色肿瘤组织切片照片；(c)智能手机相衬显微镜照片，蓝色比例尺5cm。

图8  便携式手机显微镜“相称”成像示意图 (a) 商用Zernike相称显微成像；(b) 环形照明智能手机显微成像；(c) 深度学习提高“衬度”后的高对比度显微图像；(d) 明场下的未染色显微图像，几乎透明无图像。对比图(b)和图(c)，发现经过深度学习提升后的图(c)图像对比度有明显提升。

单透镜物镜具有无需组装、装配等优势，大大缩短了显微物镜的产业加工链，降低了产业成本和人力资源成本。基于单透镜物镜的深度学习便携式智能手机显微成像装置，通过深度学习对环形照明图像进一步进行图像对比度提高。基于多个肿瘤组织病理切片样本，通过对实验图像数据进行训练，训练深度学习网络，验证了本文提高图像“衬度”的方法具有明显视觉提升。研究结果为5G+移动互联网时代具有高速远程通信能力的低成本便携式相称显微镜提供了有力的实例。

论文信息：

Bian Y., Jiang Y., Huang Y., et al. Smart-phone phase contrast microscope with a singlet lens and deep learning. Optics & Laser Technology, 2021.

技术细节详见：

https://doi.org/10.1016/j.optlastec.2020.106900

本公众号往期技术解读之“成像专题”亦报道了诸多优秀的计算成像工作，欢迎点击回顾。

* 主要文字由论文作者撰写，所有图片素材均来源于作者原始论文及网络公开资料，该技术分享不做任何商业用途。

回顾与预告

上期回顾：显示专题 | 基于带宽约束优化的无散斑计算全息（OSA OE）欢迎点击查阅

下期预告：不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，穿插新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注。
Contact: [e-mail]

由于近期微信公众号改版因素，部分用户反映更新通知不及时问题，根据网络资料，可以通过在设置里把我们地公众号加星关注实现对我们的支持，也可以通过点击右下角“点赞”和“在看”标识，以便及时收到更新通知，再次感谢大家的理解和支持！

INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台，还望大家多多支持，欢迎来稿，欢迎拍砖。

END