成像专题 | 光-电混合计算优化实现多摄融合三维定位显微 (Optica Optics Letters)

光-电混合计算优化实现多摄融合三维定位显微

Deep learning multi-shot 3D localization microscopy using hybrid optical–electronic computing

本期导读

定位显微技术(LM)为生物学研究提供了一个强大的研究细胞生物学的工具，例如，通过特征化纳米分辨率的亚细胞结构，探索运动蛋白动力学，以及绘制组织内部RNA用于空间转录。最近出现了多种三维定位显微技术具有较高的轴向定位精度，这使得它成为生物医学成像不可或缺的工具。然而，目前的三维定位显微技术在对标记密集的厚生物样本的成像能力较弱，一般无法探测到样本中密集的发光点，采集速度和成像深度有限，从根本上限制了三维定位显微的实际应用。

鉴于此，来自斯坦福大学（Stanford University）的研究人员提出了一种光-电混合计算方法，该方法对光学编码器（一组同时成像的三维点扩展函数）和电子解码器（基于神经网络的定位算法）进行联合优化，获取显微镜的最佳三维定位性能。通过大量的模拟和生物实验进行验证对比，基于深度学习的多摄三维定位显微的定位精度显著优于现有方法，特别是在极具挑战的大深度范围、高分子密度的场景下表现更加出色。该研究工作近期以论文形式发表于光学领域顶级期刊《Optics Letters》上。

技术路线

技术实现上，系统实现框架如图1所示。该系统中，采用二色镜将照明和探测光路分开。在探测光路中，采用了双路的编码图像采集。该混合光电显微镜对光学编码器和电子解码器进行联合优化，并使用高阶损耗函数，在特定的实验条件下使三维定位性能最优。在训练过程中，生成模拟了具有特定密度、深度范围、光子计数和背景的发光点体空间。采用描述多光路优化相位掩膜的Gibson-Lanni PSF模型，去模拟大量荧光点在光学编码二维传感器图像上的投影。光学编码器中深度相关点扩展函数通过相位掩模对其自由度进行参数化。解码器的结构基于3D U-Net的卷积神经网络。通过训练，优化了相位掩码参数和解码器卷积神经网络的权值。通过“端到端”的训练流程，加工好的相位掩模被安装在显微镜中的两个探测光路中。最终，将真实显微镜获取的传感器图像直接输入训练好的网络中去完成三维定位。

图1. 系统结构示意。(a) 系统说明：显微镜采用二色镜将照明和探测光路分开。探测光路分为两路，包含滤光片、多个透镜、分束镜、两个相位掩膜板以及两个sCMOS传感器。（b）通过基于神经网络的定位算法优化的两个相位掩膜；（c）两个探测光路中测量的与深度有关的PSF；（d）光学编码器的基本结构：两个传感器拍摄的编码图像集作为3D U-net的输入，重建样本体空间中发光点的三维定位图像。

图2展示了该系统与传统PSF工程方法的比较。可以发现，在中密度和高密度条件下，本文提出的端到端优化的多重拍摄PSF可实现了更好的3D定位性能。

图2. 与传统方法的三维定位性能（Jaccard指数）比较。

为了验证制备的DOEs作为光学掩膜的光学性能，利用显微镜位移台沿光轴方向8um范围内移动单个直径175 nm的荧光珠，获取双探测光路的PSF分布情况，模拟和实验结果如图3所示。实际拍摄的图像与仿真结果基本一致，但也存在小幅的轴向延伸，可以通过优化拟合进行改善。

图3. 该系统在8um深度范围及双光路探测情况下的三维PSF分布。第一行：优化模拟结果；第二行：实验拍摄结果；第三行：拟合优化结果。

此外，该方法被拓展应用活细胞显微镜中，用于动态跟踪观察吞噬事件。下述视频演示了在设计的8um的深度范围内记录细胞质中的微球。采用提出显微三维定位方法，记录了活细胞内微球运动的30分钟视频。该视频中，(a)和(b)为两个传感器拍摄图像通过延时电影显示动态细胞质的活细胞（比例尺为5um）；(c)为通过该系统拍摄细胞核，细胞质和微球的合成图像；(d) 30分钟内微球在细胞内的估计运动轨迹，单帧图像为30秒，有效像素尺寸为108 nm。

技术小结

该研究利用了多个同时成像的深度相关PSFs以及三维定位网络的端到端优化，极大地提升了在高密度、大深度范围、高背景等复杂场景下的三维定位显微性能。尽管这种方法在在生物实验中可以取得优异的性能，但探索在单分子超分辨率定位显微或空间转录组学中的应用仍是一个极具前景的方向。目前存在的主要挑战在于，如何提高端到端训练的信噪比，这可能需要先进的光学技术或生化处理来提升。相信该研究工作将为具有深度学习功能的计算显微技术在生物学中的应用提供一种新思路。

论文信息：

• H. Ikoma, T. Kudo, Y. Peng, M. Broxton, and G. Wetzstein, "Deep learning multi-shot 3D localization microscopy using hybrid optical–electronic computing," Opt. Lett. 46, 6023-6026 (2021)

技术详见：

https://www.computationalimaging.org/publications/localization-microscopy/

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前计算成像领域相关工作及 Stanford Deep Optics 的报道，点击以下链接查阅。

回顾与预告

上期回顾：显示专题 | 去除振铃伪影的无透镜全息投影（Optica AO）欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END