成像专题 | DiLFM:字典学习助力高鲁棒性光场显微成像 (Light: Science & Applications)

DiLFM: 字典学习助力高鲁棒性光场显微成像

DiLFM: an artifact-suppressed and noise-robust light-field microscopy through dictionary learning

本期导读

许多复杂的生命现象通常在毫秒级的时间尺度及微米级空间尺度下发生，需要在三维空间中以高时空分辨率来观察和理解。许多新的技术被提出来满足这一要求，如结合轴向扫描的共聚焦、多光子扫描显微镜、光片显微镜和结构光照明显微镜等技术被，但是这些技术的时间分辨率受到扫描设备速度的严重制约。光场显微镜 (LFM) 通过微透镜阵列 (MLA) 在单个 2D 像感器上捕获 4D 光场，效降低了体成像的光毒性，可以实现单次拍摄对生物样本进行高速荧光体成像。然而，当前的光场显微镜在三维重建时会产生多种伪影，影响生命科学结论。此外，传统光场成像性能在恶劣环境下（如低照度、高噪声）下降严重，无法完成长时程下对光敏感样本拍摄的生命科学任务。近日，来自清华大学的研究人员提出了一种基于字典学习的光场显微成像方法（Dictionary light field microscopy, DiLFM），利用光场成像模型和少量的训练数据，即可有效去除光场成像中的伪影，并显著提升恶劣环境下拍摄的鲁棒性。该方法可以实现对果蝇卵、果蝇幼虫的清晰三维成像，并实现百赫兹速率与低照度情况下的斑马鱼血流观测与斑马鱼神经成像等一系列生物实验，进一步拓展了光场显微镜的应用领域与成像性能，该成果近期发表在光学顶级期刊《Light: Science & Applications》上。

图1 字典学习提升光场成像性能原理示意图 （a）字典光场成像设备示意图; （b）通过预先学习光场成像中的畸变和伪影，字典光场无需硬件改动即可实现畸变和伪影去除。

技术背景

传统三维体成像依赖于扫描设备对生物体不同角度或不同深度实现切换，再由2D传感器进行拍摄，而扫描设备的惯性限制了三维成像的速度。为实现更快速的三维成像，多路复用和优化采样技术如多平面或多焦点成像、时空聚焦显微成像和随机获取显微成像等等被引入，但这些方法带来的高光毒性使其难以在活体器官上实现高通量的大范围成像。光场显微成像可以实现瞬时三维空间的捕捉，且体激发的荧光均成为重构样本三维分布的有效信息从而降低了光毒性，在细胞发育、神经探测等场景下有广泛的应用。然而，传统的光场成像却面临着如下问题：(1) 提高重建对比度将加重图像边缘振铃； (2)系统焦平面附近存在严重的块状伪影； (3)不同深度串扰对 3D 解析结构的污染； (4)在恶劣成像场景下性能的迅速下降。近年来，多种方法被提出用以解决这些问题。一些研究者在微透镜阵列的单侧实现成像为了避免焦平面伪影，但是会降低成像深度范围；添加相位板改变光场点扩散函数或添加额外的视角可以缓解边缘振铃并提高对比度，但需要定制的光学组件或添加扫描设备。另一方面，由于空间和重量限制，添加更多硬件的额外复杂性阻碍了光场显微在自由行为动物的体成像中的使用，而修改重建算法来达到降低光场成像伪影更方便和灵活。研究者在重建过程中引入模糊核以减少系统焦面处的块状伪影，但会造成成像分辨率下降。最新的相空间重建方法实现了更快的收敛并减少了焦面伪影，但不能解决振铃问题。在对光毒性敏感的样品（如线粒体和斑马鱼胚胎）进行成像时，所有上述方法都会遭受噪声引起的伪影。

技术路线

清华大学脑与认知科学研究院与自动化系的研究团队提出基于字典学习的光场重建方法，实现对多种重建伪影的消除，同时具有对恶劣成像场景的鲁棒性，可实现对样本进行低功率长时程清晰成像，极大扩展了对光毒性敏感的生物体（如斑马鱼幼鱼）的研究空间。

图2 字典学习光场重建实现去伪影果蝇卵重建效果分析 

（a）字典光场重建的164 µm厚果蝇卵渲染图;（b）和（c）分别是在z=0 µm处由传统光场和字典光场重建的结果;（d）和（e）则是（b）、（c）中的放大图，表明字典光场对果蝇卵边界和单颗细胞的重建优于传统光场; （f）对数尺度下傅里叶变换后的子图（d），可以看到字典光场的频域分布更平滑;（g）画出了（e）中细胞的强度分布，显示字典光场更具连续性，没有焦平面块状伪影;（h）和（i）分别是z=58um 处光场与字典光场重建的果蝇卵; （j）对数尺度下傅里叶变换后的（h）子图。（k）在（i）中沿虚线的强度分布。在 （b）和（c）中的长度标尺是 50 µm, 在（d）, （e）, （h）, （i）中是 10 µm。

该光场重建法首先通过对比重建前后样本的差异，得到受恶劣场景干扰和伪影影响的元图像碎片，然后将这些元图像碎片结构成字典，用于在测试图片中对比发现受噪声和伪影影响的区域，并进一步将其替换成高分辨、无伪影的信息，提升图片重构质量。通过在虚拟重建过程中引入不同尺度的噪声干扰，可以进一步让字典掌握噪声对成像质量的影响，实现对噪声的鲁棒补偿。借助这一方法，可以实现去伪影的果蝇卵重建（图2）。对比传统的重建方法，字典学习光场重建算法还原了在焦面附近被微透镜编码为方形的细胞，去除了频域中非自然的周期性频率分量，使得图像更为自然。进一步，字典重建方法提升了对果蝇卵细胞的成像分辨率。图3 字典学习光场重建实现低光照强度斑马鱼血流分析（a）和（b）极低光强下通过传统光场和字典光场斑马鱼血流（488nm激发，0.15 mW/mm2）和血管（561nm，0.12 mW/mm2）成像;（c）和（d）是（a）、（b）中的血细胞放大图，（e）则是血管壁的放大图;（f）沿着图（a）、（b）的白色实现的强度变化，表征血流流过;（g）和（h）表示（f）红框时刻光场和字典光场重建的血细胞。在 （a）和（b）中的长度标尺是 50 µm, 在（c）, （d）, （e）中是 10 µm，在（g）和（h）中是5 µm。

斑马鱼幼鱼是经典的研究发育生物学的模式动物，但其容易受到光漂白和光毒性的损害。为了实现对这类样本的长期观测，研究人员采用极低的光照强度避免光损害，同时通过字典光场算法提升其在低光照噪声环境下的鲁棒性。如图3所示，传统方法在这样的低光照噪声环境下无法有效分辨单个血细胞，血管壁也模糊不清；利用字典光场技术后，血细胞和血管壁更为清晰，且更易于实现对流动细胞的统计计数。该研究进一步研究光场字典方法对研究斑马鱼神经活动的提升。如图4所示，传统光场重建在低光照下充满了网格状伪影，且神经元容易误分割、信噪比很低；利用字典光场后，图像的背景得到抑制，神经元的轮廓更为清晰，神经元的活动也更明显，有助于研究斑马鱼幼鱼长时间内的神经活动。

图4 字典学习光场重建实现低照度下斑马鱼成像

（a）通过字典光场和传统光场重建的斑马鱼，在x，y和z方向的最大强度投影;（b）和（c）是在（a）中放大的神经元细胞图，（c）中绿色圆圈代表手工标注的神经元;（d）（c）中神经元的钙信号活动;（e）提取后的神经元的三维分布图;（f）所有提取神经元的热度图以及放大的钙信号曲线图;（g）提取神经元的相关矩阵;（h）通过传统光场和字典光场提取的神经元分布。在 （a）中的长度标尺是 100 µm, 在（b）, （c）是15 µm。

技术总结针对目前光场成像在生命科学应用中面临的伪影和受恶劣成像环境影响的问题，该研究提出了一种基于字典学习的光场重建算法，利用光场物理模型和数据先验去除重建的一系列伪影，提升光场显微镜在极低照度下的表现。该方法进一步提升了光场成像的准确性、显著降低了对照明光强的需求，使其能够实现更长时间的活体观测，特别是对于光照敏感的模式生物，有助于研究不同时间尺度下生物的发育、学习等前沿热点。
论文信息：

Zhang, Y., Xiong, B., Zhang, Y. et al. DiLFM: an artifact-suppressed and noise-robust light-field microscopy through dictionary learning. Light Sci Appl 10, 152 (2021). 

技术详见：

https://doi.org/10.1038/s41377-021-00587-6

*该技术分享所涉及文字及图片源于作者提供及网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前关于计算成像的相关报道，点击以下链接查阅。

回顾与预告

上期回顾：成像专题 | 实现毫米级空间分辨力的高精度非视域成像技术 (PRL) 欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END