查看原文
其他

显示专题 | 高质量全息显示:基于部分相干光与神经网络相机闭环优化 (Science Advances)

编辑/Evan Peng IntelligentOptics 2022-08-24

部分相干光 + 相机闭环优化 = 消散斑、高质量全息显示

Partially-Coherent Neural Holography

本期导读


关于“元宇宙”的讨论已经成为近期学术界和产业界的热点。于此,计算机生成全息(CGH)显示被认为是具有变革潜力的技术,其应用范围包括直视、虚拟和增强现实、以及车载显示系统等。虽然全息显示的研究近年来取得了令人瞩目的进展,但现有实验室类别的全息显示器还存在一定问题,其核心的图像质量用户目视安全,从根本上受到相干光源,例如激光,引入的散斑 (Speckle) 的限制。最传统的解决方案是使用非相干光源,例如LED,替代激光将散斑分布模糊掉。这种方案不可避免在一定程度上牺牲了图像的锐度和细节。从物理角度以及算法角度而言,其核心在于时间 (temporal coherence) 空间 (spatial coherence) 两个维度相干性的平衡,尤其需要光学和计算机领域地交叉研究。鉴于此,来自斯坦福大学(Stanford)和 NVIDIA 的研究团队在以往Neural Holography(点击查阅)研究工作的基础上进一步开发了一种具有部分相干性的CGH新方法,谓之Partially-coherent Neural Holography。该方案设计了一个部分相干光波传播模型,该模型与相机闭环校准 (CITL) 策略相结合,能够智能化地寻找到实现最佳图像显示质量的相位分布。该研究工作近日以论文《Speckle-free holography with partially coherent light sources and camera-in-the-loop calibration》发表于顶级学术刊物集团 Science 旗下期刊《Science Advances》上。

技术路线

简而言之,该方案核心在于设计了一个部分相干光波传播模型,该模型与相机闭环校准(Camera-in-the-loop/CITL)策略相结合,能够高效并且智能化地寻找到实现最佳图像显示质量的相位分布。技术实现上,该研究使用 发光二极管 (LED)超亮发光二极管 (Superluminescent LED / SLED) 评估所提出的算法,并证明与具有高度相干性的激光相比,所得全息显示的散斑特性显着改善。尤其地,SLED 被证明是用于全息显示应用的最佳光源之一,因为它们可以产生细节清晰且高对比度的2D和3D图像,同时这些图像人眼安全且几乎没有斑点。具体技术实现和实验显示结果如图1-6所示。关于 Neural Holography 的技术细节详见我们公众号之前的技术解读(文末有链接)。


图1 使用相机闭环优化的部分相干光计算全息显示概述。(上)SLM 相位被迭代显示,相应的图像由相机记录,获取与参考目标图像的误差后使用所提出的部分相干波传播模型的梯度反向传播到相位,该模型考虑了光源的有限尺寸(空间相干性)和宽发射光谱(时间相干性);(下)实验实现的不同光源下的2D全息图像。可以看到,与由原始波传播模型计算的全息显示结果相比,Neural Holography 显著地优化了图像质量。


图2 全息显示系统示意以及显示的分辨率版实验结果。(左)不同光源的分辨率版的显示结果;(右)全息显示系统示意图。针对该分辨率版目标图像,所示地全息图仅针对绿色通道进行实验获取并以灰度显示。同时,只有在使用 LED 作为光源时才需要在照明路径上设置针孔和窄带滤光片,具体参数详见论文及补充材料。


图3 / 4 不同光源在算法优化后实现地全息显示实验结果对比。可以看到,Laser 可以保留最多的图像细节,但也带来非常明显且对人延目视具有危险性的散斑噪声;LED 消除了绝大多多数散斑噪声,却也带来图像细节地明显丢失;SLED 在保留图像细节和消散斑两个维度做到了平衡,实现了视觉上最佳的显示效果。


图5 实验获取的 2D 全息图像和相应的相位分布。该结果展示了使用 SLED 获得的全息显示图像(右)以及使用CITL 策略自动优化的 SLM 相位分布(左)。从最右侧的放大结果可以看出,该方案显示了清晰的图像细节,并且没有明显的散斑伪影。


图6 实验获取的基于 SLED 的3D全息显示效果。所显示的昆虫和鹦鹉分布位于近 (0.5 m) 和远两个平面 (光学无穷远)。定量评价上,使用SLED 和激光所得到的图像 PSNR 值分别为 21.94 dB 和 20.95 dB。


    简单总结,元宇宙概念的火爆带来很多机会,但也需要大家冷静分析。相信光学与计算机科学相结合是该研究方向的一大趋势,而该研究工作论证的高质量部分相干光全息术,为计算全息在近眼显示领域进一步走近广大用户提供了技术可行性支持,后续相信会有更多的研究工作可以在此基础上展开。

论文信息:

  • Y. Peng*, S. Choi*, J. Kim, G. Wetzstein, “Speckle-free holography with partially coherent light sources and camera-in-the-loop calibration”, Science Advances, 2021

技术详见:https://www.computationalimaging.org/publications/partiallycoherentholography/ 含诸多动画,视频,结果,代码,论文


*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。


欢迎查阅我们公众号之前关于计算显示的相关报道,点击以下链接查阅。

本公众号之前亦报道了斯坦福大学该研究小组的诸多工作,涉及计算成像计算显示两大领域,可查阅以下部分报道分享回顾(欢迎点击查阅):

- 端到端优化衍射元件实现全光谱轻薄计算成像 (OSA Optica)
- 基于深度学习的超薄单镜片大视场计算成像 (ACM TOG)

- 计算锁孔成像:运动物体非视距成像与跟踪 (IEEE TCI)

- 共聚焦散射层析实现透视成像 (Nature Communications) 

- 10K+Hz级基于帧事件的近眼注视跟踪技术(IEEE TVCG/VR)

回顾与预告


上期回顾:成像专题 | 计算锁孔成像:运动物体非视距成像与跟踪(IEEE TCI)欢迎点击查阅

下期预告:我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作,同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享,欢迎订阅关注,欢迎来稿交流。
Contact: intelligent.optics.sharing@gmail.com


INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主,非盈利非广告,希望能够结交共同兴趣方向的读者们,建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢,请点击“在看”和“点赞”,将有助于微信公众号平台对信息的定向统计及时推送,小编团队在此不胜感激,谢谢!!





END






您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存