显示专题 | 时序复用神经全息术: 高质量2D, 2.5D, 3D, 4D显示CGH框架（ACM SIGGRAPH）

时序复用神经全息术：高质量2D, 2.5D, 3D, 4D显示的普适性CGH框架

Time-multiplexed Neural Holography: A flexible framework for holographic near-eye displays with fast heavily-quantized spatial light modulators

本期导读

全息(Holography)近眼显示器为虚拟和增强现实(VRAR)系统提供了前所未有的功能潜力，包括视觉感知上重要的聚焦提示(focus cues)。近几年，用于计算机生成全息(CGH)的人工智能驱动算法在提高全息图的图像质量和合成效率方面取得了很大进展，但传统CGH算法并不直接适用于新兴的一些器件，例如快速但提供精度有限的相位控制型空间光调制器(SLM)。这些SLM的高速特性提供了时间复用的巨大潜力，基本上可以实现部分相干的全息显示模式，大大提升了全息显示的信息带宽积。值得注意的是，这些增加的带宽积和全息编码能力非传统硅基液晶相位调制器件可以比拟的。

   来自斯坦福大学(Stanford)和英伟达(Nvidia)的研究人员提出了一种用于这类型近眼全息显示器的相机校准波传播模型，并且开发了一个具有普适性的计算全息框架。该框架可以稳健地优化SLM的有限度离散量化相位模式。具体而言，该框架可以灵活地支持不同类型内容的监督优化，包括 最基本的2D图像，2.5D的RGBD、3D 焦点堆栈(Focal Stack)，以及 4D 光场。
   该研究工作在模拟仿真和实验显示中都展示了几乎是业界最好的立体全息显示效果，使得全息技术在显示领域的应用从现有诸多“伪3D”或“小部分3D”向“真3D”迈出了一大步。该研究工作近日发表于引领VR/AR应用最权威风向标的图形学顶级会议《ACM SIGGRAPH 2022》上（文末有对CGH显示的点评彩蛋）。

技术路线

就全息图生成流程（图1）而言，空间光调制器 SLM 的复值字段由若干可学习的项（包括离散查找表等）进行调整，然后交由神经网络 CNN 进行处理。具体而言，该研究使用 ASM 波传播算子将得到的复值波场，结合在傅立叶域的幅度和相位，传播到所有拟定的目标平面。而后，每个目标平面的复波场由多个较小的CNN进行再次处理。该框架适用于多种输入形式，包括：2D 平面图像，2.5D 的 RGBD 图像、3D Focal Stack 焦点堆栈，以及 4D 光场。

图1 具有普适和灵活优化性的CGH框架示意

以下所有全息显示效果，包括 2D, 2.5D, 3D，4D，均是通过所搭建的全息显示原型样机，改变模拟人眼的相机的焦点，进而实拍捕获。由实验结果可见，该框架可以产生高质量、单像素级别的深度线索，表现为自然的浅景深和离焦模糊行为（请点击以下数个小视频，播放查阅，耐心等待缓存，注意观察前后对焦的离焦感知）。


技术小结

该研究工作相对于当前学术和产业界天花乱坠的三维全息显示论文及报道而言，取得了在理论层面和实验效果层面明显而真实的巨大突破。其引入的时间复用自由度和编码能力，真正意义上保留了相位分布随机性（角谱范围带宽足够），进而为实现真实的离焦深度模糊提供了可能。不可否认，该研究目前在实时性优化上还存在一定的挑战，需要进一步探讨利用平行研究工作 HoloNet 实现3D时序全息图快速生成的可行性。

闲言闲语: 小编还想于此探讨一些针对目前计算全息三维显示研究领域火爆现状和技术趋势的个人观点，不涉第三方，仅供参考，欢迎交流。

• 全息显示源于光学，然很多计算全息显示CGH工作却重于算法。做研究发论文不能仅局限于 Optica(OSA) 论文而有意或无意地忽略了其他领域，例如 IEEE 和 ACM SIGGRAPH 的论文进展，应该多多了解各圈子研究进展，不能为发论文而水文，否则就是一叶障目。

• 做显示的研究就需要有理论有实验，纯仿真工作的意义非常有限甚至可能言过其实，毕竟绝大多数情况下 Challenges come from experiments!
  

• 全息显示最终还是要能够实现真实的3D信息重构，若只是纯2D显示的话，其对比传统 LCD, OLED 等面板显示无优势。
• 真实自然的3D显示意味着角度谱应该有足够的范围，亦表明相位分布不应该只是为了追求所谓视觉上去散斑而刻意平滑的 “伪3D” ，否则就是偷换概念。
• 离焦深度感应该是类似非相干离焦造成的与真实景深相当的模糊，而不应该只是为了追求对焦不同而刻意引入的振铃和伪像等非自然模糊，否则就是言过其实。

论文信息：

• S. Choi*, M. Gopakumar*, Y. Peng, J. Kim, G. Wetzstein, Time-multiplexed Neural Holography: A flexible framework for holographic near-eye displays with fast heavily-quantized spatial light modulators, ACM SIGGRAPH, 2022

技术详见：

https://www.computationalimaging.org/publications/time-multiplexed-neural-holography/

欢迎点击查阅该研究小组在计算全息领域近期 Neural Holography 系列工作的相关报道

所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。

回顾与预告

上期回顾：成像专题 | 主动聚焦的高分辨率非视距成像技术 (Nature Photonics)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
“计算成像”名校博士博后机会：名门传承，机会难得，点击查阅

INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END