显示专题 | 注视点渲染加速光场合成 (Optica AO)

注视点渲染加速光场合成

Foveated light-field display and real-time rendering for virtual reality

本期导读

光场近眼显示能够在一定的深度和眼动范围(eye-box)内重构带有聚焦线索的光场。通过时分复用或空分复用，在不同深度显示更多层析图案，能够提升重构光场的信噪比和景深。然而，在时间或者空间上加入更多深度层会使得显示系统更加笨重、计算量暴增。
在人眼视网膜黄斑的中心有一个被称为“中央凹”的凹陷区域。中央凹由密集的视锥细胞组成，负责最清晰的中央视觉，并且视觉锐度随着远离中央凹而下降。在计算机图形学和计算显示领域，注视点渲染(foveated rendering)技术通过重新分配显示像素以匹配人眼视网膜上的视锥细胞密度分布，能够在不牺牲用户观看体验的前提下减轻渲染负荷。然而，目前成熟的注视点渲染算法都是针对单平面显示设计的。鉴于此，来自浙江大学的研究人员提出了一种基于动态查找表的光场显示注视点渲染方法，提供了更加符合人眼视觉特性的聚焦线索。该工作被列为编辑精选(Editors' Pick)发表于美国光学学会(Optica)核心期刊《Applied Optics》上。

技术路线

技术实现上，如图1所示，两层液晶屏幕平行放置于显示设备内，利用眼球追踪模块获取用户的注视位置生成注视锥体(gaze cone)，并确定双层液晶屏上的注视点渲染区域。用户通过目镜观看注视点渲染的重构光场。图2是加入眼球追踪模块的VR头戴显示样机。

图1 光场近眼显示的注视点渲染原理示意 

图2. 支持注视点渲染的光场近眼显示单目和双目样机实现

基于以上光场近眼显示系统，如图3所示，该研究提出了对应的注视点渲染管线，包括拍摄目标光场并以n×n像素大小的网格进行下采样，提前计算采样后双层液晶屏像素之间的映射关系并作为查找表储存，根据眼球追踪模块获取注视点位置对查找表进行更新，利用更新的查找表将下采样的目标光场分解复原为双层液晶屏显示的图案。图4是当注视点位于屏幕中心时的下采样设置和查找表。

图3. 压缩光场近眼显示的注视点渲染流程示意

图4. 注视点位于中心时的下采样设置(左)和查找表(右)

图5展示了该注视点渲染方法与传统均匀渲染(uniform rendering)方法呈现的聚焦线索的仿真对比。当改变模拟人眼的虚拟相机焦距时，在聚焦平面上且位于注视锥体红色边界内的物体才是清晰的，位于注视锥体边界外的物体都是模糊的。
图5. 注视点渲染和均匀渲染的聚焦线索仿真结果比较

在图6的实际拍摄结果中，通过改变相机的焦距，观察到了和仿真结果一致的视觉锐度随着远离注视锥体而下降的聚焦线索。但是由于后层屏幕受到前层屏幕的衍射，实验拍摄的中远距离的聚焦线索不如仿真结果清晰。

图6 注视点渲染和均匀渲染的聚焦线索实验结果比较

将注视点渲染应用于计算成像近眼显示，除了能提供符合人眼视觉特性的聚焦线索外，还能显著降低计算量。图7展示了在不同的下采样率和注视锥角配置下，注视点渲染的计算时间随分辨率增加的变化。可以看到，该研究提出的注视点渲染方法相比于传统均匀渲染能够在达到实时显示的要求下支持更大的分辨率。

图7. 注视点渲染在不同配置下随分辨率增加的计算时间变化分析

简单总结，该研究工作实现了一种用于光场近眼显示的有效注视点渲染方案。其核心在于利用动态查找表分解生成具有视网膜中央凹视觉的显示图案，并实时更新注视点渲染区域。这种方法以更低的计算量提供了更符合人眼视觉特性的聚焦线索。论文信息：

• C. Gao, Y. Peng, R. Wang, Z. Zhang, H. Li, and X. Liu, "Foveated light-field display and real-time rendering for virtual reality" Optica (OSA) Applied Optics (2021).
  

技术详见：

https://doi.org/10.1364/AO.432911

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前关于显示的相关报道，点击以下链接查阅。

回顾与预告

上期回顾：计算专题丨[转] 移动端高质量在线三维扫描仪Mobile3DScanner (IEEE TVCG)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END