显示专题 | 提供聚焦感知的视频式混合现实呈现（IEEE VR/TVCG Best Paper）

提供聚焦感知的视频式混合现实呈现

Video See-Through Mixed Reality with Focus Cues

本期导读

混合现实(MR)已被证明具有在具体物理环境下提供用户更具有图形交互式体验的潜力。近几年关于头戴式显示器（HWD）的研究诸多，核心往往集中在光学透视显示技术，以看到在不存在增强的地方详细描述真实世界。然而，现有的OST仍然存在许多缺点，包括视野有限、机构复杂、缺乏对物理对象的适当遮挡、以及较差的色彩和对比度再现能力。另一个难点在于，大多数VR/AR/MR显示解决方案，不论是光学透视（OST）式还是视频透视（VST）式，都存在难以提供大范围的、真实的聚焦感知（Focus Cues）。针对以上问题，来自格拉兹技术大学（TUGraz）和斯坦福大学（Stanford）的研究人员提出了一种新型视频透视式混合现实方法，其核心优势在于完全支持聚焦感知。具体地，通过将变焦显示（Vari-focal Displays）设计中的焦距调整灵活性，与多焦点显示（Multi-focal Displays）设计中的眼动追踪（eye-tracking）误差的稳健性相结合，该显示架构可以在大显示空间范围内可靠地提供聚焦感知。该工作近期以论文形式发表于虚拟现实和增强现实领域顶级会议及期刊领域IEEE 《TVCG》上并荣获IEEE VR 2022最佳论文。

图1 具有真实聚焦和景深效果的混合现实呈现，实现了增强现实内容（蝴蝶）叠加到环境内容（植物，背景装饰，及用户手部）地有效重构显示(文末有实拍视频)。

技术路线

尤其地，该研究工作采用了视情况进行分层显示和混合现实聚焦堆栈的内容处理策略。这是一种对混合现实内容的有效表示，有助于快速处理以实现实时驱动分层显示。研究人员通过构建一个完整的端到端优化来系统性地评估这种内容处理方法，最终仅使用现有硬件和计算组件，就实现高真实感的视频透视式显示中的捕获、渲染和显示聚焦线索。硬件层面的技术路线见图2，该系统可认为是变焦显示与多焦点显示的有效结合，并采用了市面可得的拍摄、显示、眼动追踪、辅助光学和结构构件，具有良好的工程实现和实用潜力。

图2. 头戴式显示系统结构示意，包含获取和显示两大模块。其核心组件包括：基于多层LCD的显示，基于多组液体透镜的对真是环境内容的聚焦获取，及基于多组液体透镜和眼动追踪的对重构显示内容的聚焦感知进行有效呈现。

     软件层面的技术路线见图3，该系统充分利用了图形学领域基于GPU的实时渲染技术，采用多平面图像表征（MPI）对内容进行分解，并配合对眼动追踪和光学显示设备的有效地自动化校正，实现了高质量的、具有真实聚焦感知的重构内容的实时渲染和显示。

图3 混合现实内容的渲染流程示意，其核心在于利用MPI实现对增强显示的内容的有效分解和渲染。

     实验结果见图4及所附视频。可以看到，场景中的增强现实内容（蝴蝶及家禽）能够被有效重构并毫无违和感地叠加到对环境场景的重构显示中，尤其地，真实有效的深度和聚焦感知得到了最大保留。更多交互式结果展示详见作者项目主页（文末有链接）。

图4 实验结果展示。上：对所拍摄到的环境内容的有效重构显示；下：将增强现实内容（蝴蝶及家禽）叠加到环境内容后的有效重构显示。注意地，每个子图左右部分分布为聚焦到前/后景的显示效果。可以看到，该技术解决方案实现了具有真实聚焦和景深效果的混合现实显示效果。

论文信息：

• Ebner, C., Mori, S., Mohr, P., Peng, Y., Schmalstieg, D., Wetzstein, G., & Kalkofen, D., Video See-Through Mixed Reality with Focus Cues. IEEE Transactions on Visualization & Computer Graphics (2022).

技术详见：

https://immersive-technology-lab.github.io/gazecontingentvst/

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

回顾与预告

上期回顾：显示专题 | 基于平面透镜的裸眼光场3D显示设计 (OSA Optica)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END