计算专题 | 凝视点渲染技术之立即辐射度方法（IEEE ISMAR）
本期导读
虚拟现实应用的沉浸感和交互性要求对三维图形渲染的质量和性能提出了挑战。VR头戴式显示器（HMD）的单眼显示刷新率为90Hz，而传统实时绘制方法绘制频率为30Hz，因此越来越多的研究者开始研究凝视点渲染技术(Foveated Rendering)来进一步提高绘制效率。凝视点渲染技术可以为用户凝视点中心区域和周边区域提供不同质量渲染，节省计算开销，提升渲染效率[1,2]。传统的光栅化渲染方法可以便捷地进行屏幕空间多分辨率的绘制，进而直接应用凝视点渲染技术，但难以实现对全局光照效果的渲染。立即辐射度方法[3]可以在漫反射场景中加速全局光照的计算，但是立即辐射度方法产生的虚拟点光源（Virtual Point Light，VPL）是基于光源产生的，VPL分布与凝视点中心区域无关，不能直接应用凝视点渲染技术。因此，来自北京航空航天大学、深圳鹏城实验室、以及加州大学圣巴巴拉校区的研究学者联合提出了一种基于凝视点的立即辐射度方法 Foveated Instant Radiosity (FIR)，重点解决如下两个问题：如何根据凝视点中心区域为每一帧生成虚拟点光源；如何在凝视点中心区域、视角或场景发生变化时保持帧间稳定。该工作以论文《Foveated Instant Radiosity》形式近期被录用并将发表于IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2020。
技术路线
该研究工作新提出的渲染框架基于立即辐射度方法实现对象空间的多分辨率全局光照渲染。其主要流程如图1所示，主要包括以下五个步骤。
(1) 场景体素化：首先将虚拟面片场景体素化，并将场景的位置、法线等属性存入三维纹理。
(2) 生成虚拟光源：在屏幕空间的凝视点中心区域内设置光线出射点。光线向场景中出射后进行一次随机弹射，并在第二次交点放置虚拟点光源。
(3) 体素视觉敏感度与虚拟点光源视觉重要度的计算：将每个体素投影至屏幕空间中，计算该像素相对于凝视点的偏心率，得到体素视觉敏感度。之后从虚拟点光源所在的半球面出发，在若干方向上出射重要度采样光线，取出相交体素中的视觉敏感度值并加权平均即得到该虚拟点光源的视觉重要度的估算值。细节如图2所示。
(4) 历史帧虚拟点光源管理：对历史帧的虚拟点光源进行视觉重要度、位置、法线等信息更新，根据复用策略，选取其中视觉重要度较高且没有剧烈变化的虚拟点光源。
(5) 当前帧虚拟点光源管理：最后，从当前帧新生成的光源集合中选择出一部分具有较高视觉重要度的虚拟点光源，保证帧间分布的稳定性。
图1 基于凝视点的立即辐射度渲染框架示意图。
图2 体素重要度和VPL视觉重要度计算示意图。
技术总结
该研究工作实现了一个基于凝视点的全局光照渲染框架，并在帧间复用虚拟光源信息，在凝视点中心区域提供较高质量的全局光照。该研究工作在凝视点中心区域保持与路径追踪近似的渲染质量的情况下，大幅降低了因渲染阴影图而造成的绘制开销，并且在场景变化时保持较好的时序连续性。该方法基于当前硬件在可交互的帧率下支持全局光照和包含变形物体的动态场景，在HTC-Vive中可达到双眼42FPS。部分效果比较如图3/4所示。
图3 路径追踪（Path Tracing，第1列），所述方法（FIR，第2列），立即辐射度方法（IR1000，第3列）渲染结果比较图。
图3展示了路径追踪、该研究所述方法（FIR）和使用1000个点光源的立即辐射度方法（IR1000）的渲染结果，第2列的绿色圆圈表示凝视点中心区域，在所有渲染结果的右上角裁剪和放大了凝视点中心区域内部的细节以便进行比较。相比于IR1000，该方法的渲染结果更接近路径追踪渲染结果。立即辐射度方法的渲染结果中有几个问题可以清楚地看到：1）黄色立方体没有在白色墙壁正确渗色（第1行）；2）壁橱（第2行）上的列车颜色过度渗色；3）墙壁上的颜色没有表现出红色渗色（第3行）；4） 栏杆上的橙色渗色比参照物亮（第4行）；5）地面应有橙色渗出（第5行）。从结果可以看出，相比立即辐射度方法，所述方法在凝视点中心区域有更好的全局光照效果。
图4 （a）FIR渲染时间堆积图，（b）IR1000渲染时间堆积图。
图4阐述了所述方法（左）和IR1000（右）在每个步骤上花费的时间。两种方法的体素化和着色时间几乎相同。由于虚拟点光源的重要性计算和管理，所述方法的基本VPL生成比IR慢2-3倍。然而，由于该方法的VPL管理策略，且只更新每帧的前5%中心重要性的虚拟点光源的阴影图，该方法可以节省80%的时间开销。
Reference:
[1] B. Guenter, M. Finch, S. Drucker, D. Tan, and J. Snyder. Foveated 3d graphics. ACM Transactions on Graphics (TOG), 31(6): 164, 2012.
[2] E. M. Reingold, L. C. Loschky, G. W. McConkie, and D. M. Stampe. Gaze-contingent multi-resolutional displays: An integrative review. Human factors, 45(2):307–328, 2003.
[3] A. Keller. Instant radiosity. In Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH ’97, p. 49–56. ACM Press/Addison-Wesley Publishing Co., USA, 1997. doi: 10.1145/258734.258769.
论文信息: Foveated Instant Radiosity, Lili Wang, Runze Li, Xuehuai Shi, Ling-Qi Yan, Zhichao Li, IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2020.
技术详见:
https://sites.cs.ucsb.edu/~lingqi/publications/paper_fir.pdf
视频结果:
https://sites.cs.ucsb.edu/~lingqi/publications/video_fir.mp4
回顾与预告
上期回顾：成像专题 | 基于孔径阵列的数字全息重建 (AIP APL)欢迎点击查阅
Contact: intelligent.optics.sharing@gmail.com
END