计算专题 | VR/AR逆渲染中的高效间接光照建模（IEEE CVPR）

VR/AR逆渲染中的高效间接光照建模

Modeling Indirect Illumination for Inverse Rendering

本期导读

从RGB图像中恢复三维场景的几何形状、材质和光照，也称为逆渲染（Inverse Rendering），一直是计算机视觉和图形领域长期研究的问题。 近年来，随着VR和AR应用的井喷式发展，从现实世界轻松获取可用于编辑和渲染的三维内容的需求也与日俱增。传统的采集方式，例如采用具有可控灯光和相机的Light Stage设备、暗室中使用具有闪光灯的相机拍摄、或是将物体置于转盘上拍摄的装置，对于普通用户而言是困难的，难以实现规模化的采集与建模。最近的一些工作探索了在自然光照下捕捉多视角图像用于逆渲染的灵活采集方式。然而，这样的采集方式带来了新的挑战：首先，自然光照下的物体图像通常具有软阴影以及表面相互反射的效果，而使用基于物理的渲染进行路径追踪来模拟这些效果的计算复杂度是非常高的；其次，在静态光照下解开未知的BRDF和光照参数具有很强的不确定性。针对这些问题，来自浙江大学和阿里巴巴淘宝技术部的研究人员提出了一个能高效建模间接光照的逆渲染流程，将以论文《Modeling Indirect Illumination for Inverse Rendering》发表于领域内顶级会议IEEE CVPR 2022。

技术路线

给定一组在静态照明下捕获的物体的RGB图像及相机位姿参数，该研究方法整体流程是采用将带有可优化的参数的渲染模型渲染得到二维图像，并与捕捉图像进行比较来优化物体参数。具体来说，几何被表示为有向距离场 (Signed Distance Field)，每个空间位置的入射光被分为直接光照乘以可见性和间接光照两部分，BRDF模型使用包含反照率和粗糙度参数的简单Disney BRDF模型。几何、可见性、间接光照及BRDF都被参数化为基于坐标的神经网络。对于直接光照，该方法将环境光表示为128个球面高斯函数，并采样光线的可见性来为每个球面高斯函数估计其0-1之间的可见性。对于间接光照，根据光线追踪原理，光线与场景的第二个交点的的出射光是第一个交点对应方向的入射光，而计算第二个交点的出射光需要继续积分光线，随着考虑的反弹次数增加，光线追踪和渲染的次数以指数级增加（图1(a)）。
    因此，该方法提出重建出射辐射场并将其作为间接光照的产生来代替递归光线追踪。具体来说，出射辐射场可以看作是一个神经渲染器，是表面点位置和观察方向的连续函数，它可以使用已有的方法和几何一起被优化完成。采样出射光线并用于训练每个空间位置入射光的球面高斯函数可以将其缓存在神经网络中(图1(b))。通过这样的方式，间接光照可以直接被查询而不是和材质联合优化，使得逆渲染问题被更高效的求解。

图1. 光照渲染示意。

为了进一步减少解开BRDF和入射光的不确定性，该方法引入了一个先验，即物体是由少量材质组成的。具体方法是将BRDF表示为编码器和解码器网络，并对潜在空间进行稀疏性约束。渲染的具体流程参考图2，更多细节请参考论文。

图2. 渲染的具体流程。

这里展示了一些代表性实验结果（点击视频查阅）。

简单总结，该工作提出了能高效建模间接光照的逆渲染流程，可以为自然光照下拍摄的物体估计无阴影和无表面相互反射的反照率，从而支持更加逼真的自由视点重光照，相信在未来VR/AR领域具有广泛应用前景。

论文信息：

• Yuanqing Zhang, Jiaming Sun, Xingyi He, Huan Fu, Rongfei Jia, Xiaowei Zhou. Modeling Indirect Illumination for Inverse Rendering. In IEEE CVPR 2022.

技术详见：

https://zju3dv.github.io/invrender/

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

回顾与预告

上期回顾：显示专题 | 提供聚焦感知的视频式混合现实呈现（IEEE VR/TVCG Best Paper）欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END