计算专题（短评）| 智能光照+深度学习=高精度三维物体扫描 (ACM TOG)

智能光照+深度学习=高精度三维物体扫描 (ACM TOG)

Learning Efficient Illumination Multiplexing for Joint Capture of Reflectance and Shape

从真实世界中获取复杂三维物体的数字化模型在文物数字化保护、电子商务展示、电影视觉特效和电子游戏等领域中有着广泛的应用前景。高精度数字化模型由三维几何和高维材质组成。通过图形学绘制技术，可以还原出物体在任何视角和光照条件下的高真实感外观。然而，同时对未知几何与材质进行高效高质量扫描重建有很高的挑战性，是计算机图形学和视觉领域的一大公认难题。

针对这个问题，来自浙江大学CAD&CG国家重点实验室研究人员提出了一种高精度几何与材质联合采集框架，能对整个软硬件系统进行端到端联合优化。其核心是一个同时映射到物理采集和计算重建过程的深度神经网络：包括直接对应采集中所使用光照图案的线性编码器，和从相关光照下的一组照片中同时恢复出几何与材质信息的非线性解码器。与很多以相机照片为输入来重建信息的深度学习论文不同，该研究工作将物理采集过程和神经网络对应起来，通过自动工具优化拍照时的光照条件，再结合同时训练的重建网络，显著地提升了联合采集的效率和质量。

高性能可编程智能照明三维场景采集样机

为了验证该框架的有效性，研究人员搭建了高性能智能采集装置，含24,576个独立控制的高亮LED光源；通过FPGA和自研电路，每秒可投射超过20000张二值光照图案。最终该装置仅需7~15秒时间来拍摄16~32张不同光照下的照片，就能完成对真实物体的单视角扫描。结合不同观角的结果可获得该物体的高精度数字化模型。该研究工作结合了光学和图形学，在复杂三维物体的高保真数字化领域具有很大应用潜力。

几何重建结果实例

所述的智能采集装置扫描复杂三维物体恢复结果

论文信息：

Kaizhang Kang, Cihui Xie, Chengan He, Mingqi Yi, Minyi Gu, Zimin Chen, Kun Zhou and Hongzhi Wu，Learning Efficient Illumination Multiplexing for Joint Capture of Reflectance and Shape, ACM Trans. Graph. (Proc. SIGGRAPH Asia), 2019.

技术详见: 

http://www.cad.zju.edu.cn/home/hwu/publications/jointcap/project.html

* 所有图片素材均来源于作者原始论文及网络公开资料，该技术分享不做任何商业用途。

回顾与预告

上期回顾：成像专题 | 共聚焦散射层析实现透视成像 (Nature Communications)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台，还望大家多多支持，欢迎来稿，欢迎拍砖。


END