成像专题 | 水波扰动信息助力单目水下三维重建 (IEEE ICCV)

水波扰动助力单目水下三维重建 

In-the-Wild Single Camera 3D Reconstruction Through Moving Water Surfaces

本期导读

河流、湖泊和海滨的浅水区具有重大的生态以及经济意义，对这些浅水区进行环境勘探是一项重要的任务。然而，目前对水下环境进行3D 扫描的技术还很复杂，因为需要将相机或 3D 扫描仪置于水下，这会产生大量的设备成本，并且需要极长的时间来获取数据。一个更方便的解决方案是直接从水面上进行测量，但是光线在穿过水面时会产生折射，这会造成水下场景的扭曲。另外，作为传播介质的流体是未知且不稳定的，拍摄到的水下场景也会随着水面的变化而变化。 

针对这个复杂的重建问题，来自沙特阿卜杜拉国王科技大学(KAUST)的研究人员提出了一种通过单目相机对水下场景进行3D重建的方法。该研究发现水波的扰动能够提供水下场景不同视角的信息，利用这个信息可以实现对水下场景的多视角重建。该方法的难点在于水面在不断变化并且会对光路造成弯曲。鉴于从，该研究提出了一种新颖的可微分模型同时对动态的水面结构和静态的水下几何场景进行求解。这个框架集成了光线追踪，折射界面处斯涅尔定律、多视图三角测量，以及具有物理意义和几何意义的损失函数。该研究以论文形式发表于计算机视觉领域顶级会议 IEEE ICCV 2021，并被选为Oral Presentation。

技术背景

图 1：实验设置的示意图。

图1为所述实验设备的示意图。相机被放置于水面上，相机的光轴垂直于平静状态下的水面。该方法对每一个像素点进行光线追踪，光线在空气-水界面处被折射，并且遵循斯涅尔定律。该研究用uniform cubic B-spline surface对水面进行建模，最左边展示了一个4X4的cubic B-spline patch，红点为这个平面的控制点。由于水面折射引起的扰动，水下场景的表面点p能够被同一相机在不同时刻的不同像素点观测到。这个现象提供了三角测量所需的视差，从而能够估计表面点p的深度。该研究在提出的重建模型中对视频序列进行处理，实现对水下场景多视角的3D重建。

技术路线

图 2：该研究提出的通过单目相机对水下场景进行3D重建的框架

图2展示了所提出的通过单目相机实现对水下场景3D重建的框架。1. 该框架的输入为固定相机从水面上拍摄的视频序列。2. 首先计算每一帧到选定的世界参考帧（从输入序列帧中选得）的稠密对应关系图（光流），确保该框架在统一的坐标系中进行重建。3. 然后把计算得到的光流以及初始化的水面和水下几何结构（皆初始化为平面）导入所提出的可微模型里。该模型的损失相对于水面和水下几何结构的梯度可以在模型中进行反向传播，因此水面和水下的几何结构能够被同时优化求解。4. 最终该框架可以求解得到水下场景的高质量重建以及不同时刻水面的结构。
       图3展示了目标函数随着模型的迭代而有效地降低，相应地，所有参数被同时逐步优化。在实验部分，图4展示了真实海滨场景中的重建结果。
图 3：目标函数，水下场景以及水面（单一时刻）随着模型迭代的演变。

图 4：真实海滨场景的重建结果。（上）输入模型的视频，（下）重建结果。

• 总结

该研究首次实现了对水下场景的单目3D重建，其对模型设备要求比较低，在未来有机会应用于海洋中珊瑚群的重建。当然，以适用于更加复杂的环境，对模型和算法的改进也是未来研究的方向。
论文信息：Jinhui Xiong, Wolfgang Heidrich. "In-the-Wild Single Camera 3D Reconstruction Through Moving Water Surfaces." ICCV (2021).

技术详见(包含论文和代码)：

https://vccimaging.org/Publications/Xiong2021MovingWater/

*该技术分享所涉及文字及图片源于作者论文和网络公开素材,不做任何商业用途。

欢迎查阅我们公众号之前关于成像的相关报道，点击以下链接查阅。

回顾与预告

上期回顾：显示专题 | 高质量全息显示：基于部分相干光与神经网络相机闭环优化 (Science Advances)欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END