计算专题丨[转] 移动端高质量在线三维扫描仪Mobile3DScanner (IEEE TVCG)

1

论文动机

论文动机

在移动平台上基于RGBD相机实现实时高质量的物体三维扫描重建是增强现实应用中的关键技术之一。现有的重建方法一方面受限于移动平台上的算力以及内存资源，难以对大型物体进行高质量的扫描重建，另一方面，目前消费级的深度传感器所获取到的深度信息存在不同程度的缺失、错误以及过于平滑的问题，导致最终生成的模型几何精度不高。为了解决这些问题，商汤研究院和浙江大学 CAD&CG 国家重点实验室合作提出了一套针对移动平台的高质量物体三维扫描重建方案，主要包括：将IMU与ICP以及视觉信息相结合，实现相机6自由度位姿的准确估计、一种自适应调节体素的TSDF方法以解决移动端扫描大物体时的内存不足问题、一种结合深度先验的多视图立体匹配方法以及一种高效的Shape-from-Shading方法来提升重建模型的几何精度与细节。我们在iPad Pro 2020上实现了整套重建方案，对比结果表明我们的方法能在移动平台上实现实时的三维物体扫描重建，重建模型的完整度以及精度均优于现有的模型重建方法。

2

创新点

论文创新点

1)   提出了一种将ICP与IMU松耦合的方法，实现相机6自由度位姿的准确估计；

2)   提出了一种体素自适应调节的TSDF方法以解决移动端扫描大物体时所面临的内存不足问题；

3)   提出了一种结合深度先验的多视图立体匹配方法以提升深度图的精度与完整度；

4)   提出了一种高效的Shape-from-Shading方法，提升重建模型的几何精度与细节。

3

相关工作

论文相关工作

目前主要的静态物体重建方法可以分为两类：基于RGBD相机的三维扫描重建与基于图像的多视图重建。

1.基于RGBD相机的三维扫描重建

此类方法以KinectFusion为代表，对输入的深度图利用ICP求解相机位姿，并将深度图融合成一个全局的TSDF模型，类似的工作还有InfiniTAM以及BundleFusion，但由于计算复杂度以及内存占用的原因，它们只能在PC端运行。此外，还有结合用户手操作的交互式扫描重建方法以及基于非刚性注册的物体扫描重建，这类方法大多适用于小物体重建。

2.基于图像的多视图重建

此类方法致力于在移动设备上实现基于单目RGB视频的物体扫描重建，他们利用多视图立体匹配的方法恢复出单帧的深度并将深度融合成TSDF模型或者Surfel模型。总体而言，这类方法重建出的模型在模型精度以及完整度上与基于RGBD相机的重建方法相比还有一定差距。

4

方法描述

系统概述

图1 系统概述

如图1所示，我们的重建系统要求用户配备一个带有RGBD摄像头的移动计算设备，并将待扫描的物体放置在一个水平面上。用户开始扫描后，系统将自动分割出物体区域并实时求解相机位姿，深度传感器获取到的深度数据将被融合成TSDF模型并渲染供用户作实时预览。扫描结束后，系统将对所有的关键帧进行全局BA并结合多视图立体匹配方法来优化关键帧的深度，最终融合出的TSDF模型经由泊松重建、Shape-from-Shading以及纹理贴图后，得到最终带纹理的重建模型。

ICP与IMU松耦合

移动平台算力有限，我们提出将ICP与IMU进行松耦合来提升相机位姿求解的鲁棒性与精度。我们首先利用初始两帧的ICP结果对IMU模块进行初始化，IMU初始化完成后即可依据输入的IMU数据为当前帧提供位姿预测，我们再将IMU的预测值加入ICP能量项来求解当前帧的相机位姿ξ，当前帧位姿求解完成后，其结果将作为约束来进一步优化IMU的状态量。原本的ICP能量项考虑了两帧之间的颜色差：

以及深度差：

在此基础上我们加入了IMU的旋转约束：

以及重力约束：

构建最终的能量方程：

下图图2展示了我们方法的有效性：

图2.(a)Open3D ICP. (b)引入IMU. (c)(d)加入LBA以及Loop Closure.

自适应调节体素的TSDF

移动平台上内存有限，必须约束TSDF模型的大小，我们提出一种自适应调节体素的TSDF方法，当其内存占用量达到阈值时，系统将自动创建一个新的TSDF，其体素大小为旧体素的1.5倍，新体素的符号距离以及权重无需重新计算，可通过旧体素三线性插值高效获取。这个策略可保证TSDF模型的内存占用不会超过用户设定的阈值，从而在移动设备上能支持大物体的扫描重建。

结合深度先验的多视图立体匹配

图3.(a)关键帧. (b)dToF单帧深度以及融合后的模型. (c)SGM单帧深度. (d)结合深度先验的SGM及其模型.

消费级的深度传感器例如dToF，其获取的深度存在不同程度的错误以及过平滑问题，我们提出一种结合深度先验的SGM方法，利用视觉信息来提升深度图的精度，其效果如图3所示。

高效的Shape-from-Shading

Shape-from-Shading可以提升重建模型的几何细节，但目前已有的实现方案无论是计算复杂度还是内存占用都远无法在移动平台上实施。不同于现有方案，我们直接在重建好的模型上优化三角面片的法向量，再结合方法更新模型顶点。以图4中的“David”为例，我们的方法在iPad Pro2020 CPU上耗时3.24秒，优化后模型精度RMSE/MAE为3.12mm/2.473mm。而Intrinsic3D在PC端Intel Core i7 7700K CPU上耗时81分钟得到略优的结果，RMSE/MAE为2.89mm与2.16mm。

图4.(a)初始模型. (b)SFS优化后的模型

5

实验结果

模型精度对比

我们用iPad Pro2020录制了四组测试数据来对比我们的方案与现有的方案在模型精度上的差异，ground truth由商业扫描仪获取。表格1以及图5显示我们的方法在模型精度以及完整度上都取得了最优结果。

表格1.模型精度对比（RMSE/MAE）

图5.与现有SOTA方法的模型对比.

(b)Open3D.(c)KinectFusion.(d)InfiniTAM.(e)BundleFusion.(f)3D Scanner App.(g)我们的方法.(h)GT.

耗时统计

表格2统计了算法各个步骤在iPad Pro2020上的耗时，我们的方法在大物体“worker”上也达到了实时。

表格2：算法模块耗时统计

更多结果

论文信息——

Mobile3DScanner: An Online 3D   Scanner for High-quality Object Reconstruction with a Mobile Device

作者：项骁骏，姜翰青，章国锋，余亦豪，李辰宸，杨幸彬，陈丹鹏，鲍虎军

收录于Special issue of TVCG for ISMAR 2021 Journal

论文链接:

http://www.cad.zju.edu.cn/home/gfzhang/papers/mobile3dscanner/mobile3dscanner_ismar2021.pdf

论文主页: 

https://zju3dv.github.io/mobile3dscanner.github.io/

* 本文转自ZJAI-AR分会成果分享。因篇幅排版需要，该转载对所转载的网络公开素材进行了适当删减及修改。

IntelligentOptics往期部分研究解读回顾，欢迎点击查阅：

INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享。还望大家多多支持，欢迎来稿，欢迎拍砖。[e-mail]