SIGGRAPH | 多机器人协同三维场景重建

关键词：三维重建 机器人

编者按

本文是另一篇北京大学陈宝权课题组将在SIGGRAPH 2019宣读的论文的解读。

该论文题为《Multi-Robot Collaborative Dense Scene Reconstruction》，由北京大学客座学生董思言、周强与国防科技大学徐凯副教授，以及谷歌和慕尼黑工业大学等单位学者合作，由前沿计算研究中心执行主任陈宝权教授指导完成。

背景

从机器人领域的移动导航、动作规划和物体抓取等经典问题，到虚拟现实、增强现实和混合现实等图形技术，都离不开对真实场景的三维建模。随着近几年以微软Kinect、英特尔RealSense等为代表的消费级RGB-D相机的普及，三维重建领域正经历着一场“文艺复兴”。三维重建涉及计算机图形学、计算机视觉和机器人等多个领域，旨在采集真实世界中的彩色图像和深度图像，并以此重建出真实场景的三维模型。相比于传统的激光或雷达扫描重建，近几年RGB-D相机扫描（拍照）的重建算法（如KinectFusion、VoxelHashing）近几年取得了巨大进展。

VoxelHashing大规模场景重建

目前的三维重建算法为场景建模带来了很多便利，但是仍存在很多问题。比如，即使是使用最先进的扫描重建算法，仍然需要训练有素的专业扫描人员执行扫描过程，算法的使用对普通用户并不友好。这是因为当前实时算法之所以能做到实时响应，是因为其做了很多假设，例如要求扫描设备的移动足够平滑甚至是匀速，要求被扫描物体的表面有明显的纹理或者几何特征。因此，普通用户扫描过程中，经常会面临算法失败的问题。即使是专业扫描人员，在扫描过程中需要保持合适的移动速度和扫描朝向，这也是枯燥且繁重的工作。

主动式扫描和场景分析

于是，近年来越来越多使用机器人代替人来做扫描重建的工作问世。从单个物体到室内房间，这些工作使用机器人携带扫描设备，根据重建实时反馈，指导机器人扫描并建模。

相关工作

陈宝权老师带领的Visual Computing and Learning 课题组近几年发表了一些使用机器人做主动式扫描和建模的工作。主动式扫描的现有工作在对于单个物体、房间或公寓等场景的扫描都取得了不错的效果。于是，使用更多机器人进行大规模场景的扫描重建是一个重要的拓展方向。

主动式扫描和物体识别

群体智能是机器人领域的一个重要研究方向。目前已经有一些针对机器人协同合作的研究工作，大部分这些工作研究重点在于机器人之间的坐标定位和导航。也有一些工作基于贪心策略、MTSP（多旅行商问题）和区域分割等算法设计策略指导多个机器人协同工作，虽然取得了一些进展，但是在场景复杂、机器人数量较多情况下其难求解，缺乏灵活性，并没有达到预期的效果。

我们的方法

以室内大规模场景的扫描和重建为目标，我们提出了基于最优质量传输理论（Optimal Mass Transport）的多机器人协同探索并重建未知室内场景模型的算法。最优质量传输理论其实大家都不陌生，最经典的例子是土豆的供给和需求问题，假设有若干地区（下图蓝色）供给土豆，若干地区（下图桔色）需求土豆，不同地区直接运输土豆的代价不同， 那么如何找出这样一个规划，使得所有需求地区都能得到满足其需求的土豆数量，且总的运输代价最低，这就是一个简单的最优质量传输模型。

最优质量传输的例子

最优质量传输理论就是为了研究这类优化问题而提出，其目标是求出两个分布（或者说集合）之间的映射关系，使得该映射在给定的度量下代价最低。在机器人扫描重建问题中，我们可以把机器人看作是扫描的供给方，未知环境看作是扫描的需求方，而机器人实际执行扫描任务所需要的代价（如移动距离）作为映射的度量。以此为基础，我们通过求解最优质量传输，就可以得到机器人和扫描任务之间的映射，使扫描代价最低。

机器人扫描的最优质量传输

机器人的空间位置分布可以直接作为扫描的供给分布。那么，如何度量未知环境对扫描的需求分布呢？首先，所有的未知区域都属于扫描的需求分布，它们需要得到机器人的扫描和重建。另外，在扫描过程中，对于已扫描和重建的部分区域，我们沿袭最经典的三维重建方法KinectFusion中对扫描重建模型质量的评估方式，如果质量没有达到目标，那么我们把这些区域也加入扫描的需求分布中，这样我们得到了原始的需求分布。由于扫描任务受扫描视角的影响，我们进一步推算出能扫描覆盖需求分布的最佳扫描视角，这些扫描视角也就是接下来机器人的扫描任务，这些扫描视角的空间分布也就是最终的需求分布。

分析重建结果推算扫描视角作

接下来是对扫描代价度量的研究。如果一个机器人只映射到了需求分布中的一个扫描任务，我们可以简单地使用机器人到任务的最优路径长度作为其扫描代价；如果一个机器人映射到了多个扫描任务，那么我们使用机器人与这些任务构成的TSP（旅行商问题）路径长度作为其代价。这样，我们就把多机器人扫描问题公式化成为了最优质量传输模型。在求解优化目标时，TSP的离散性给我们优化问题的求解带来了困难，于是我们进一步研究目标函数近似求解的方法，最终使用基于聚类思想的方法求解，得到了不错的效果。随着扫描的进行，场景会不断被探索重建，这个过程中最优质量传输的求解也会随之更新，直到完整的场景被高质量地重建出来。

随场景更新而重新计算最优质量传输

我们的结果

我们在模拟器中使用Matterport3D与SUNCG数据集对算法进行了测试，取得了不错的效果。

Matterport3D (上图) 与 SUNCG (下图) 数据集测试结果

同时，我们也在五院的几个房间使用Turtlebot机器人做了真机实验。下面是我们重建的结果。

五院几个房间扫描重建结果

总结

我们提出了一种多个机器人协同扫描的理论和算法。基于最优质量传输理论，使用分而治之的策略，驱动多个机器人高效地探索扫描室内大规模场景，并重建其三维模型。

 关于SIGGRAPH 

SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) 是计算机领域规模最大的顶级会议、CCF A类会议，参加人数达2万余人，每年收录百余篇图形学相关的优秀论文，是计算机图形领域集技术、艺术与展览于一体的盛会。SIGGRAPH 2019将于2019年7月28日-8月1日在美国洛杉矶举行。

图文 | 董思言

Visual Computing and Learning

其 他 论 文 解 读

—   版权声明  —

本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。