我院胡君杰博士与林天麟教授在人工智能顶刊IEEE T-PAMI发表文章

近日，我院智能机器人中心团队在人工智能领域顶级期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence 发表题为“Deep Depth Completion from Extremely Sparse Data: A Survey”的综述文章，全面、深入地调研了激光雷达获取的稀疏深度的补全问题。

论文链接：https://arxiv.org/abs/2205.05335

01

期刊介绍

IEEE Transactions on Pattern Analysis and Machine Intelligence 是人工智能领域公认的顶级期刊之一，其影响因子为24.31，在中国计算机学会（CCF）期刊会议推荐列表中为 A 类，TPAMI 每年仅200篇左右的录用量。

02

论文摘要

本文全面调研了激光雷达获取的稀疏深度的补全问题。深度补全旨在从深度传感器捕获的稀疏深度图中进行矩阵补全，从而获取密集的像素级深度。它在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中发挥着至关重要的作用。目前，基于深度学习的解决方案在该任务上取得了极大成功。在本文中，我们首次提供全面的文献综述，帮助读者更好地掌握研究趋势，清楚地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计方面调研相关研究，并对现有方法进行分类。此外，我们在两个广泛使用的基准数据集（包括室内和室外数据集）上对模型性能进行了定量比较。最后，我们讨论了先前工作的挑战，并为读者提供了对未来研究方向的一些见解。

本文通过对已有方法的层次分析和归纳，描述了基于深度学习的深度图补全技术的发展，让读者能够有一些直观的了解，并提供一些有价值的讨论。具体来说，我们回答了以下问题：

1) 目前能够实现高精度深度图补全的方法有哪些共同特点？

2) 与无 RGB 图像融合的方法相比，融合 RGB 图像方法的优点和缺点是什么？

3) 以往的研究大多同时使用了视觉数据和 LiDAR 数据，那么多模态数据融合最有效的策略是什么？

4) 目前面临的挑战是什么？

本文主要内容总结如下：

1) 本文为首篇深度补全综述。我们给出了一个深入和全面的文献调研，包括无 RGB 图像融合和有 RGB 图像融合的方法。

2) 我们提出了一个新的分类法来归纳已有方法，并可视化它们的主要特征，包括网络结构、损失函数和学习策略。

3) 本文涵盖了基于深度学习的深度补全方法的最新进展，并在基准数据集上进行了性能比较，为读者提供了最前沿的方法。

4) 本文提供了几个开放挑战和一些有价值的未来研究方向。

03

作者简介

本文第一作者为我院智能机器人中心胡君杰博士

胡君杰，深圳市海外高层次人才、深圳市龙岗区深龙英才。于2020年3月毕业于日本东北大学，研究方向为人工智能、模式识别、计算机视觉。

本文共同第一作者为香港中文大学（深圳）硕士研究生鲍晨毓。

鲍晨毓，2022年于华中科技大学机械科学与工程学院获工学学士学位，现为香港中文大学（深圳）理工学院研究生，导师为林天麟教授。他的研究兴趣包括计算机视觉和机器人感知。

本文通讯作者为我院智能机器人中心主任林天麟教授。

林天麟，香港中文大学（深圳）助理教授-校长青年学者，机器人与智能制造国家地方联合工程实验室常务副主任，深圳市人工智能与机器人研究院（AIRS）智能机器人中心主任，电气与电子工程师协会（IEEE）高级会员。分别于2006年和2010年在香港中文大学获得一级荣誉学士学位和博士学位。研究重点包括多机器人系统，新型移动机器人及协作机器人等。获国内外授权专利70余项，发表2部专着，在 T-PAMI、T-IP、T-RO、T-MECH、JFR、RA-L、ICRA、IROS 等顶尖国际期刊及会议发表论文余50篇。获2011年 IEEE/ASME T-MECH 最佳论文奖, 2020年 IROS 机器人机构及设计最佳论文奖及2020年 IROS 最佳应用论文提名奖。研究成果被 Reuters、Discovery Channel、IEEE Spectrum、NHK 日本放送协会等众多国际知名媒体广泛报导。

04

团队介绍

AIRS 智能机器人中心由林天麟教授领导，旨在研究多机器人系统自由组成各种形态以解决不可预知问题的关键技术，通过简单智能体的集群实现复杂的智能群体行为，让机器人系统拥有可复用、自由构型、可拓展、故障自修复等通用特性，为机器人设计领域创造出一种全新切实可行的实现形态。

团队长期从事机器人和人工智能研究，开发了十余种机器人和智能系统。在承担国家科研项目方面经验丰富，获得了国家自然科学基金面上项目、国家科技部 “智能机器人”重点研发计划项目等多项纵向项目资助。科研成果发表于 T-RO、T-IP、T-MECH、JFR、ICRA、IROS 等机器人与自动化领域的国际顶级期刊和会议上。关于 FreeBOT 的研究成果获2020年 IROS 机器人机构与设计最佳论文奖，IEEE Spectrum、日本放送协会 NHK 和Engadget 等多家国际知名媒体对其进行了广泛报道。

扫码了解团队更多论文和视频信息：

团队主页：

团队B站：

CUHKSZ-RAIL

* 相关论文信息由论文作者提供

相关阅读：