科研速递 | 理工学院/未来智联网络研究院李镇教授团队论文被IEEE计算机视觉与模式识别会议CVPR 2022接收为Oral论文

近日，香港中文大学（深圳）理工学院/未来智联网络研究院李镇教授团队发表的两篇论文被IEEE/CVF计算机视觉与模式识别会议CVPR2022收录。其中一篇以“Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds”为题的文章被接收为CVPR2022 oral (根据CVPR2021和ICCV2021的统计数据，oral接收率大概在4%左右)。同时，李镇教授组的相关工作在竞争激烈的自动驾驶语义分割公开竞赛中获得冠军。受益于上述室外大场景点云解析的工作，李镇教授入选2022腾讯大出行犀牛鸟专项研究计划，致力于推动高清地图与腾讯地图在自动驾驶领域的发展。另外，李镇教授另一篇室内场景点云解析的工作“X-Trans2Cap: Cross-Modal Knowledge Transfer using Transformer for 3D Dense Captioning”也被CVPR2022接收，为机器人室内导航和室内推理感知提供了可能的解决方案。

会议介绍

CVPR英文全称Conference on Computer Vision and Pattern Recognition，中文全称是国际计算机视觉与模式识别会议。这个会议是由IEEE主办的一年一度的全球学术性顶级会议，2021年在谷歌学术的“工程和计算机科学”分类下排名第一，在总榜下位列第四，仅次于Science。

论文一简介 (CVPR2022 Oral)

LiDAR场景的点云单目标跟踪，在近年来取得了不错的进展，尤其是在无人机跟踪和自动驾驶跟车领域有着重要的实际意义。现有的点云单目标跟踪方案，都使用外观匹配的方式来在一个特定区域内搜索潜在的目标。在2D场景中，外观匹配是进行单目标跟踪的一种重要手段。但是LiDAR点云上缺乏纹理信息，并且由于遮挡等原因，同一个物体在相邻两帧之间也常常发生剧烈的外观变化。这严重影响了外观匹配的准确性。因此，基于外观匹配的单目标跟踪方案对干扰项十分敏感。

本文方法提出了一种基于运动建模的单目标物体跟踪范式。不同于先前在LiDAR 场景上被广泛使用基于外观匹配的Siamese范式，该方法：快：速度提升1.67倍，达到57FPS，满足自动驾驶的实时处理需求；准：干扰项众多、目标外观极度缺失的情况下表现出显著的鲁棒性；狠：仅用最基础和最简单的PointNet做为backbone，在三个大场景数据集下大幅提升现有最好模型的跟踪表现，效果提升超过10%以上。该新范式能为后续的LiDAR场景下的单目标跟踪提供一个全新的视角。

项目地址

论文地址

GitHub

有关论文细节可以详见将门创投（具体详情请扫描左图二维码）的技术推送。基于室外大场景点云的工作积累，李镇教授研究组题为“高清地图场景下多模态数据融合增强的激光点云检测”的项目入选竞争激烈的2022腾讯大出行犀牛鸟专项研究计划（具体详情请扫描右图二维码），着重推动多模态数据在高清地图及自动驾驶领域的应用。

将门创投

犀牛鸟专项研究计划

论文二简介

跨模态知识蒸馏的研究动机。(a) 之前的方法在训练和推理阶段都仅仅使用2D图片的单一模态信息作为输入；(b)在设备允许我们可以获得多模态数据的条件下，我们在训练时使用了多模态的教师-学生网络训练，在测试时只使用3D数据作为输入的学生网络。

3D场景的稠密描述是通过自然语言描述3D场景中的每个物体，而3D场景通常以RGB-D扫描或点云的形式表示。然而，以往的方法仅利用单一的模态信息，如点云，则无法产生可靠的描述。同时，尽管将2D特征聚合到点云中可能是有帮助的，但它引入了额外的计算负担，特别是在推理阶段。在本研究中，我们提出了基于Transformer的跨模态知识迁移方法X-Trans2Cap。我们提出的X-Trans2Cap通过老师-学生框架实现知识蒸馏，有效地提高了单模态3D稠密描述的性能。具体实现如下，在训练阶段，老师网络利用辅助的二维模态，通过特征一致性约束引导只以点云作为输入的学生网络。X-Trans2Cap利用精心设计的跨模态特征融合模块以及训练阶段的特征对齐，可以轻松获得嵌入二维图像的丰富的外观信息。因此，在推理过程中，在只使用点云数据作为输入时也能获得更可靠的描述。定性和定量结果证实，X-Trans2Cap在ScanRefer和Nr3D数据集上相对之前的最好方法分别提升超过21和16 CIDEr得分，大大超过了以前的技术水平。

论文地址

Github

作者简介

第一篇文章的第一作者是香港中文大学（深圳）在读博士生郑超达，该文章由香港中文大学（深圳）郑超达、颜旭、张海鸣同学，李镇、崔曙光老师，北京红棉小冰王宝园老师，西湖大学成生辉老师共同完成。第一单位为香港中文大学（深圳）。

郑超达是香港中文大学（深圳）理工学院/未来智联网络研究院的在读博士生。本科及硕士研究生毕业于华南理工大学计算机与工程学院，获得计算机科学与技术硕士学位。他的主要研究方向是3D物体检测和跟踪。

第二篇文章的共同第一作者是香港中文大学（深圳）在读博士生袁之浩和颜旭，该文章由香港中文大学（深圳）袁之浩、颜旭、廖颖泓同学，李镇、崔曙光老师，上海交通大学郭遥老师，中山大学李冠彬老师共同完成。第一单位为香港中文大学（深圳）。

袁之浩是香港中文大学（深圳）理工学院/未来智联网络研究院的在读博士生。本科毕业于中山大学计算机学院，获得计算机科学与技术学士学位。袁之浩的主要研究方向是3D场景理解。

颜旭是香港中文大学（深圳）理工学院/未来智联网络研究院的在读博士生。本科毕业于中山大学数学系，研究生毕业于香港中文大学（深圳）数据科学学院。他的主要研究方向是3D点云处理。请扫描下方二维码浏览颜旭个人主页。

指导老师简介

两篇文章的指导老师是香港中文大学（深圳）理工学院/未来智联网络研究院助理教授李镇以及校长学勤讲座教授、未来智联网络研究院院长崔曙光。

李镇教授

理工学院/未来智联网络研究院助理教授

校长青年学者

李镇博士目前是香港中文大学（深圳）理工学院/未来智联网络研究院助理教授，同时兼任深圳市大数据研究院研究科学家。他获得香港大学计算机科学博士学位（2014-2018年），中山大学通信与信息系统硕士学位（2011年至2014年）以及中山大学自动化学士学位（2007-2011）。他还于2018年在芝加哥大学担任访问学者，并于2016年在芝加哥丰田技术学院（TTIC）担任访问学生。他的研究兴趣包括人工智能跨学科研究，计算机视觉以及深度学习辅助的通知感知计算一体化的未来智联网络。他在顶级会议和期刊上发表了论文30余篇，例如顶级期刊Cell Systems和Nature Communications, IEEE TNNLS，PLOS CB等以及顶级会议 CVPR，ICCV, ECCV, AAAI, IJCAI, ACL, ECAI，MICCAI，RECOMB，ISBI等。与此同时，他是蛋白质结构预测领域奥利匹克竞赛（CASP12）接触图预测的全球冠军，相关方法发表的论文获得了PLOS CB 2018突破与创新奖（一年一篇），Web of Science的高被引论文，并作为Google DeepMind提出的AlphaFold的基线方案。作为导师，他带领学生获得了CAMEO模型打分算法月度冠军，自动驾驶语义分割公开竞赛冠军，ICCV2021城市大场景理解竞赛第二名，IEEE ICDM Global A.I.气象挑战的第一名。同时，李镇博士还获得了来自于国家、省市级以及工业界的科研经费超过300余万元。有关更多详细信息，请扫描下方二维码浏览他的主页。

欢迎对于室外大场景自动驾驶、无人机（尤其是工业级无人机操控和数据采集）中利用多模态数据进行融合解析感兴趣的同学加入课题组研究。

崔曙光教授

校长学勤讲座教授，未来智联网络研究院院长，深圳市大数据研究院常务副院长

崔曙光教授，国家重点研发计划首席科学家，全球高被引学者，IEEE Fellow，深圳市杰出人才培养计划首批入选人。崔教授于2005年在美国斯坦福大学获得博士学位，先后在UC Davis等多所美国大学任教至讲座教授。现任香港中文大学（深圳）校长学勤讲座教授、未来智联网络研究院院长、港中深-京东集团人工智能联合实验室主任，深圳市大数据研究院常务副院长。

崔教授的科研成果主要集中在数据驱动、AI赋能的大规模系统控制和资源管理。他已在国际一流期刊和会议上发表了280多篇论文，是IEEE 信号处理协会2012年最佳论文奖获得者，并曾担任多个IEEE国际会议的主席和程序委员会主席，两个IEEE国际期刊的指导委员会成员、主席，多个IEEE国际期刊的编委和领域主编，IEEE无线技术委员会的主席。他在2013年当选IEEE Fellow（博士毕业8年内入选，IEEE历史上最快之一），在2014年入选IEEE通信协会杰出讲师，汤森路透全球高被引科学家名单，和ScienceWatch的全球最具影响力科学家名单。在2017年10月，基于其在物联网和数据分析领域的学术声誉，他应阿里巴巴集团的邀请到杭州，作为13名科学家之一为阿里巴巴达摩院的成立提供了战略性意见。崔教授在2020年获得IEEE ICC最佳论文奖，IEEE ICIP最佳论文列表，IEEE GLOBECOM最佳论文奖，中国ICT2020创新应用奖，Chinagraph首个图形开源数据集奖，中国电子学会自然科学一等奖，中国通信学会技术发明一等奖。

【END】

点击以下链接，进入理工时刻：