SFFAI分享 | Geometric Relation Learning in 3D Point Cloud Analysis

关注文章公众号

回复"SFFAI25"获取PPT资料

视频资料可点击下方阅读原文在线观看

导读

---

近年来，卷积神经网络（CNN）在图像这类规则数据的处理中获得了举世瞩目的成功，然而如何拓展CNN以分析点云这种不规则数据，仍然是一个开放的研究问题。对于点云而言，每一个点并非孤立存在，相邻的点形成一个有意义的形状，因此对点间关系进行深度学习建模非常重要。在SFFAI25分享会中：

• 我首先介绍了点云分析的任务以及难点，由此引出了深度学习关系建模的合理性；

• 接着分享了一些相关的经典论文；

• 最后介绍了我们最新的CVPR 2019 Oral工作：Relation-Shape CNN, 通过几何关系卷积将2D CNN拓展至3D点云分析领域。

作者简介

---

刘永成，中科院自动化所，模式识别国家重点实验室15级在读博士，研究兴趣包括三维点云处理、图像分割、多标签图像分类、目标检测等。个人主页：yochengliu.github.io，点云分析Git：awesome-point-cloud-analysis，欢迎大家关注，一起学习，共同进步！

具体内容推文分享

---

第一部分：任务及挑战。

• 介绍点云分析的一些任务，如下图所示。在现代应用中，大部分应用都需要对点云所隐含的3D形状有一个高级别的语义理解，比如点云分类、目标检测和场景理解等。相比于传统方法，以CNN为代表的深度学习方法更加擅长对物体进行语义级别的理解。

• 介绍点云分析的一些挑战，如下图所示。主要包括：点云的置换排列不变性、刚体变换语义不变性、传感器等因素引起的损坏、异常值和各种噪声。

第二部分：介绍一些相关的经典论文，包括：PointNet(++)、DFN、ECC和DGCNN。

第三部分：介绍CVPR 2019 Oral工作Relation-Shape CNN，arXiv: arxiv.org/abs/1904.07601

RS-CNN的基本卷积算子如图2所示。为了实现局部卷积归纳学习，我们将局部点云子集建模为一个球形邻域，该邻域的中心点为采样点，其余点作为的邻居点。在该邻域上，我们构建了一个一般性的卷积操作方法：

其中是三维点，是特征向量，是点和的3D欧式距离，是球半径。卷积结果通过首先使用函数对邻域中每一个点进行特征变换，然后使用函数聚集变换后的特征，最后经过非线性激活后获得。注意到仅当是对称函数，并且函数对邻域中每一个点均共享参数时，对输入点的顺序具有置换不变性。

在经典网格卷积中，特征变换函数实现为，其中为可学习的卷积权重，· 表示按元素相乘。该卷积方法在点云数据上操作时会有两个缺陷：1）由于不共享参数，因此该卷积对输入点集不具备置换排列不变性。2）在反向传播中的梯度仅与孤立点 相关，因此该卷积难以捕捉到点间关系。

为了克服上述问题，我们将卷积转换为从几何关系中学习。在方法上，我们将替换为，并让从几何关系向量中学习一个高维的映射函数。是预先定义的点和之间的几何先验。该过程可以描述为：

其中映射函数的目标是从几何先验中学习一个高维的、有表现力的关系表达，以编码3D点集的空间布局，这里我们使用共享的多层感知器（MLP）来实现映射函数。以这种方式，巧妙地转换为，它的梯度由预定义的几何先验决定，且与点和均几何相关。于是，公式（1）中的变为：

该卷积方法聚集了点和所有邻居点之间的几何关系表达，因此可以对3D点的空间分布进行显式的推理，进而有区分力的反映其隐含的3D形状。其中几何先验可以灵活设置，因为映射函数能将映射为高维的关系向量，以实现与特征进行通道对齐。在经典图像CNN中，随着图像分辨率的降低，特征通道数会逐渐增加以提升表达能力。基于此，我们在上增加共享的MLP以实现通道提升映射。

图3为经典2D网格卷积的示意图。注意到总是隐含着和的一个固定位置关系，也就是说，在学习过程中受到了限制，实际上编码了一种规则的网格关系。因此，我们所提出的关系卷积方法具有通用性，它也能够建模经典的2D网格卷积。

为了验证RS-CNN的有效性，我们在主流的点云分析任务上进行了测试，包括点云分类、部件分割和法向预测。ModelNet40上的分类结果如表1所示，在仅使用3D坐标和1k个稀疏点作为输入的情况下，RS-CNN仍然实现了最佳分类效果。

ShapeNet part上的分割效果如图6所示。尽管点云所形成的形状多种多样，并且很容易产生混淆，RS-CNN依然可以准确地将部件分割出来。

ModelNet40上的法向预测结果如图7所示。与PointNet以及PointNet++相比，RS-CNN可以取得更加准确的法向预测结果。尽管如此，RS-CNN仍然难以有效推理棘手的形状，比如旋转楼梯以及错综复杂的植物。

公式（3）中的几何先验可以灵活地定义，我们在ModelNet40上测试了五个比较直观的例子，结果如表6所示。可以看到，仅仅使用3D欧式距离作为低维几何关系（model A），RS-CNN依然能够取得92.5%的精度，这很让人印象深刻。此外，为了测试RS-CNN的几何形状推理能力，我们强制置零某一维的坐标值，即将3D点云投影到2D空间（model E，图9），得到的分类精度均接近92.2。这证明了RS-CNN不仅可以从3D点云中学习3D形状，还能从2D投影空间中推理3D形状。

为了验证所提出的几何关系卷积的鲁棒性，我们设置几何先验为3D欧式距离，然后在ModelNet40上进行鲁棒性测试，结果如表7所示。虽然几何关系能够做到旋转不变，但网络初始输入的特征仍然会受到旋转的影响。针对这一问题，我们引入法向将每一个局部点集旋转到以法向和采样点确定的局部坐标系中，实现了旋转不变。但该旋转会给形状识别带来困难，因此分类精度会有所下降。

SFFAI招募召集人！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI自2018年9月16日举办第一期线下交流，每周一期，风雨无阻，截至目前已举办26期线下交流活动，共有51位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了SFFAI的活动。SFFAI已经成为人工智能学生交流的第一品牌，有一群志同道合的研究生Core-Member伙伴，有一批乐于分享的SPEAKER伙伴，还有许多认可活动价值、多次报名参加现场交流的观众。

我们邀请你一起来组织SFFAI主题论坛，加入SFFAI召集人团队。每个召集人负责1-2期SFFAI主题论坛的组织筹划，我们有一个SFFAI-CORE团队来支持你。一个人付出力所能及，创造一个一己之力不可及的自由丰盛。你带着你的思想，带着你的个性，来组织你感兴趣的SFFAI主题论坛。

当召集人有什么好处？

谁可以当召集人？

怎样才能成为召集人？

为什么要当召集人？

了解我们，加入我们，请点击下方海报！

历史文章推荐：

录播视频，请点击下方

阅读原文

观看

↓↓

若您觉得此篇推文不错，麻烦点点在看↓↓