封面故事 | 点云数据分类分割模型

主题词

点云；深度学习；图卷积神经网络；

差异性池化函数；分类分割；联合特征

深度网络用于3维点云数据的分类分割任务时，精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络，往往将全局特征和不同尺度下的局部特征相结合，忽略了点与点之间的结构信息和位置关系。

图图今日推荐《中国图象图形学报》2020年第6期封面论文——《融合图卷积和差异性池化函数的点云数据分类分割模型》。

文末还有图图为大家整理的几个常用3D点云数据集哦~

关注我们一起努力

论文信息

标题：融合图卷积和差异性池化函数的点云数据分类分割模型

作者：张新良，付鹏飞，赵运基，谢恒，王琬如

引用格式：Zhang X L, Fu P F, Zhao Y J, X H, Wang W R . 2020. Point cloud data classification and segmentation model using graph CNN and different pooling functions. Journal of Image and Graphics, 25(6): 1201-1208.(张新良, 付鹏飞, 赵运基, 谢恒, 王琬如.  2020. 融合图卷积和差异性池化函数的点云数据分类分割模型.中国图象图形学报,25(6): 1201-1208.) [DOI: 10.11834/jig.190367]

官网链接：

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20200612&flag=1

研究方法

动态GCN模型

受PointNet单点卷积操作提取全局特征方法启发，引入GCN，通过K近邻算法构造一种图结构，并对图结构中点对之间的位置关系卷积运算，使得网络可以捕捉点与点之间的相关性特征。

引入GCN模块后构造的点云数据深度网络模型架构如下图所示。对原始点云数据使用空间变换网络，保证点云数据的旋转不变性。

差异性池化函数

在网络模型中，池化层对提取的点云特征进行池化操作生成全局特征向量。为了解决输出特征的点序不变性问题，通常采用具有对称特性的最大池化、均值池化函数。

研究结果

3维目标的分类实验

在ModelNet40模型分类数据集上评估本文模型对3维目标分类的性能。为保证实验条件一致性，采用与PointNet相同的数据增强策略，即随机将点云沿z轴旋转，并使用均值为零、标准差为0.02的高斯噪声对每个点进行抖动。结果如表1所示。

点云部分分割实验

在ShapeNet数据集上进行实验验证，选取16类共16 881个3维形状的物体作为分割对象。同时，分割网络从每个CAD模型中采样2048个点作为输入。结果如表2所示。

场景语义分割实验

室内场景分割和部分分割使用同一种网络模型。室内场景点云来自实际环境，每个场景中包含多类目标以及丰富的噪声，因此相比于点云部分分割，室内场景的点云分割更能体现网络模型对复杂场景的泛化能力，更不失一般性。

在平均交并比mIoU上，本文比PointNet高9.8%，在整体精度上，本文方法比PointNet和PointNet++分别高5.6%和0.8%。实验结果充分表明本文GCN模块能很好地提取局部特征，部分室内场景分割可视化结果如图 ，依次为走廊、开阔空间和前厅。

差异性池化对比实验及鲁棒性测试

在3维数据的分类任务中，不同的池化函数会生成不同的全局特征，从而影响识别精度。为了研究不同池化函数对深度网络的分类性能的影响，使用不同池化函数进行对比测试，结果如表 4所示。

为验证网络对于输入点云稀疏性表达的鲁棒性，在对ModelNet40数据集原始采样1024个点的基础上，随机丢弃25%、50%、62.5%、75%以及87.5%的采样点，测试网络模型的平均分类精度。

研究结论

针对点云数据网络模型的分类分割性能与局部特征和全局特征的提取能力密切相关，本文提出了一种由局部特征提取GCN模块和全局特征差异性池化函数整合的网络模型，使得网络具有更强的鲁棒性和分类分割性能。

动态图卷积网络GCN工作机制的引入使得网络具有对图结构的感知能力，捕捉更复杂的特征。在分类、部分分割和场景语义分割数据集上的分类分割实验表明，本文网络模型可以更好地提取局部特征和全局特征，实现了较好的分类分割效果。在扩展网络模型结构处理3D点云数据方面具有重要的参考价值。

未来的主要工作将通过对图结构中点对之间的方向信息进行编码，进一步提取点云数据中局部特征，增强网络模型对点云的处理能力，并且通过改进网络模型使网络适用于现实点云场景的语义分割。

3D点云数据集

1. The Stanford 3D Scanning Repository

链接：

http://graphics.stanford.edu/data/3Dscanrep/

2. Sydney Urban Objects Dataset

链接：

http://www.acfr.usyd.edu.au/papers/SydneyUrbanObjectsDataset.shtml

3. ASL Datasets Repository

链接：

https://projects.asl.ethz.ch/datasets/doku.php?id=home

4. Large-Scale Point Cloud Classification Benchmark

链接：http://www.semantic3d.net/

5. RGB-D Object Dataset

链接：

http://rgbd-dataset.cs.washington.edu/index.html

6. NYU-Depth

链接：https://cs.nyu.edu/~silberman/datasets/

7. IQmulus & TerraMobilita Contest

链接：

http://data.ign.fr/benchmarks/UrbanAnalysis/#

8.The KITTI Vision Benchmark Suite

链接：http://www.cvlibs.net/datasets/kitti/

作者简介

张新良，1978年生，男，副教授，硕导，主要研究方向为智能控制，检测技术与自动化装置等。E-mail:[e-mail]

付鹏飞，男，硕士研究生，主要研究方向为点云处理。E-mail：[e-mail]

赵运基，男，博士，副教授，硕导，主要研究方向为模式识别与智能控制。

谢恒，男，硕士研究生，主要研究方向为模式识别与人工智能。E-mail：[e-mail]

王琬如，女，硕士研究生，主要研究方向为模式识别与人工智能。E-mail: [e-mail]

申明：本文发布的网站内容均不代表本号观点，本号旨在提供参考素材以便学习交流。

"图图Seminar" 直播回放

回放平台：

知网在线教学服务平台：

http://k.cnki.net/Room/Home/Index/181822

B站：

https://space.bilibili.com/27032291

往期目录：

汪荣贵——机器学习基本知识体系与入门方法

陈强——从Cell封面论文谈AI研究中的实验数据问题

石争浩——从先验到深度：低见度图像增强

行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题

孙显——遥感图像智能分析：方法与应用

章国锋——视觉SLAM在AR应用上的关键性问题探讨

林宙辰——机器学习中优化算法前沿简介

白相志，冯朝路——“医学图像与人工智能”主题论坛

李雷达——以人为中心的图像感知评价：从质量到美学

汪荣贵——深度强化学习系列课程第一讲：强化学习与马氏模型

汪荣贵——深度强化学习系列课程第二讲：优化计算的基本方法

汪荣贵——深度强化学习系列课程第三讲：面向价值的深度学习

看完微推意犹未尽？

快加入图图社区，更多资讯等着你

     好文推荐
❂ 专家报告
❂ 论文写作
❂ 往期目次

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：狄   狄

指导：梧桐君

审校：夏薇薇

总编辑：肖   亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

我就知道你“在看”