“智能光子应用技术”专栏 | MDPI Sensors：基于点云的人体关节点提取方法综述

点击左上角“MDPI工程科学”关注我们，为您推送更多最新资讯。

引言✦

人体行为识别是光信息处理和计算机视觉等交叉学科重点的研究方向之一，在人机交互、虚拟现实、智能监控和智慧医疗等方面具有巨大的应用前景。目前基于二维图像的人体关节点提取技术，容易受到环境和光照的影响，且常常由于遮挡导致提取失败。而利用深度相机获取待测物体的三维数据，具有不易受环境和光照影响的显著优势，越来越受到研究者们的广泛关注。

尽管在以往的综述中已经对许多基于深度图的人体行为识别研究进行了分类和概括。相比较而言，点云数据可以从直观上提供三维待测物体的真实三维空间显示，并且可以提供几何和光度等多个特征信息。但由于点云的无序性和旋转不变性，基于点云的人体行为识别仍然面临很多困难。本篇发表在Sensors 期刊上的综述文章，总结了基于点云的人体位姿估计的最新进展，并对重要的研究进行了重点介绍。调研了该领域广泛使用的数据集和相关应用方向，有助于进一步了解相关前沿研究方向以及未来研究中需要解决的问题。

 分类方法 

早前的研究主要以RGB图像为主，然而，由于人体遮挡、复杂场景以及人体位姿估计方法的局限性，限制了基于RGB图像的人体动作表示和识别精度。而深度传感器的出现，解决了基于RGB图像人体位姿估计遇到的困难。按照不同的工作原理，现有的基于点云的人体关节点提取方法主要可以分为基于模型的方法、基于特征的方法和基于机器学习的方法 (图1)。

图1. 人体关节点提取方法分类图。

在三种方法中，现有的基于模型的算法按其原理又大致分为几何模型、数学模型和网格模型三大类。构建的模型越复杂，通常具有更多的特征参数，可以为人体提供更好的近似，从而提高人体模型的真实性和准确性。基于特征的方法中，最常用的为测地距离和几何特征。测地距离是两点沿物体表面的最短路径。三维图像的几何特征包括长宽比、轮廓、所占面积和离心率等，这些几何特征有助于快速定位全局特征点。基于机器学习的方法主要采用一些主流的网络模型对点云数据进行处理，提取其局部和全局特征，进行人体行为识别与关节点提取。

通过对比可知，基于模板的方法首先需要建立模板库，然后比较人体点云与模板库中样本的相似度，匹配过程中比较耗时。并且相同的人体位姿在空间上可能会有很大差异。因此，基于模板的方法的准确性非常有限；基于特征的方法需要提取点云的全局或局部特征，结合一些先验知识来获得人体的3D关节。如果仅依赖于关节的深度特征和长度约束，基于特征的方法不能进一步提高关节检测的准确性。因此，结合来自多个传感器的其它数据成为新的突破口；基于机器学习的方法主要是利用网络自动从点云中学习到需要的特征，然后将学习到的特征作为判断条件以提取人体关节点。与上述两种方法相比，基于机器学习的方法有了很大的改进，但会受训练集样本丰富性的限制。因此，训练集的构建对于基于机器学习的方法非常重要。

 数据集及应用 

在人体动作识别领域，有很多数据集可以用于评估算法的性能。常见数据集如表1所示。

表1. 三维人体深度数据集。

从表1可以看出，针对单人数据集，MSR-Action3D和G3D都以体感游戏动作为主要应用方向。获取的数据都是单一视角，动作类别相似。MSR-Action3D数据集除了深度信息，数据集还包括RGB图像和红外视频。SMMC-10、Walking gait、MHAD、CDC4CNV和EVAL主要包括人体的基本行为活动。在SMMC-10数据集中，只包含单个参与者完成的一系列复杂动作。MHAD包含了12名参与者从4个不同视角的深度信息，并给出了参与者的性别和年龄。EVAL提供了12个关节点的三维位置以及相应的点云数据。CDC4CNV跟踪人体上半身9个关节，Walking gait数据集主要分析人体步态，两个数据集的应用场景都有一定的局限性。对于多人数据集，CMU MoCap数据集利用MoCap系统获取41个关节的真值信息，涵盖多人游戏、运动等行为。SBU-Kinect-Interaction只提供了8类人体交互行为。G3Di提供了多人游戏中常见的动作标记，并给出了人体的20个关节标记结果。NTU RGB+D使用Kinect v2获取25个关节点位置。除了深度信息，数据集还包括RGB图像和红外视频。

除此之外，随着人体关节点提取技术的慢慢成熟，人体关节点提取技术也在一些前沿的应用领域起到了至关重要的作用。根据应用场景的不同，可以分为以下几类，包括虚拟穿衣技术、三维人体重建、动作识别、人机交互等研究方向 (图2)。

图2. 人体关节点提取方法相关应用示意图。

 研究总结 

在本文中，回顾了基于点云的人体关节点提取相关研究工作，详细讨论了三种人体关节点提取的方法，总结了常见的人体行为识别相关数据集，并探讨了此领域的相关应用。通过对已有研究文献的梳理，对现有研究方法进行总结和归纳，以期对未来的研究提供帮助。

识别二维码

阅读英文原文

原文出自Sensors 期刊：

Xu, T.; An, D.; Jia, Y.; Yue, Y. A Review: Point Cloud-Based 3D Human Joints Estimation. Sensors 2021, 21, 1684.

撰稿人：岳洋

 专栏简介 

“智能光子应用技术”专栏由Sensors 期刊编委岳洋教授 (西安交通大学) 主持，专注于光通信、光感知、光芯片等智能光子学领域的前沿进展与创新应用。

 专栏编辑

岳洋 教授

西安交通大学

(上下滑动查看更多内容)

西安交通大学信息与通信工程学院教授、博士生导师，SPIE会士、IEEE/Optica高级会员、智能光子应用技术实验室 (iPatLab) 创始人及现任PI。致力于光通信、光感知、光芯片等智能光子学领域的基础及应用研究。已发表论文240余篇 (包括Science)，特邀论文10余篇，申请及授权专利60余项 (包括美国专利25项、欧洲专利9项，已授权30余项)，编著英文书5部，英文书章节2章，Google学术引用10,000余次，获邀报告200余次 (包括1次Tutorial，30余次Plenary和50余次Keynote)。现任IEEE Access、Frontiers in Physics副主编，Sensors 等4个学术期刊编委，J. Lightw. Technol. 等特刊客座编辑10余次，国际会议主席、技术委员会委员100余次，70余学术期刊审稿人。

精选视频

往期回顾

版权声明：

*本文内容由Sensors 期刊编委岳洋教授撰写，文中涉及到的论文翻译部分，为译者在个人理解之上的概述与转达，论文详情及准确信息请参考英文原文。本文遵守 CC BY 4.0 许可 (https://creativecommons.org/licenses/by/4.0/)。如需转载，请于公众号后台留言咨询。

由于微信订阅号推送规则更新，建议您将“MDPI工程科学”设为星标，便可在消息栏中便捷地找到我们，及时了解最新开放出版动态资讯！

点击左下方“阅读原文”，免费阅读英文原文。

期待您的“三连击”☞【分享，点赞，转发】