“智能光子应用技术”专栏 | MDPI Sensors：基于ToF深度相机的口罩识别技术

点击左上角“MDPI工程科学”关注我们，为您推送更多最新资讯。

引言✦

许多病毒可以通过飞沫和气溶胶在人群中传播，研究表明，佩戴口罩可以有效地限制这些病毒的传播。在机场、地铁、购物中心等室内场所中，识别未佩戴口罩的人员，及时提醒其佩戴口罩，可以显著减少病毒传播的风险；在医疗机构、食品安全监管等场所，识别口罩佩戴情况有助于及时发现和控制不必要的感染。研究口罩识别算法可以为公共场合管理提供更具科学性、智能化的手段。

目前，大部分口罩识别工作主要基于二维图像。然而，在照明条件差的情况下，这些方法的性能开始显著下降。与传统光学相机易受环境照明影响不同，深度相机在低光照甚至黑暗条件下都具有稳定性和鲁棒性，其拍摄得到的三维数据可以更好地描述真实世界。本篇发表在Sensors 期刊的研究论文，旨在利用快速成像的深度相机对口罩佩戴情况进行准确、快速地区分，从而对人员进行有效分类和统计，有助于打破传统识别方法的限制，为口罩识别方法提供新的解决思路，提高识别方法的准确性和泛化性。

 研究内容 

本研究设计了一种基于ToF深度相机的口罩识别方法 (图1)。通过在面部深度图像中提取面部轮廓曲线，并根据面部轮廓设计空间特征描述子和频率特征描述子进行区分，本文设计的方法可以识别三种口罩佩戴情况：未佩戴口罩、佩戴普通外科口罩和佩戴N95口罩。普通外科口罩在日常生活中应用最为广泛，N95口罩在医院和其它风险环境中具有更好的预防能力和更高的使用率。因此，识别这两种口罩类型具有重要的研究意义。

图1. 基于ToF相机的口罩识别流程图。

利用ToF深度相机采集面部深度图像，并从深度图像中提取面部轮廓作为特征。识别过程依次分为两个子模块：首先识别口罩的佩戴情况，如果输出结果为“是”，则进一步区分口罩类型。否则，输出没有佩戴口罩的结果。上述分类过程主要依赖于所设计的特征描述子，包括面部轮廓曲线的空间特征和频率特征。

拍摄得到的深度图像存在大量冗余信息，如背景、噪声、头发等。首先需要通过距离滤波去除冗余的背景信息，再通过裁剪进一步缩小目标范围。然后，使用所设计的菱形滤波器从菱形的面部区域中提取面部中心侧影轮廓。最终，进行平滑处理以获得具有空间解释的面部轮廓曲线。

从下半部分面部的三维视图 (图2) 可以看出，未佩戴口罩的面部轮廓具有明显的多峰起伏，且有明显可辨别的鼻子形状。佩戴普通外科口罩的面部轮廓总体上更加平滑，但有许多微小的波动。佩戴N95口罩的面部轮廓有一个明显的峰和一些小波动。

图2. 下半部分面部深度图像的三维视图。

图3展示了需要区分的三种类型的面部轮廓曲线，作者在每种类型中随机选择了10条曲线进行重叠显示。可以看出，对所有曲线进行归一化后，同一类型的曲线展示出了良好的重复性和相似的几何特征，不同类型的曲线则具有不同的几何特征。利用这些区别合理设计特征描述子，可以实现对这三种情况的区分。

图3. 三种类别各取10个样本的归一化下半面部轮廓曲线。

 研究总结 

本研究提出了一种利用ToF深度相机识别口罩佩戴情况的方法，并可以进一步分类口罩的类型。使用具有简单系统的ToF深度相机来捕捉深度图像，利用深度信息提取面部轮廓的空间特征和频率特征，可以在准确识别的同时，减少数据量，提高算法的识别速度。通过设置适当的阈值和投票法，本文的方法在自建库中可以对未佩戴口罩的图像实现99.21%的召回率，平均识别准确率可达96.9%，在快速识别的同时达到令人满意的精度。

识别二维码

阅读英文原文

原文出自Sensors 期刊：

Wang, X.; Xu, T.; An, D.; Sun, L.; Wang, Q.; Pan, Z.; Yue, Y. Face Mask Identification Using Spatial and Frequency Features in Depth Image from Time-of-Flight Camera. Sensors 2023, 23, 1596.

撰稿人：岳洋

 专栏简介 

“智能光子应用技术”专栏由Sensors 期刊编委岳洋教授 (西安交通大学) 主持，专注于光通信、光感知、光芯片等智能光子学领域的前沿进展与创新应用。

 专栏编辑

岳洋 教授

西安交通大学

(上下滑动查看更多内容)

西安交通大学信息与通信工程学院教授、博士生导师，SPIE会士、IEEE/Optica高级会员、智能光子应用技术实验室 (iPatLab) 创始人及现任PI。致力于光通信、光感知、光芯片等智能光子学领域的基础及应用研究。已发表论文240余篇 (包括Science)，特邀论文10余篇，申请及授权专利60余项 (包括美国专利25项、欧洲专利9项，已授权30余项)，编著英文书5部，英文书章节2章，Google学术引用10,000余次，获邀报告200余次 (包括1次Tutorial，30余次Plenary和50余次Keynote)。现任IEEE Access、Frontiers in Physics副主编，Sensors 等4个学术期刊编委，J. Lightw. Technol. 等特刊客座编辑10余次，国际会议主席、技术委员会委员100余次，70余学术期刊审稿人。

精选视频

往期回顾

版权声明：

*本文内容由Sensors 期刊编委岳洋教授撰写，文中涉及到的论文翻译部分，为译者在个人理解之上的概述与转达，论文详情及准确信息请参考英文原文。本文遵守 CC BY 4.0 许可 (https://creativecommons.org/licenses/by/4.0/)。如需转载，请于公众号后台留言咨询。

由于微信订阅号推送规则更新，建议您将“MDPI工程科学”设为星标，便可在消息栏中便捷地找到我们，及时了解最新开放出版动态资讯！

点击左下方“阅读原文”，免费阅读英文原文。

期待您的“三连击”☞【分享，点赞，转发】