封面故事 | 行人再识别：俯视场景新视角

行人再识别是指在一个或者多个相机拍摄的图像或者视频中实现行人匹配的技术，广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同，行人再识别算法主要分为基于侧视角彩色相机和基于俯视角深度相机两种。

论文算法运行结果演示（公车场景）

现有的多数算法主要针对侧视角彩色相机场景，少有算法可以直接应用于俯视角深度相机场景中，尤其是低分辨率场景，如公交车的车载飞行时间（Time of Flight，TOF）相机拍摄的视频。

图图推荐大连海事大学王新年团队发表在《中国图象图形学报》第7期的封面论文。论文提出了一种基于俯视深度头肩序列的行人再识别算法，算法的输入是俯视深度摄像机拍摄的行人视频，输出识别出的行人编号或者姓名，如图1所示。论文还原创性地建立了两个俯视深度数据集：室内多人场景数据集TDPI-L和公交车实际场景数据集TDPI-B。

图1  论文算法示意

01论文信息

论文标题：俯视深度头肩序列行人再识别

论文作者：王新年,刘春华,齐国清,张世强

作者单位：大连海事大学；华录智达科技有限公司

关键词：深度相机；俯视深度头肩序列；头部深度能量图组；相似度权重学习；行人再识别

全文链接：

http://www.cjig.cn/html/jig/2020/7/20200709.htm

02研究方法

对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪，获取行人的头部图像序列，构建头部深度能量图组，并据此提取深度、面积、投影、傅里叶描述子和方向梯度直方图等特征表征行人。计算行人之间头部深度能量图组的各特征之间的相似度，再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合，从而得到相似度总分，将相似度总分最大的行人标签作为识别结果，实现行人再识别。总体算法流程如图2所示。

图2 整体算法流程图

03实验结果及创新性数据集


为验证算法的性能，论文构建了室内多人场景数据集TDPI-L和公交车实际场景数据集TDPI-B。

TDPI-L数据集是使用Kinect v2摄像机在室内录制的俯视角多人场景数据集，摄像机安装高度为2.5m，由包含31个人的20组视频构成，帧速率约为30fps，空间分辨率为512×424。每组两个不同行走方向的视频段，每段视频长度在20~60s之间。图3所示的TDPI-L数据集的示例。在该数据集上，本文算法的rank-1、rank-5和Macro-F1分别达到了69%、79%和76%，性能指标比典型算法平均提升了10个百分点。

图3  TDPI-L数据集的部分片段

TDPI-B数据集是使用2个TOF摄像机分别在公交车进出口录制的俯视角多人场景低分辨率数据集，摄像机安装高度为2.5m，由包含71个人的50组视频构成，帧速率约为30fps，空间分辨率为160×120。每组包含一段上车视频和一段下车视频，视频长度在30~90s之间，同一帧中有多人存在，示例如图4所示。在该数据集上，本文算法的rank-1、rank-5和Macro-F1分别达到了61%、68%和67%，性能指标比典型算法平均提升了9个百分点。

图4 TDPI-B数据集的部分片段

本文算法也在公开的室内单人场景TVPR（Top View Person Re-identification）数据集进行了测试，rank-1、rank-5和Macro-F1分别达到了75%、86%和84%，性能远高于典型算法。

04研究结论


本文构建了适用于俯视深度头肩序列行人表达的深度能量图组，该特征能够有效地表达行人头肩结构与行为特点，在室内单人、室内多人和公交车实际场景中均取得了较好的识别效果。
05关键参考文献


[1] Paolanti M, Romeo L, Liciotti D, Pietrini R, Cenci A, Frontoni E and Zingaretti P. 2018. Person Re-identification with RGB-D camera in top-view configuration through multiple nearest neighbor classifiers and neighborhood component features selection. Sensors, 18(10): 3471 [DOI: 10.3390/s18103471]

[2] Imani Z and Soltanizadeh H. 2019. Local binary pattern, local derivative pattern and skeleton features for RGB-D person Re-identification. National Academy Science Letters, 42(3): 233-238 [DOI: 10.1007/s40009-018-0736-9]

[3] Hofmann M, Bachmann S and Rigoll G. 2012. 2.5D gait biometrics using the depth gradient histogram energy image//Proceedings of the 2012 IEEE Fifth International Conference on Biometrics: Theory, Applications and Systems. Arlington: IEEE: 399-403 [DOI: 10.1109/BTAS.2012.6374606]

[4] Sivapalan S, Chen D, Denman S, Sridharan S and Fookes C. 2011. Gait energy volumes and frontal gait recognition using depth images//Proceedings of the 2011 International Joint Conference on Biometrics. Washington: IEEE: 1-6 [DOI: 10.1109/IJCB.2011.6117504]

[5] Han J and Bhanu B. 2006. Individual recognition using gait energy image. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(2): 316-322 [DOI: 10.1109/TPAMI.2006.38]

06研究团队简介


大连海事大学信息科学技术学院视觉智能与足迹自动分析研究组（VIFAA）由三名教师、27名硕博士研究生组成，研究方向为数字图像处理和生物特征识别，特色研究方向为足迹识别。

VIFAA组联系人：王新年，男，副教授，博士生导师，主要研究方向为数字图像处理和足迹识别。E-mail：[e-mail]

VIFAA组目前研究兴趣主要集中于以下三个方面：

1. 生物特征识别：识脚、识鞋、识步、识姿、识指、判健康

主要研究内容包括脚印或脚纹识别、鞋印检索与识别、足迹序列（步态）识别、走路姿态识别（侧视可见光或俯视深度）、指静脉识别。该方向已在MTAP、ACCV和IJCB等发表10篇文章、12项发明专利授权、5项企业课题资助。以本方向技术为核心的产品已在FBI、伦敦警局、苏格兰警局、纽约警局、韩国国家警局等国内外警局成功应用。

【重要成果】

[1] Wang X N , Zhang C，Wu Y J,et al. A manifold ranking based method using hybrid features for crime scene shoeprint retrieval[J]. Multimedia Tools and Applications, 2017.

[2] Wang X , Wang H , Cheng Q , et al. Single 2D pressure footprint based person identification[C]// 2017 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2017.

[3] 王新年, 舒莹莹. K步稳定的鞋印花纹图像自动聚类[J]. 中国图象图形学报, 2016(5):574-587。

2. 机器视觉：智能焊接与焊道跟踪

针对国内螺旋钢管生产线存在的内外焊缝形态多样和环境干扰复杂的问题研制基于可见光摄像机的焊缝自动检测方案，并已在多家螺旋钢管厂应用。该方向已获两项发明专利授权和三项企业课题资助。

机器视觉：适应于焊缝/焊道形态多样和强干扰情况下内外焊缝/焊道在线检测

【重要成果】

Xinnian W , Baojun L , Tao Z . Robust discriminant correlation filter-based weld seam tracking system[J]. International Journal of Advanced Manufacturing Technology, 2018, 98.

3. 视频智能感知与分析：高清晰成像与重建、视频目标检测与分析

主要研究高分辨率成像、低质量图像重建以及目标检测与分析，应用于在轨飞行器的成像系统、警用痕迹图像/视频质量增强以及车/船载视频感知与分析系统。本方向得到863等3项纵向课题和10项横向课题的资助、授权发明专利3项，获辽宁省科技进步二等奖、大连市科技进步一等奖。

视频智能感知与分析：高清晰成像与重建、警用痕迹图像处理、车/船载视频中目标检测与分析

加入图图社区，获取行业前沿进展

申明：本文发布的网站内容均不代表本号观点，本号旨在提供参考素材以便学习交流。

"图图Seminar" 直播回放

回放平台

知网平台：

http://k.cnki.net/Room/Home/Index/181822

B站：

https://space.bilibili.com/27032291

往期目录

汪荣贵——机器学习基本知识体系与入门方法

陈强——从Cell封面论文谈AI研究中的实验数据问题

石争浩——从先验到深度：低见度图像增强

行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题

孙显——遥感图像智能分析：方法与应用

章国锋——视觉SLAM在AR应用上的关键性问题探讨

林宙辰——机器学习中优化算法前沿简介

白相志，冯朝路——“医学图像与人工智能”主题论坛

李雷达——以人为中心的图像感知评价：从质量到美学

汪荣贵——深度强化学习系列课程1-4讲

张明敏，郭诗辉——“人工智能与虚拟现实”主题论坛

高连如——高光谱遥感图像处理与信息提取

     好文推荐
❂ 专家报告
❂ 论文写作

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：秀   秀

指导：梧桐君

审校：夏薇薇

总编辑：肖   亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

我就知道你“在看”