叮!爱奇艺人物识别数据集已上线
人物识别是多媒体领域最重要的任务之一。在实际应用中,由于姿态,表情,衣服,角色化妆等非受限实际场景,人物识别非常具有挑战性。随着深度学习技术的发展,人物识别已经在不同的领域得到了广泛的研究,包括人脸识别、人物重识别和说话人识别等,并取得了巨大成就。然而针对海量视频数据,单个模态不足以表达人物的全部身份信息,在实际应用中也没有达到令人满意的程度,技术研究上仍面临着较大的挑战。因此,接近真实场景的数据集是十分重要和必要的。
为了促进多模态人物识别技术的发展,爱奇艺构建了目前全球最大的多模态视频数据集iQIYI-VID,该数据集包含1万个明星艺人的60万个视频片段,来自于40w长视频和100w短视频,旨在促进人物识别的技术创新。
爱奇艺为推动人物识别技术在视频智能分析中的深入研究,在2018年和2019年分别联合PRCV和ACMMM会议举办了两届多模态人物识别挑战赛,并在大赛期间公布了多模态人物识别数据集iQIYI-VID-2018及iQIYI-VID-2019,引起了学术界和工业界的广泛关注,成为人物识别行业的数据新标准。此外爱奇艺还与ICCV 2019合作举办了Lightweight Face Recognition Challenge & Workshop,并为该竞赛提供测试数据集iQIYI-VID-FACE。为了使这些数据集在人物识别领域持续发挥作用,我们将以上数据整合形成数据集iQIYI-VID,并发布在http://challenge.ai.iqiyi.com/data-cluster ,欢迎下载使用。
相比其他人物识别数据集,数据集iQIYI-VID来自于海量视频数据,能够有效应对实际环境下识别效果受到多姿态、多表情、多年龄、多光照、多分辨率、不同角色化妆、局部遮挡等影响这一问题,对多模态人物识别算法的研究具有较高的价值。希望该数据集能够促进人物识别在智能视频分析行业中的实际应用,提高大家对视频人物的全方位的理解,包括对人的检测、识别、属性、动作分析,台词,声音等。
整个数据集划分为四个子任务:A,B,C和D。其中:
Task B对应于多模态人物识别挑战赛竞赛2018,对应数据集iQIYI-VID-2018,来源于爱奇艺app40w长视频,共包含4934个人物id。其中训练集包含219,677个视频片段,验证集包含172,860个视频片段,详情见:http://challenge.ai.iqiyi.com/detail?raceId=5b1129e42a360316a898ff4f;
Task C对应于多模态人物识别挑战赛2019,对应数据集iQIYI-VID-2019,共包含10,034个人物id。其中训练集包含60,566个视频片段,验证集包含76,013个视频片段。这些视频片段部分来自于iQIYI-VID-2018中的困难样例,部分来自于新增短视频数据,这些短视频数据来自于姜饼app。与iQIYI-VID-2018相比,iQIYI-VID-2019场景更丰富,难度系数更高。详情见:http://challenge.ai.iqiyi.com/detail?raceId=5c767dc41a6fa0ccf53922e6;
Task A为taskB和task C的数据总和,共包含10,034个人物id,训练集包含240,129个视频片段,验证集包含197,329个视频片段;
TaskD为iQIYI-VID-FACE,是一个图片数据集,对应Lightweight Face Recognition Challenge,共包含9998个id对应的6311490张图片,详情见:https://ibug.doc.ic.ac.uk/resources/lightweight-face-recognition-challenge-workshop。
目前在TaskC测试集上第一名MAP已经达到了91.14%;在TaskD上大模型达到了0.72981,小模型达到0.72226(TPR@FPR=1e-4),指标仍有较高的上升空间,希望大家再接再厉,刷新纪录。
欢迎大家使用该数据集!如果在论文中用到了iQIYI-VID数据集请引用如下文章:
小贴士:下载数据集iQIYI-VID-FACE之前别忘了要在爱奇艺竞赛网站上http://challenge.ai.iqiyi.com/ 先进行注册哦!
end
也许你还想看
爱奇艺“多模态人物识别竞赛”收官,人物识别精准度提升至91.14%
计算机识别权威专家领衔爱奇艺AI挑战赛评委会 前沿命题吸引多国团队踊跃报名
扫一扫下方二维码,更多精彩内容陪伴你!
爱奇艺技术产品团队
简单想,简单做