成像专题 | 大规模且高精度三维人脸重建(IEEE CVPR)
大规模且高精度三维人脸数据集与单视图人脸三维重建(IEEE CVPR)
FaceScape: a Large-Scale High-Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction
本期导读
人脸相关的技术已经深入大众生活的方方面面,从手机应用中的人脸识别和人脸美化,到荧幕上的影视特效和虚拟主播,再到虚拟游戏世界中的三维人物捏脸,三维人脸的解析和重建是其中的关键技术,也是如今计算机视觉和人工智能领域的研究热点。本期分享来自南京大学和百度研究院的合作研究成果,相关成果《FaceScape: a Large-Scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction》 发表于计算机视觉和人工智能领域的顶级会议CVPR 2020。该工作发布了大规模、高精度三维人脸数据库,从数据层面打开人脸重建和解析研究的突破口,同时提出了通过单幅图像预测不同表情下精细三维结构的新方法(请往下看,含诸多动图)。FaceScape数据集已开放申请和下载,后附数据集发布网站和项目主页的链接。
技术背景
人脸三维模型的解析和恢复是计算机视觉和人工智能领域的研究热点,具有广泛的应用前景。三维人脸模型可应用于基于图像的三维重建、表情解析、虚拟合成、人脸编辑等众多应用中。如下图所示,数字人Siren项目通过建立的高精度参数化三维模型生成了逼真的虚拟影像,是人脸三维模型应用于虚拟影像生成的应用实例。该工作采集并发布了大规模、高精度人脸三维数据集FaceScape。相比于已有的公开数据集,FaceScape数据集在模型的几何结构精度、纹理分辨率、外貌和表情多样性方面均有显著提升。通过在FaceScape数据上的训练,该工作提出了通过单幅图像重建高精度可操控的人脸三维模型,实现了单幅图像预测特定表情下精细三维结构的新方法。
公开数据集
FaceScape数据集包含约1.8万个含有彩色纹理的高精度三维模型,其中约1.7万个模型作为训练集公开。这些模型来自于超过800位不同年龄段、不同身份的参与者,以及每位参与者的20种指定表情。所公开的数据包含了毛孔级别的细微几何结构和高清纹理贴图,并具有统一的面片网格拓扑结构。
已公开的资源包括:
拓扑一致化模型(TU model): 16940个包含4K分辨率纹理贴图、置换贴图的拓扑一致化三角形面片网格模型。对应847个不同身份和20个指定表情。 多视点数据(Multi-view data): 约40万张高精度多视点图像,以及相关的相机参数、重建模型。对应359个不同身份和20个指定表情。 双线性模型(Bilinear model): 四种不同设置下的参数模型,包含基础外形和顶点颜色。 个人信息: 847位被采集者的性别和年龄信息。 工具: 通过三维模型生成深度图、获取标记点、提取面部模型的Python工具集。
*FaceScape数据集仅用于非商业的学术研究,可通过数据发布网站申请和下载(见文末)。相关研究进展和最新公开资源将在本项目GitHub页面持续更新。
技术路线
借助于FaceScape大规模、高精度的数据,该工作提出通过神经网络预测指定表情下的动态三维结构的新方法,进而实现了单视图重建可驱动的高精度人脸三维模型。与以往的方法不同,所述的研究方法能够预测人脸不同表情状态下的高精度几何结构,进而合成各种表情下的高精度三维模型。模型表情操控的动图展示:
论文信息:Haotian Yang*, Hao Zhu*, Yanru Wang, Mingkai Huang, Qiu Shen, Ruigang Yang, Xun Cao, FaceScape: a Large-Scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction, IEEE CVPR (2020).
数据集发布网页:
https://facescape.nju.edu.cn/
GitHub项目页面:
https://github.com/zhuhao-nju/facescape
Reference
回顾与预告
上期回顾:显示专题 | 全息光学器件助理轻薄虚拟现实(ACM TOG)欢迎点击查阅
intelligent.optics.sharing@gmail.com
END