计算专题 [转] | 3DCaricShop: 夸张人脸画像的重建 (IEEE CVPR'21)
Editor's Note
本期<计算专题>推荐一篇刚刚落幕的IEEE CVPR论文,传统视觉加上机器智能在人脸画像重构的应用,欢迎点击关注我们的公众号IntelligentOptics,分享光学、图形学、计算视觉领域的前沿技术资讯,感谢支持!
The following article is from 将门创投 Author 邱宇达
夸张人脸图像是一种广泛应用的艺术表达形式。它通过对人脸五官的特征进行夸张处理,增加作品的幽默或讽刺效果,从而使图像能更好地被观众识别并记忆。这类作品的绘制,需要掌握一定的专业技能,并花费较长的时间来完成。
近期,研究人员尝试采用机器学习的方式创作夸张图像。如何从这类作品中,重建出对应的三维人脸模型,也引起了关注。
论文链接:https://arxiv.org/pdf/2103.08204.pdf
文章作者针对上述问题完成了两项工作:
2. 为了试验该数据库的有效性,提出了一个baseline的方法,实现从单视角夸张人脸图像中重建三维模 型的目标,如上图右侧。
作者结合隐式函数重建和参数化网格表达两种方法,设计了一个能适应复杂几何结构且输出模型具有拓扑一致特征的框架,从而从图像中获得形状准确且能便捷地进行动画编辑的网格模型。文章通过对比数据库里形状的多样性展示了3DCaricShop与现有三维人脸数据库的区别,并通过与现有方法的对比以及消融实验说明了baseline方法的有效,详见实验分析部分。
一、3DCaricShop数据集
3DCaricShop包含2000组图片-模型数据。作者从二维漫画数据集WebCaricature中挑选了2000张风格迥异的图片,然后由专业建模师根据图片,使用ZBrush创作出尽可能匹配的三维网格模型。
上述创作的三维模型具有不同的网格拓扑结构。为了构造数据集的参数空间,所有的三维模型都进行了同拓扑处理:
1)对每个面部模型人工标注了44个三维关键点;
二、方法概述
单视角的人脸重建是计算机视觉中的经典任务,主流的参数化方法和Shape-from-Shading的方法能从照片出很好的估计出人脸形状。但受制于夸张图像中更为复杂的人脸形变,和画家的各类艺术色彩风格,上述方法都不能直接迁移到夸张人脸的重建任务。
近年来随着深度学习的成功,像素对齐隐式函数重建 (Pixel-aligned Implicit Function, PIFu) 通过直接从庞大的数据集中直接学习形状先验,已经在人体的三维重建任务中取得了很好的效果。
隐式函数重建出的模型虽然很好地反映了图像的形状信息,但由于预测出的网格拓扑不一致,难以适应人脸模型的众多应用,如动画、纹理编辑。因此作者进一步地采用非刚性配准(non-rigid registration, NICP)将一个人脸模板变形成隐式重建的形状,完成拓扑的统一。
而在变形的过程中,需要有稀疏的对应点作为变形的引导来提高准确度,为了获取隐式重建结果中的三维关键点,作者提出了新颖的多视角协作的三维关键点检测方法 (View-collaborative 3D Landmark Detection)来预测模型上的人脸关键点三维坐标。
三、网络结构
采用平均P2S(point-to-surface)作为评价指标,测量预测模型的各个点到人脸表面的单向距离。下表展示本文方法和其他现有方法的比较,该方法在3DCaricShop测试集上实现了最小的P2S。
关键点引导的配准:
文章评估了三种模型变形的流程:
1)直接执行非刚性变形,不参考对应关键点信息;
2)使用对应关键点引导非刚性变形,不对结果进行PCA空间投影;
3)本文方法。
结果如下图所示,表明该方法可以获得更高质量的网络,并能捕获到准确的形状信息。
五、总结
团队主页:
https://mypage.cuhk.edu.cn/academics/hanxiaoguang/
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主,非盈利非广告,希望能结交共同兴趣方向的读者们,建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢,请点击“在看”和“点赞”,将有助于微信公众号平台对信息的定向统计和及时推送,小编团队在此不胜感激!
END