IJCAI 2020 | 淡妆浓抹总相宜之人脸上妆

©PaperWeekly 原创 · 作者｜黄智坤

学校｜杭州电子科技大学硕士生

研究方向｜图像生成、图像增强

这篇论文是杭州电子科技大学（HDU），悉尼科技大学（UTS），中国科学技术大学（University of Science and Technology of China），百度研究院（Baidu Research）被 IJCAI 2020 录用的文章 Real-World Automatic Makeup via Identity Preservation Makeup Net。

社交网络的不断发展也让人们对美颜技术提出了更高的要求，在完成图像美化的同时保证图像的真实性是至关重要的。作者从现实世界需求出发，探索了完成人脸自动上妆同时保留图像的真实性的方法，同时提出了使用 FID 以及 LPIPS 来量化人脸自动上妆的效果。

论文标题：Real-World Automatic Makeup via Identity Preservation Makeup Net

论文来源：IJCAI 2020

论文链接：https://github.com/huangzhikun1995/IPM-Net/blob/master/Real_World_Automatic_Makeup_via_Identity_Preservation_Makeup_Net.pdf

代码链接：https://github.com/huangzhikun1995/IPM-Net

之前的工作有什么痛点？

• 在生成带妆图像的时候也会引起背景或者人物身份信息的变化，这些变化会令生成的图像失去真实性，用户往往不希望一张美丽的自拍照被人一眼看出“破绽”。
• 化妆程度不可控。可调节的化妆效果更符合现实世界中用户的需求，单一的化妆效果会降低用户使用的兴趣。
• 评价指标的缺失。对于化妆效果的好坏还是依靠志愿者的主观判断，缺少客观的量化指标。

这篇论文提出了什么？解决了什么问题？

• 提出了一种新的基于现实世界的人脸自动上妆网络 IPM-Net，在完成人脸自动上妆的同时保留了图像中人物的身份信息以及图像背景信息，从而保证了生成图像的真实性。

• 基于现实世界的需求出发，引入了化妆程度可控的方案，用户可以按照自己的意愿控制生成图像的化妆程度。此外，图像处理的速度也是现实世界中考量的因素之一，在 2080Ti 上，我们的模型每秒可以处理 16 张 256*256 的人脸图像。

• 对部分来自网络的图像进行换装处理，也得到了不错的效果。但网络图像未经过标注，生成效果受到人脸特征分割效果的限制。

• 引入 FID 和 LPIPS 作为人脸自动上妆模型的量化指标。采用 FID 来测试生成图像的真实性，LPIPS 来测试生成图像的多样性。

具体实现

1.1 特征的定义

在本文中，我们首先定义了两种特征，一种为化妆风格特征，一种为身份信息特征。化妆风格特征与图像中人脸化妆区域的视觉特征相关，身份信息特征与图像的背景、人物的 ID 相关。

1.2 图像预处理

为了让网络能 focus 在人脸的化妆区域，我们对目标图像进行了预处理，预处理的步骤主要有：

• 为每张目标图像生成掩膜，区分出每张图像中的化妆风格特征和身份信息特征。

• 提取人脸化妆区域中的纹理。

• 将目标图像中的人脸化妆区域置灰，加上提取出的掩膜，得到待输入到网络中的图像。

1.3 图像生成

1.3.1 不同ID的生成：

给定目标图像及其预处理好的信息，以及一张参考图像。我们将参考图像上的 makeup style code 提取出来与目标图像中的 identity content code 结合到一起，生成带有参考图像妆容但保留了目标图像身份的新图像。图像 与 网络生成的图像相加的残差结构，对背景的保留有着很大的帮助。

不同 ID 生成新图像对应的损失有：

维持真实性的 GAN loss:

重构出对应 identity content code 以及 makeup style code 的重构损失：

约束背景变化的背景损失：

1.3.2 相同 ID 的重构：

将提供化妆风格的参考图像替换成目标图像，即可将生成图像的过程视为对目标图像的重建。图像的重建可以看作是检验网络是否按照我们设定的功能运行。图像重构对应的损失有：

使用 pixel-level 的 L1 Loss 求目标图像重建损失：

引导妆容信息编码器 focus 在图像中人脸化妆区域的前景损失：

1.4 可控的化妆程度

分别提取目标图像的化妆风格 和参考图像的化妆风格 。使用以下公式生成新的化妆风格：

实验结果

以下实验结果均在在 Makeup Dataset [1] 以及采集自网络的图像进行测试。

2.1 定性指标

我们在部分采集自网络的图像（前两行）以及 Makeup Dataset 上的图像（其余），与 MUNIT 和 BeautyGAN 的生成效果进行比较。

我们网络更多的生成效果如下：

可控的化妆效果：

2.2 定量指标

生成图像的真实度（FID）和多样性（LPIPS）比较。FID 越小代表与真实数据分布之间的距离越小，即真实度越高；LPIPS 越大代表生成图像之间的相似度低，即多样性高。

写在最后

感谢大家看完，这篇文章是我们对人脸自动化妆领域的一次探索，这个项目开始至今也发现了一些问题和收到了一些大佬们的宝贵意见，有些不足我们尚未克服或者尚未发现。欢迎大家对我们的工作提出宝贵的意见，谢谢。

参考文献

[1] BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：[e-mail] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。