Facebook趣味AI研究：让“闭眼”的照片完美“睁眼”

点击左上方蓝色字体“慧天地”即可订阅

（更多精彩请留意文末推荐)

拍照时一不小心拍到了闭眼的照片又无法去重拍一次怎么办？

之前，业内有种解决方案是如果要拍人物照片，手机的AI算法会自动锁定人脸，并且为人脸多拍几张照片做后备，如果发现有人闭眼了，则可以通过人脸回溯的功能找到一张不闭眼的头像做替换。

而现在AI算法不仅可以帮助我们进行美颜处理，还能把人物的闭眼照片变成睁眼的照片。目前，Facebook就在做这样的尝试，还原睁眼的逼真程度毫无PS痕迹以及违和感，其发表于CVPR 2018的论文“Eye In-Painting with Exemplar Generative Adversarial Networks”对此进行了阐述。

图像补全（In-Painting）其实是一个传统图形学的老话题，在一幅图像上挖一个洞，看如何利用其他的信息将这个洞补全，并且达到让人眼无法辨别的程度。

从左至右：示范图像、源图像、Photoshop睁眼算法、Facebook算法

在常用的PS软件中，Adobe通过其“上下文感知填充（context-aware fill）”这个技术，允许用户无缝地替换不需要的特征元素，例如突出的分支或云，通过很好地模拟该处应有的元素来进行预测和填充，但有些功能总是超出了这类工具的替代能力，其中之一就是眼部位置的替换。

眼睛的精细度和高度可变的性质，使系统改变或创建这些位置变得困难。而深度神经网络（DNN）可以学习“打开”一双闭合的眼睛，但是模型本身并不能保证新的眼睛正好对应于这个人的特定眼睛结构和表情，如何利用其他的信息，如何判断补全的结果是否足够逼真，都是需要综合考虑的问题。

近来，得益于神经网络对图像中高层特征（high-level feature）的提取能力，研究人员可以将大数据和high-level feature组合起来，使这个十分困难的问题得到了比较好的解决，Facebook通过一个生成式对抗网络(Generative Adversarial Network，GAN)来解决这个难题，进一步提出ExGANs。

ExGAN是条件GAN（cGAN）的扩展，利用示例信息，生成高质量、个性化的图像补全，与以前的条件GAN不同，在判别器网络里插入了额外的参考信息（参考图片或者感知代码），让ExGAN有更强的细节处理能力。 

ExGANs的总体训练流程可以概括为：从输入图像中标出眼睛; 以参考图像（reference image）或感知代码（perceptual code）为指导，对图像进行补全; 通过输入图像和补全图像之间的内容/重构损失，计算生成器参数的梯度; 用补全图像、另一个ground truth图像和参考图像或感知代码，计算鉴别器参数的梯度; 通过生成器反向传播鉴别器的误差。还有可选的一步，用感知损失对生成器的参数进行更新。

在后期测试中，人们错误地将虚假的睁眼照片误认为是真实的照片，或者说他们不能分辨哪些是经过处理的图像，ExGAN不仅了解了这个人的眼睛看的是什么，还了解了这个人的眼睛的结构、瞳孔的颜色等等，最终补全的结果非常逼真且自然。

据Facebook相关研究人员介绍，在某些情况下，这种“睁眼”处理仍然会失效，比如一个人的眼睛被头发部分覆盖，或者有时不能正确地重新创建颜色，就会产生奇怪的处理效果，目前，研究人员正在解决这个问题。此外，ExGAN做为一个通用的框架，可以拓展到其他计算机视觉任务乃至其他领域的问题上做延伸。

作为社交科技巨头，Facebook拥有海量的用户社交图片，如果这种AI睁眼算法能够嵌入或者做成一些功能应用，想必会非常受欢迎。

来源：AI星球（本文作者不详，请原作者及时和《慧天地》联系，我们高度尊重原创，版权归原作者及刊载媒体所有。）

荐读

点击下文标题即可阅读

编辑 / 王欠鑫  审核 / 印涌强 朱林烨

指导：万剑华教授(微信号wjh18266613129)