霸榜GitHub热榜第一，鹅厂这个AI模型火到国外

不吹不黑，最近鹅厂一款AI模型真的太火了，不仅已经连续多日霸占GitHub热榜第一和 PaperWithCode热榜第一，而且GitHub上申请试用的开发者已经排起了长队，截至昨晚已经超过2000多位。这就是大火的AI修复项目：GFP-GAN，目前Star数高达9600。

来看看到底什么是GFP-GAN👇👇

这个项目是由腾讯PCG ARC实验室提出，其相关论文已被CVPR2021收录，简单来说，是受到目前最前沿的生成对抗网络GAN的启发, 特别是StyleGAN2能够生成足够以假乱真的人脸图像的启发，提出来的一种AI人脸复原的新技术。

其工作核心是利用了包含在训练好的人脸生成模型里的”知识”, 被称之为生成人脸先验 (Generative Facial Prior,GFP). 它不仅包含了丰富的五官细节, 还有人脸颜色, 此外它能够把人脸当作一个整体来对待, 能够对头发, 耳朵, 面部轮廓都有处理。

先来看看它做到的效果：

还有用AI修复的高圆圆童年照:

鲁迅年轻时意气风发的模样，被还原得淋漓尽致：

图灵的这张修复就更厉害了，不仅眼神更加锐利，头发、眉毛等细节都被完美还原了出来：

相比于近几年其他人脸复原的工作, GFP-GAN不仅在五官恢复上取得了更好的细节, 整体也更加自然, 同时也能够对颜色有一定的增强作用。

目前，这个项目已经在GitHub热榜第一的位置霸榜多日，不仅让众多国内用户震撼不已，也风靡到国外，不少国外网友也叹为观止。

怎么实现的

实际上，现实世界中的老照片修复是一个很有挑战性的任务。因为老照片往往会有复杂的降质(degradation) 过程，比如模糊，噪声，JPEG压缩，色彩偏差，以及它们复杂的组合。老照片修复的任务就是去除低质量因素，恢复高清纹理细节，恢复或者增强色彩。

核心想法

人们往往利用人脸特有的先验来辅助修复。常见的比如有：

⭐几何人脸先验: 比如人脸关键点，人脸分割图，人脸热力图。然而从低质量的图片中很难取得很准确的几何信息。此外，它们很难提供纹理方面的信息。

⭐参考图：即从数据库中取得相同或者相似的人脸作为参考(Reference)来复原。但是这样的高质量的参考图在实际中很难获取。

在这个工作中，腾讯使用了强大的生成对抗网络 GAN。注意到人脸GAN往往能够生成高清的纹理，丰富的面部细节，自然的色彩，利用预训练好的GAN网络提供人脸的先验信息来辅助修复。这种先验信息被称为生成人脸先验 (Generative Facial Prior，GFP)。

采用的总体模型框架如下图所示:

更多结果和细节可以阅读我们的CVPR2020 Paper：

https://arxiv.org/abs/2101.04061

值得一提的是，在今年3月份，腾讯微视推出一项“会动的老照片”的黑科技H5，不仅能让尘封几十年的老照片焕新，还能让照片里的人物动起来，重现当年人物的微笑神情。

这背后的技术就更加复杂啦，不仅利用了照片修复，还用到了人像驱动以及特效生成等前沿技术。

目前，GFP-GAN可通过Colab、HuggingFace或本地运行代码进行试玩。

论文地址：https://arxiv.org/abs/2101.04061

GitHub项目页：

https://github.com/TencentARC/GFPGAN

Hugging Face试玩传送门：

https://huggingface.co/spaces/akhaliq/GFPGAN

据小编内部打听，本文论文一作是我的同事Xintao Wang，他是腾讯 ARC 实验室的研究员，本科毕业于浙江大学，博士毕业于香港中文大学，博士期间师从汤晓鸥教授和Chen Change Loy教授，主要研究方向为计算机视觉和深度学习，尤其关注图像、视频修复方面。

据了解，作为PCG的侦察兵和特种兵，腾讯平台与内容事业群(PCG) ARC Lab 肩负着探索和挑战智能媒体相关前沿技术的使命，旨在成为世界一流应用研究中心和行业标杆，聚焦于音视频内容的生成、增强、检索和理解等方向

相信，随着AI技术的发展，未来，不仅仅局限于人脸复原，更多场景中的老照片也将借助AI技术来成功复原，让我们更加身临其境，穿越时空，感受彼时彼刻的环境气息，彷佛此时此刻。

—END—