一键瘦脸！浙大提出：人脸视频编辑新技术

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

转载自：新智元  |  编辑：时光

【导读】最近，浙大研究团队实现了对视频中的人像进行改变，调整参数可以扩大或者缩小。

视频可以瘦脸？来看看究竟怎么回事。

这是美国女演员詹妮弗·劳伦斯（Jennifer Lawrence），左边是youtube上的一段原视频，右边则是「瘦脸」之后的她。

微圆的下巴变成了尖的，瓜子脸快成锥子脸了，似乎也显得老了一些。

既然能「瘦脸」，那是不是也可以「宽脸」呢？

没问题，而且效果拔群，都快要变成国字脸啦。

我们再来给小扎变一个：

一边是「宽脸」，一边是「瘦脸」，嘿，中间那个才是屏幕中熟悉的他。

变脸

近年来，各大社交媒体流行短视频，如视频号、抖音、快手等等。

那么，除了自带美颜、滤镜功能之外，如何对视频中的人物肖像进行数字化修饰？

因为视频是动态性，技术恐怕没有平面美图那么简单。

最近，一项肖像视频编辑的研究发表，分享了这种视频人脸扩缩技术。

研究主要由浙江大学计算机辅助设计和图形学（CAD&CG）国家重点实验室人员完成，参与研究的还有英国巴斯大学。

Parametric Reshaping of Portraits in Videos

论文：https://arxiv.org/abs/2205.02538

正如作者所言，「研究的目标是根据现实世界中的自然面部变形，通过编辑肖像面部的整体形状，生成高质量的肖像视频重塑结果。」

团队的训练环境为一台配有32GB内存的AMD Ryzen 9 3950X的台式电脑。

其中，OpenCV的光流法负责运动映射，并由StructureFlow框架进行平滑处理。人脸对齐网络（FAN）负责特征点估计，而Ceres Solver用于解决优化问题。

与基线方法比较。给定一帧人像视频的框架（a），人像重塑方法会在鼻尖附近产生伪影（b），因为鼻子遮挡了侧面，而作者的方法（c）可以使用相同的整形参数产生令人满意的结果。

与仅使用MLS的方法（a）、只使用优化的方法（b）和作者的方法（c）相比较。

虽然，MLS方法仅确保了人脸边界的一致性和视频稳定性，网格优化在校正背景失真方面是有效的。

但是，作者的方法在背景分离、扭曲和人脸边界一致性方面取得了较好的效果。

通过与不固定轮廓网格点的方法（a）和仅使用稀疏轮廓点映射的方法（b）和作者的方法（C）比较。

可以看出，作者提出的方法在性能方面取得了更好的效果，面部边界一致性和重塑一致性。

整个研究过程，主要包括2个阶段：稳定面部重构，以及连续视频重构。

在第一阶段，作者从整个视频估计面部刚性姿势变换。

然后，联合优化多个帧，进行准确的面部识别重构。

这样，这种方法就从重塑一张单眼图像扩展到重塑整个图像序列。

紧接着，在整个视频中恢复面部表情。

在第二阶段，作者首先重塑了重构的3D人脸，使用参数重塑模型人脸的权重变化。

然后，利用重构后的3D人脸引导视频帧的翘曲。

结果表明，作者提出的方法可以稳健地生成连贯的重塑肖像视频，而基于图像的方法很容易导致明显的闪烁伪影。

这种系统的一个有用部署是实现实时变形，必要的计算资源克服了「实时」变形的挑战。

如此，大大方便了社交媒体的肖像视频编辑和视觉效果。

这将在视频演讲、电商主播等方面有广阔的应用前景。

研究团队

浙大计算机科学与技术学院的金小刚教授为论文通讯作者。

金小刚为教授、博导，他所在的CAD&CG（计算机辅助设计与图形学）实验室隶属于浙大计算机科学与技术学院。

他的研究主要聚焦在计算机动画、计算机图形学、计算机辅助几何设计等。

根据官网页面显示，他在电影特效模拟、布料动画和虚拟试穿、昆虫群模拟、交通模拟和自动驾驶等具体表现，也有着浓厚的研究兴趣。

另外，他还对人群与群组动画、隐式曲面建模与应用、创造性的建模、Sketch-Based建模、纹理合成等有所研究。

其合著的《计算机真实感图形的算法基础》一书获2001年国家科技图书二等奖。

参考资料：

http://www.cs.zju.edu.cn/csen/27059/list.htm

https://www.unite.ai/restructuring-faces-in-videos-with-machine-learning/

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信: CVer6666，进交流群

CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看