【源头活水】impersonator-你的舞蹈我来跳

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

作者：知乎—LiuWen

地址：https://www.zhihu.com/people/DoubilityWen

各位朋友大家好，我们是在智能图像编辑与合成领域练习时长两年半的上海科技大学研究生，主要从事与人相关的动作迁移、在线换衣以及新视角的合成。

今天主要跟大家聊一下动作迁移这个任务，其定义是，给定一张或者多张人物A的图像，和一段人物B的视频，我们需要通过算法自动合成一段人物A做人物B动作的视频。该视频需要尽可能地保持人物A的形态、样貌、衣服纹理风格、以及面部特征不变，而准确地做出人物B所做的动作。如下视频所示，阿川老师模仿阿坤老师打篮球的视频。

或者如下视频所示，阿川老师模仿马保国老师打一段“松果弹抖闪电鞭”的视频。也可以做出“你”打“松果弹抖闪电鞭”或者“打篮球”的视频。

或者下面这种稍微没有那么无厘头的合成视频。

我们在这个方向上探索了将近三年，大部分工作是和实验室的学弟 @朴智新 一起完成。我们去年的第一版算法Liquid Warping GAN [1] 发表在了ICCV 2019上。

https://zhuanlan.zhihu.com/p/84572711

但是这个初始的版本还有很多的问题，如泛化性较差，尺度太较小（256 x 256）, 以及自动化程度不够高等等。

又进过一年的探索，我们继续探索出了第二个版本Liquid Warping GAN with Attention [2]。目前它在模型的泛化性上，更大的尺度上（512 x 512, 1024 x 1024），更自动化程度等方面取得了比较大的进展。效果如上面两个例子所示。我们在2020年6月份左右就已经完成论文方面的工作，然后又断断续续花了几个月的时间整个相关预处理的代码，目前已经开源。

项目主页：

https://www.impersonator.org/work/impersonator-plus-plus.html

Github:

https://github.com/iPERDance/iPERCore

如果没有GPU显卡的话，可以白嫖一下Google Colab (需要先那个一下）：

https://colab.research.google.com/drive/1bwUnj-9NnJA2EMr7eWO4I45UuBtKudg_?usp=sharing

欢迎大家尝试玩耍，做出好玩的视频，并在github点个star（-_-）。

之后我们也会深入分享一下整个系统的架构，所用到的工具，以及相关的核心模块和算法。对于生成更准确更逼真的视频，目前的系统还是不够的，还需要从各个方面提高算法的性能，这个领域也还有很多可以做的点，路漫漫其修远兮。

[1] Wen Liu and Zhixin Piao, Min Jie, Wenhan Luo, Lin Ma and Shenghua Gao, "Liquid Warping GAN: A Unified Framework for Human Motion Imitation, Appearance Transfer and Novel View Synthesis", ICCV 2019.

https://openaccess.thecvf.com/content_ICCV_2019/papers/Liu_Liquid_Warping_GAN_A_Unified_Framework_for_Human_Motion_Imitation_ICCV_2019_paper.pdf

[2] Wen Liu and Zhixin Piao, Zhi Tu, Wenhan Luo, Lin Ma and Shenghua Gao, "Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis", arXiv 2011.09055, under review of IEEE TPAMI.

https://arxiv.org/pdf/2011.09055.pdf

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！