查看原文
其他

表情迁移,First Order Motion实验

shadow chi shadow的实验室 2022-06-06
图灵动了起来!

最近家谱网站 MyHeritage 推出了AI工具:让老照片中人物 “活” 起来,采用的主要技术就是动作迁移。

动作迁移,是指将一个人物的动作信息迁移到另一个人物身上,实现动作的整体迁移。可以将之应用于肢体动作变换、人脸表情迁移等等。目前使用比较多的模型是 First Order Motion 。

典型的应用:给定一个人跳舞的原始视频,模型可以在目标对象执行标准动作后生成新的舞蹈视频。




代码体验

python -u first-order-demo.py  --driving_video input/test.mp4  --source_image input/1-4.png  --relative --adapt_scale

输入是一张目标图片和用来迁移动作的表情视频漫长的等待之后:



技术来源于意大利特伦托大学的一项研究:利用一个一阶运动模型 (First Order Motion Model),静态图也能动起来,换脸也不在话下。


采用百度提供的预训练模型,还有相关的库,非常容易使用~~使用预训练模型,只需一行代码调用,准备目标图片和表情视频即可。不过要注意目标图片尽量是正脸,表情视频也是。

以后可以批量制作表情包啦~~(见上方视频)

具体源代码理解,等抽空仔细研读~~~~




欢迎与我交流~
扫码加入
实验室社群


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存