AniPortrait - 音频驱动的真实感肖像动画合成技术

今天，我们看一个腾讯的这周的Paper——AniPortrait，一种由音频驱动的真实感肖像动画合成技术。

AniPortrait旨在利用音频和参考肖像图片生成高质量动画。

框架分为两个阶段进行工作

1. 通过音频信息提取出3D的面部网格和头部姿势，然后将这两个要素投影成2D的关键点。
2. 运用一种扩散模型将这些2D关键点转换成连续的肖像视频。这两个阶段在我们的框架内同时进行训练。

实验结果表明，AniPortrait在面部自然性、姿势多样性和视觉质量方面的优越性，为观众提供了增强的感知体验；并在灵活性和可控性方面展现了巨大潜力，非常适合应用于面部动作编辑或面部再现等领域。

多样化生成视频展示

• Self driven
• Face reenacment
• Audio driven