让虚拟人开口说话，Stable Diffusion如何使用输入的视频生成动画？

前面曾经有一篇文章介绍SD的动画功能《开源后新功能：使用Stable Diffusion进行动画创作！》，当时SD还只有两种动画生成方式，但现在已经有四种动画生成方式了。分别是2D、3D、Video Input、Interpolation，前两种好理解，Interpolation是插值动画，也就是在两个关键帧之间AI自动生成过渡帧，例如从一个人像过渡到另一个人像。Video Input是指输入一段视频，然后生成指定prompt的动画，例如输入一段人说话的视频，再用你自己prompt绘制的人脸生成与此视频一致的动态结果。这篇文章就介绍一下在SD中如何使用Video Input。

需要说明的是，目前还有好几种生成动画的技术，单独面部动画还有更快捷的生成方式，但使用初始化视频生成动画可以完成全身以及更复杂内容的动画。比如狂奔的机器马，油画风格的电影场景等等，适用范围非常广，大家可以多研究探索一下。

首先看一下我使用Video Input生成的两个动画，帧数较少的动画流畅度就低，因此效果仅作示范。

目前很多开发者发布的Colab都具有动画功能，但功能最全的可能是Deforum Stable Diffusion Colab，我就介绍一下这个Colab的详细设置。会使用这个Colab的朋友就不用看了，避免付款后觉得花冤枉钱。