查看原文
其他

开源后新功能:使用Stable Diffusion进行动画创作!

穿行者2049 今说新语 2024-04-14


Stable Diffusion开源后,各种魔改版、增强版陆续被热情的开发者分享出来,原先用户一直呼吁的从初始化图像开始创作、自动动画创作等功能都已经实现,类似Dall- E局部修改后重绘制的功能也有人开发出来。这些改动大都是通过Google Colab的形式分享了出来,所以如果你对Google Colab比较熟悉,就比较幸福了,可以尝试不同开发者做出的不同功能,当然最希望的还是官方未来将这些功能都整合到官方版中

简单看一下动画设置吧,如果你用过Disco Diffusion做动画,应该很熟悉下面的一些设置参数。
目前只有2D动画功能,还没有3D动画。控制动画镜头主要的几个参数是旋转角度angle,放大倍数zoom,位移数translation。截图中只设置了translation_x:"0:(-10)"代表镜头只在水平方向平移,没有旋转和放大的效果。
设置完动画参数后,接下来是设置prompt语句。

假设你打算设置两个关键帧,可以先把两个关键帧的prompts语句放在第一部分,然后绘制三张静态图看看效果。接下来将两个关键帧语句放在animation_prompts处,即完成动画prompts的设置。
下方运行前还要对单帧绘制的图像进行设置,这部分和以往静态图绘制参数一致。
最后在动画生成部分,取消跳过视频的选项,在所有图片绘制完成后会自动生成视频。
需要说明的是,很多人可能对DiscoDiffusion的痛苦经历记忆尤深,当时免费用户使用Google Colab单张图片十分钟,一个200帧的动画就得花费十多个小时,还经常遇到和服务器断掉的情况,导致很难有决心去尝试做动画。
但StableDiffusion在这方面有很大改进,以默认的512x512大小渲染动画,steps设为60左右,单张图片平均绘制时间在7-10秒左右,一段300帧的动画大概在一个小时左右。当然如果你将步数steps调高到150,单张时间也在1分钟左右,还是完全可以接受的。所以以前对DiscoDiffusion做动画望而生畏的朋友,还是可以尝试一下使用StableDiffusion做动画。
不过对于免费用户来说,由于分配的服务器性能不会太好,所以尽可能做默认分辨率的动画,等熟悉整个动画流程以后可以成为购买Colab Pro会员,用更高性能的服务器来生成高质量动画。
生成的视频我放文末视频号了,最后分享一下用到的Google Colab:
https://colab.research.google.com/github/deforum/stable-diffusion/blob/main/Deforum_Stable_Diffusion.ipynb
后续更多内容可关注我视频号。
继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存