查看原文
其他

艺术工作者们,可以训练Stable Diffusion绘制自己风格的作品了!

穿行者2049 今说新语 2024-04-14

自Stable Diffusion开源以来,在其基础上进行二次开发产生了大量有趣的应用。我们都知道Stable Diffusion在绘制指定艺术家风格的作品方面非常出色,尤其对很多知名的艺术家。但对普通艺术家来说,如果能让Stable Diffusion按照自己的绘画风格绘制作品,从而更快速的提高自己的工作效率那该多好。

近日一个开发者团队就公布了一个程序,用户可以使用自己提供的图像,训练Stable Diffusion,形成包含你的个性化数据的模型,随后就可以使用训练后的模型生成带有你自己风格的图像。

整个过程如下图:

输入数据——训练模型——使用模型——绘制作品。下面是另外两个训练的例子。

第一步、输入带有你自己风格的原始图片

第二步、训练完成后用Stable Diffusion绘制的带有你自己风格的图像。

另一个案例中输入的原始图片

第二个案例训练完成后用这个新的风格绘制的巴黎街景。

这是一个非常有价值的应用方向,想到国内画家的作品在AI训练中的数据量很小,表现比较差,因此我决定用徐悲鸿的马训练一个模型。

首先找了9张徐悲鸿绘制的国画马,然后加入模型使用默认设置进行训练。

在训练模型时,有两个选项,object 使你可以教给模型一个要使用的新对象,style 可以让你教给模型一个可以使用的新样式。

一个是训练模型学习你提供的物体,另一个选型是训练模型学习你提供的风格。以徐悲鸿的马为例,你可以选择训练模型学习徐悲鸿画的马是什么样子的,后续你可以用这个模型画各种各样的马。另一个选项是可以训练模型学习徐悲鸿画马时的风格是什么样的,后续你可以用这个模型画牛、羊、虎、豹。

模型训练的整个过程需要 1-4 小时,我提供了九张图片,实际训练耗时2小时。

首先看一下训练object的结果,训练完成后,让AI绘制几幅包含马的题材,结果如下。

怎么样,有没有大师的气魄。

看一下训练style的结果,训练完成后,让AI绘制几幅其他动物的题材,结果如下。

注意上面这些作品的笔触

再请大师画幅山水画

上面最后这匹马是我最喜欢的

画一个完整的客厅挂画

需要指出的是,上面我用来训练的图是纯黑白色调的,而且都是马,题材狭窄、内容单一,所以对AI来说相当于数据很少,因此最终利用这些数据可绘制的题材范围也受限了。接下来我用一个非常喜欢的推主的作品,再训练一遍AI,看看这次的效果如何,这个推主的作品都有着非常复杂的分形细节和华丽的色彩,看看训练后的模型能否绘制出类似的作品。

上面是输入的原始训练素材,下面是用训练完的模型绘制



用训练后的模型生成的抽象作品
人形机器人

分形艺术
风格迁移非常明显
星空
蒙娜丽莎
看来后续我应该联系我的设计师、艺术家朋友,用更多色彩、主题内容丰富的作品进行训练测试。
每个模型训练完成后会生成一个数据文件,你可以下载备份这个模型文件,后续可以使用这个专有的模型文件继续绘制你的其他作品。训练完后的模型数据仅仅只有3.7KB。
整个训练流程比较简洁,考虑到自Stable Diffusion开源以来,由于版权的原因已经引发了艺术家的大量讨论,反对者也众多,很多艺术家担心自己的作品风格被AI大量的创作出来,而无应对之策。也有艺术家担心自己被会使用AI程序的同行拉开距离,工作效率无法与AI相竞争。其实他们不妨考虑一下“打不过就加入”的对策,积极使用Stable Diffusion训练自己的模型风格,然后再用自己的模型风格投入到实际创作中。把笔握在自己手中,而不是交给其他人。
在众多的讨论中,有位网友提到他的祖母是一位艺术家,在她生命的最后 15 年,由于患了老年痴呆症导致有一天完全停止了绘画,但她还有很多未完成的作品。他咨询开发者是否可以用已故祖母的艺术作品进行训练,然后使用 SD 以“祖母的风格”创建新图像?开发者表示完全可以。
这不仅是一个动人的故事,而且是一个近乎科幻情节的现实。
项目的原始地址:https://github.com/huggingface/diffusers/tree/main/examples/textual_inversion
继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存