Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)
DreamBooth是一种微调Stable Diffusion大模型的炼丹方式,和Lora最直观的区别就是这种微调方式产生的都是大模型,有2-4G大,对电脑性能要求和和存储空间比较高。而Lora方式产生的文件基本在144M以下,对电脑性能和存储空间要求比较低。其他具体效果上区别我还在研究,本篇文章主要聚焦在跑通流程,深度解读各项参数在后面的文章中讨论。
我看的教程是星空大佬的【AI绘画 Stable Diffusion 使用DreamBooth&LoRA Bucket功能 训练画风】,在学习过程中积累了一些小知识点与错误解决方案,在此和大家讨论一下。
https://www.bilibili.com/video/BV1AT411a78g/?spm_id_from=333.999.0.0&vd_source=dd89b6e46a1b4a550522a9581af00b10
第一步是准备训练集,也就是素材图。位置在哪里没关系,反正是填文件夹链接的,支持子文件夹里有图片,训练集图片可以直接用自己收藏的图片,也可以精细化处理一下,裁剪成512*512的,建立同名文件打tag。以下是我的文件路径,每个训练模型匹配一个训练集。
第二步是配置好插件,该更新的更新。
准备插件过程中最经常出现的问题是,更新插件后 Web UI 界面没显示对应插件标签页。这个问题的解决方案如下:
先使用cmd或者powershell进入webui目录,例如我就是用powershell 输入 cd D:\aigc\xingkong\stable-diffusion-webui_23-03-10
然后再运行 python\python.exe launch.py 就解决了。
如果还报错的话装一下Git,地址链接:https://git-scm.com/downloads
然后还有其他问题的话就问chatGPT吧
准备完插件就可以开始训练了:
第一步是新建模型,底模推荐1.5版本默认底模,,是512就勾选,不是就取消。
第二步是选择模型并设置参数,这里的参数后面的文章再详细解释。
下图的参数默认不动也可一个,想多训练一些步数就把100改大,对应时间会变长,想快速训练就把Batch Size改大,但是注意显存消耗。
这里是学习率优化器等,新手照着设置就行。
这里是训练集图片设置和提示词设置,Instance Prompt 是要训练的风格名词,可以把3dicon 换成自己命名的单词,Class prompt是提醒ai 原本的style怎么画的,不要学了新的就忘记了旧的。最后一个Sample Image Prompt 是训练过程中生成提示词用的,可以预览一下训练成果,但并不准确,真正成果还是得生成模型后自己测试。
这是保存模型的相关设置。
训练完成后,模型文件会出现在对应的stable-diffusion-webui\models\Stable-diffusion 文件夹,点击webui界面的刷新按钮就可以看到训练完的模型了,然后就可以愉快的开始使用新模型了。
建议使用xy轴功能生成一张对比图,能比较全面的感受到模型的质量,例如下图。
扩展阅读:
【AI绘画】cudnn替换,为你的40系显卡开启满血模式(4090加速)-秋葉aaaki
https://www.bilibili.com/read/cv22170274?spm_id_from=333.999.0.0
【AI绘画】插件安装/更新/设置/卸载教程:基础教程补完计划-秋葉aaaki
https://www.bilibili.com/read/cv22316068?spm_id_from=333.999.0.0
【AI绘画】LoRA训练与正则化的真相:Dreambooth底层原理-秋葉aaaki
https://www.bilibili.com/read/cv22578510?spm_id_from=333.999.0.0
【轻科普】StableDiffusion那些事儿,关于LoRA、DreamBooth、模型分层融和等-飞鸟白菜
https://www.bilibili.com/video/BV1RT411D7h7/?spm_id_from=333.999.0.0&vd_source=dd89b6e46a1b4a550522a9581af00b10