如何用AI绘图画出超真实的小姐姐?(Lora篇)
前两天,分享了如何用stable diffusion webui的安装教程(mac篇),win篇请看这里。
有人就问:安装是安装好了,可是为什么生成的图片和作者你生成的图片差距那么远呢?怎么真实感和质感一个天一个地呢?
那么,我画的图,和你画的图,差别在哪里呢?
很关键的因素,就是我用了专门的生成模型model和lora包。
今天我们就来讲一讲如何用lora包生成超真实好看质感超强的人物图片。
一.教程部分
1.你的电脑里面应该安装好了stable diffusion webui,如果还没安装的,请回去安装好再回来,不然看了也用不上。(win安装教程,mac安装教程)
2. 打开civitai.com
Civitai是一个AI绘图爱好者聚集社区,里面有很多个性化的模型,尤其是3D,现实,人物,画风等有针对性训练的模型。因此,当你采用特定模型去生成特定主题的画作时,表现力会极大加强。
(注意这个网站直接访问传输不稳定,可能需要魔法上网。另,里面包含部分nsfw内容,未成年人禁止访问。)
3.找到你想生成的画风图片,查看详细信息并下载相应包和模型。
以韩国美女小姐姐lora包(Korean Doll Likeness)为例。
(1)下载lora包,并放到指定文件夹
右上角点击download下载此Lora包。(一般几十到几百MB),下载好后,放在你电脑的stable-diffusion-webui > models > Lora文件夹下面。
(2)lora包网页,示例图片点击右下角的圈圈感叹号,查看生成信息。
(3)找到model行,了解到这个lora包还需要使用chilloutmix_cilloutmixNi模型
(4)下载模型,并放到指定文件夹
把chilloutmix_cilloutmixNi放在Civitai搜索框上搜索,发现没结果,但是找到一个类似的,也是生成真实人像的模型(checkpoint),叫做OrangeChillMix,接着我们把这个模型下载下来(7.17GB),并放在stable-diffusion-webui>models>Stable-diffusion文件夹下面。
4.启动stable-diffusino-webui,并切换模型
(1)启动stable diffusion webui
如何启动就不重复了,忘了的可以回去看看win安装篇,mac安装篇,里面都有讲如何启动。
(2)切换模型
先点击左上角的刷新按钮,接着点击左上角的向下箭头,找到你刚刚下载的orangechillmix_v70.safetensors模型,点击它。
等待一分钟后,按f5刷新页面,如果左上角已经自动显示了“orangechillmix_v70.safetensors”字样,那么模型就切换成功了。
(注意,切换模型需要先提前完成第三步里面的:下载模型,并放到的指定文件夹)
5.开始生成图像。
(1)浏览器回到刚刚的那个Korean Doll Likeness网页,点开示例图片右下角的感叹号,点击copy generation data 按钮。
(2)在stable diffusion webui的 prompt输入框里面,Ctrl(command)+ V ,粘贴刚刚复制的内容后,接着点击Generate下方的“左下箭头”。
这时候,你会发现,刚刚长长的prompt变短了,其他内容去哪了呢?
原来去了下面的nagative prompt框,和下面的参数配置。
(3)点击generate,开始生成图像。
(4)等待图像生成完毕,然后右键点击生成的图像保存,或者点击图像下面的文件夹图标,进入文件夹查看生成的图像。
二.答疑
问题1.按照上面说的步骤,发现生成图像非常慢怎么办?比如你看下面,生成一张图都要20多分钟甚至更长时间?
回答:
这是由于电脑性能不足,导致运算过慢。而示例图片都是默认显卡性能很强,所以他们有的选项对你来说,可能会运算量过大而生成时间超慢。
就像我们看游戏宣传视频,通常都是很流畅,而且画质超精美,但是自己玩的时候由于配置不够,可能会比较卡,还比较模糊,是一样的道理。
那么如果你的电脑性能不足,怎么优化速度呢?(当然绘制质量/效果也会有一定折扣)
(1)取消hire.fix的勾选,这一项作用是扩大分辨率并增强画质,非常耗算力;
(2)分辨率如果是512*768可以不用动,如果是768*1024或者都是768以上的分辨率,那么按比例调低分辨率。(那要高清图怎么办,生成基础图之后用extra功能放大图片。关注我,后面会讲。)
(3)sampling method取样方式,原作者是两个,dpm++sde karras,可以改成euler a
(4)升级硬件,买一个好点的显卡,比如Nvidia GTX3060以上,12G显存以上的。
(注意,以上方法不一定需要全用上,如果用上一两个能改善作画速度即可,因为改得越多,对绘图结果的质量影响越大。)
问题2.如果我不用korean小姐姐的lora包,要用其他包怎么弄?
回答:同上面教程,先找一个你感兴趣的绘图类型和风格,比如3D,动漫,国风或者之类的,点进去查看对方使用了哪些lora包,哪些模型,下载相关模型和lora包即可。
问题3.lora包是如何在prompt里面体现的?
回答:
我们先来看看一段样例prompt的lora提示:
可以看出,lora包的使用通常形式是<lora:loraname_v1.x: 0.xx>,可以多个lora包一起使用。
最前面lora代表我要使用lora包,后面是lora包的名字和版本,最后0.xx则是要占多少比例,数字越大,lora特性展现越明显。
比如示例的两个lora包,可以是分别0.6和0.4,也可以分别是0.3和0.7,加起来不超过1就行。
问题4.使用lora包,terminal或者cmd报错说找不到Lora名字怎么办?
回答:
报这个错,也能生成图,但是无法应用和展现你想用的lora包特性。
比如上面这个报错,就是没找到你指定的lora包,这时候要么你没有下载这个lora包,要么就是lora包名字错误。
点击gerate按钮下面的图像,再点击lora,下面会列出你拥有的所有lora包,复制名字替换掉prompt区域的lora包名字,把名字改对,就不会报错,并能使用相应lora包特性了。
问题5.生成了好看的小姐姐,还想每次都尽量生成同一个人脸怎么办?
回答:
(1)尽量稳定使用同一个lora包;
(2)保持同一个seed不改动
(3)自己“炼丹”,训练自己想要的脸部模型lora包或者checkpoint模型库。
好了,今天先讲到这里。下次见~
(没关注的同学记得关注,下次继续来上课~)
(如果自己觉得操作有问题的私聊作者,0基础也能包教包会)