前面的文章《如何用你的图片训练Stable Diffusion学习新概念》很多朋友都实验成功了,在后台反馈中可以看到大部分也都遇到点小挫折,其实基本都是文章中提过的,没有严格按文章中的内容实验。这很正常,都说改程序代码就像拆积木,必须非常小心,指不定哪一块不小心动了,全局就破坏了。所以建议开始的时候就用默认内容做训练,不要改一些自己不太清楚的地方。默认内容通过了,再一点点的换内容,出错才知道可能是哪里的原因。 今天想说的是另一个问题,很多朋友也问,说训练完的好像效果不好,或者没什么用,不知怎么用。可能很多朋友没注意我上篇文章里提到过这个问题,我说建议开始时训练<style>,而不是<object>,更容易看到效果,不过大家实在太喜欢<object>这个概念了,而且<object>的概念也更容易被接受,想一想把自己作为一个<object>训练出来,然后去环球旅行,多美好。不过如果想想AI训练自己的模型原理是什么,其实是根据你提供的图像开始进行扩散,生成大概轮廓的<object>,或者类似<style>的扩散方法,你就容易理解AI其实更容易接受<style>,他并不会记住<object>的外观,也不理解前面、侧面、上面的拍摄角度,他只是按照轮廓进行扩散。所以训练<object>提供各种角度的对象并不能帮助AI更好的理解这个<object>是什么样子的,反而让他更迷惑了,不知道这个<object>到底是什么样的轮廓。所以在训练时最好尽可能提供正面的照片,比如一个玩具狗,最好是种把玩具的正面多拍摄几张,而不用考虑玩具背面是什么样的。例如我看到的下面这个用户的模型每张其实都是拍摄的正面照,这样最终使用时基本不会变形。特点很清晰。 在看这个<object>就有些太复杂,每张照片都是不同的角度,AI最后完全不知道该如何开始扩散,右边生成的就很尴尬了。 再看这个模型,其实外形很简单,所以最终的效果很真实,不会产生莫民奇妙的结果。还有这种平面型的<object>,生成效果也很好。所以大家在训练时最好先看看其他用户训练的内容,挑选一个效果好的方向进行训练。那我们到底能用这些新的模型做些什么效果的图呢,我们可以在官方提供的演示界面上测试一下各种用户训练的模型,还可以组合用户的模型进行使用。前面的文章《Stable Diffusion如何叠加使用其他用户训练的模型?》已经介绍过,但只是演示实际操作,没有多发效果图,下面给大家发一些我看着不错的效果,对应的prompts都在下方。Mona Lisa in <pixel-toy>a man in <Arzy> style.a lion in <Arzy> style.Buddha in <Arzy> style.Mona Lisa in <Arzy> style.portrait of a man in <doge-pound> style.a lion in <bedelgeuse2> style.Scarlett in <aesthetic> style.A city in <ori-toor> styleChaos is the ladder in <ori-toor> styleA lion in <Marc_Allante> styleA lion in <line-art> styleA fenale in <line-art> styleA female in <kawaii-colors-style> styleA female in <lineart> styleA lion in <style-vkuoo1> styleThe profile portrait of a female in <style-vkuoo1> style更多的只是用Lion测试了一下效果,生成了非常多惊艳的图像,朋友们可以抽时间都玩玩。最后再发一下演示地址: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion_textual_inversion_library_navigator.ipynb