SDXL LoRA 模型推荐

Stable Diffusion XL（SDXL）是最新的图像生成模型，与之前的 SD 模型（包括 SD 2.1）相比，SDXL 通过改进的面部生成、内置可读文字、更优雅的艺术创建、更精确的人体解剖学以及精简的提示输入，为图像生成带来了更逼真、更精细、更具美感的结果。

• 逼真的图像生成：SDXL 能生成逼真的面孔、可读的文字，并在图像中实现更好的构图，而且使用的提示更短、更简单。

• 更好的人体解剖学：以前的 SD 模型在生成正确的人体解剖学方面存在明显问题，例如多余或缺失的肢体，严重畸形的面孔等。SDXL 在一定程度上修复了这个问题，质量现在好得多。

• 更短的提示：SDXL 比以前的模型更好地理解短提示，你不再需要冗长的文本来获取所需结果。

• 改进的构图：增强的图像构图允许为几乎任何类型的提示创建出色的视觉效果，而无需付出太多努力。

• 艺术风格：SDXL 提供了多种艺术风格供图像生成选择，如无风格（No style）、增强（Enhance）、动漫（Anime）、摄影（Photographic）、数字艺术（Digital Art）、漫画书（Comic book）、幻想艺术（Fantasy art）、模拟胶片（Analog film）、霓虹朋克（Neon punk）、等距（Isomteric）、低聚（Low poly）、折纸（Origami）、线条艺术（Line Art）、手工粘土（Craft clay）、电影（Cinematic）、3D 模型（3D model）和像素艺术（Pixel Art）等。

• 多功能性：与前代产品一样，SDXL 能通过图像到图像的提示、修补（对图像选定部分的重新想象）和扩展（创建位于图像边界之外的新部分）生成图像变体。

• 可读的文字：SDXL 与其他 AI 图像生成模型的重要区别之一（Deep Floyd^[1] 除外）是它能生成可读的文本，这在之前的 SD 或任何其他模型中都不可能。

• 在线平台：可通过 DreamStudio^[2]、NightCafe Studio^[3]、Clipdrop - Stable Diffusion^[4] 等在线图像生成平台使用 SDXL。

• 本地安装：也可以在 HuggingFace 上 下载模型，通过 AUTOMATIC1111^[5]，ComfyUI^[6]，SD.Next^[7]，InvokeAI^[8] 等程序来使用。

模型简介

SDXL 由一组用于潜在扩散的专家管道组成（eDiff-I: arXiv:2211.01324）：在第一步中，基础模型（stable-diffusion-xl-base-1.0^[9]）被用来生成（有噪声的）潜在特征，然后通过专门用于最后去噪步骤的优化模型进一步处理（注意：基础模型可以作为一个独立模块使用）。

也可以按照以下方式使用两个阶段管道：

• 首先，基础模型被用来生成所需输出大小的潜在特征。

• 在第二步中，我们使用专门的高分辨率模型，并将一种名为 SDEdit（arXiv:2108.01073，也叫 img2img）的技术应用于第一步生成的潜在特征，使用相同的提示。这种技术略慢于第一种，因为它需要更多的函数评估。

🔗 eDiff-I：具有专家去噪组合的文本到图像扩散模型

eDiff-I 是一组文本到图像的扩散模型，具有专家去噪的组合功能。与一般的文本到图像扩散模型相比，eDiff-I 在整个生成过程中的不同阶段采用了专门化的模型，从而改善了文本对齐并保持了推理计算的成本和视觉质量。该模型从随机噪声开始，逐渐合成图像，并发现在合成过程的早期阶段，文本提示起到关键作用，而在后期则几乎被忽略。因此，该模型训练了一组针对不同合成阶段的模型，从而提高了效率和效果。此外，eDiff-I 还可以利用各种嵌入进行条件控制，例如 T5 文本、CLIP 文本和 CLIP 图像嵌入，从而实现不同的行为和风格传输功能。特别地，通过 CLIP 图像嵌入，eDiff-I 可以直观地将参考图像的风格转移到目标输出上，并且还具有“用文字绘画”的功能，使用户能够通过绘画控制输出，从而实现心中所想的图像。

🔗 SDEdit: 使用随机微分方程引导图像合成和编辑

SDEdit（Stochastic Differential Editing）是一种新的图像合成和编辑方法，它利用随机微分方程来引导图像合成，使普通用户能够以最小的努力创建和编辑逼真的图像。其主要挑战在于平衡对用户输入（例如手绘彩色笔触）的忠实度和合成图像的逼真度。

现有的基于 GAN 的方法试图通过条件 GAN 或 GAN 反演来实现这样的平衡，这些方法具有挑战性，并且通常需要针对各个应用程序的额外训练数据或损失函数。为解决这些问题，SDEdit 采用了一种基于扩散模型生成先验的方法，通过迭代去噪的随机微分方程来合成逼真的图像。

给定任何类型的用户引导的输入图像，SDEdit 首先向输入添加噪声，然后通过 SDE 先验去噪处理得到的图像，以提高其逼真度。SDEdit 无需特定于任务的训练或反演，并且可以自然地在逼真度和忠实度之间取得平衡。

根据人类感知研究，SDEdit 在多个任务上显著优于最先进的基于 GAN 的方法，包括基于笔触的图像合成和编辑以及图像合成，逼真度高达 98.09%，整体满意度高达 91.72%。

SDXL LoRA 推荐

• Pixel Art XL^[10]

• Crayon Style^[11]

• Papercut^[12]

• Vulcan^[13]

• Lego^[14]

• Embroidery Style^[15]

• 3D Render Style^[16]

• Watercolor Style^[17]

• PS1 Graphics^[18]

• William Eggleston Style^[19]

• C.A.G. - Coinmaker^[20]

• Cyborg Style^[21]

• Toy.Redmond^[22]

• Voxel^[23]

• Ugly Sonic^[24]

• LEGO Minifig^[25]

• JoJo's Bizarre Style^[26]

• Pikachu^[27]

• Icons.Redmond^[28]

• LineAni.Redmond^[29]

• Josef Koudelka Style^[30]

• Simp Style^[31]

• StoryBook.Redmond^[32]

• Leonardo Ai Style Illustraion^[33]

References

[1]

Deep Floyd: https://github.com/deep-floyd/IF

[2]

DreamStudio: https://dreamstudio.ai

[3]

NightCafe Studio: https://creator.nightcafe.studio

[4]

Clipdrop - Stable Diffusion: https://clipdrop.co/stable-diffusion

[5]

AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui

[6]

ComfyUI: https://github.com/comfyanonymous/ComfyUI

[7]

SD.Next: https://github.com/vladmandic/automatic

[8]

InvokeAI: https://github.com/invoke-ai/InvokeAI

[9]

stable-diffusion-xl-base-1.0: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0

[10]

Pixel Art XL: https://huggingface.co/nerijs/pixel-art-xl

[11]

Crayon Style: https://huggingface.co/ostris/crayon_style_lora_sdxl

[12]

Papercut: https://huggingface.co/TheLastBen/Papercut_SDXL

[13]

Vulcan: https://huggingface.co/davizca87/vulcan

[14]

Lego: https://huggingface.co/nerijs/lego-minifig-xl

[15]

Embroidery Style: https://huggingface.co/ostris/embroidery_style_lora_sdxl

[16]

3D Render Style: https://huggingface.co/goofyai/3d_render_style_xl

[17]

Watercolor Style: https://huggingface.co/ostris/watercolor_style_lora_sdxl

[18]

PS1 Graphics: https://huggingface.co/veryVANYA/ps1-graphics-sdxl

[19]

William Eggleston Style: https://huggingface.co/TheLastBen/William_Eggleston_Style_SDXL

[20]

C.A.G. - Coinmaker: https://huggingface.co/davizca87/c-a-g-coinmaker

[21]

Cyborg Style: https://huggingface.co/goofyai/cyborg_style_xl

[22]

Toy.Redmond: https://huggingface.co/artificialguybr/ToyRedmond-ToyLoraForSDXL10

[23]

Voxel: https://huggingface.co/Fictiverse/Voxel_XL_Lora

[24]

Ugly Sonic: https://huggingface.co/minimaxir/sdxl-ugly-sonic-lora

[25]

LEGO Minifig: https://huggingface.co/nerijs/lego-brickheadz-xl

[26]

JoJo's Bizarre Style: https://huggingface.co/Norod78/SDXL-jojoso_style-Lora

[27]

Pikachu: https://huggingface.co/TheLastBen/Pikachu_SDXL

[28]

Icons.Redmond: https://huggingface.co/artificialguybr/LogoRedmond-LogoLoraForSDXL

[29]

LineAni.Redmond: https://huggingface.co/artificialguybr/LineAniRedmond-LinearMangaSDXL

[30]

Josef Koudelka Style: https://huggingface.co/TheLastBen/Josef_Koudelka_Style_SDXL

[31]

Simp Style: https://huggingface.co/Norod78/SDXL-simpstyle-Lora

[32]

StoryBook.Redmond: https://huggingface.co/artificialguybr/StoryBookRedmond

[33]

Leonardo Ai Style Illustraion: https://huggingface.co/goofyai/Leonardo_Ai_Style_Illustration