在前面的文章《AI绘画新技术：Pix2Pix动动嘴改视频来了！》《AI绘画最强功能：动嘴改图详解，InstructPix2Pix实际应用》《AI绘画：Midjourney最强图像混合功能，已成功移植到Stable Diffusion！》《AI绘画的新方向：一站式项目管理，试用KreaAI的新画布！》中，我们陆续体会到了Stable Diffusion作为开源程序的强大之处，各种最新的技术逐渐开发出来，不断的增强着Stable Diffusion的能力。同时也注意到新技术正向着精准控制，精确绘图的方向发展，更多的功能都是方便我们更准确的生成、修改、控制AI绘画的过程和结果。
最近一周最火的应该是一个叫做ControlNet的项目，这几天推上全都是这个项目的体验作品。ControlNet是一个基于Stable Diffusion的一组扩散模型，ControlNet 是一种通过添加额外条件来控制扩散模型的神经网络结构。不对原始模型进行修改，可以直接在你喜欢的任何基础模型上使用。简单的说，ControlNet可以对AI生成图像进行更加精确的控制，使得AI绘画更具备实用的可能。由于包含了八个模型，体积巨大，断断续续用了好几天才把所有模型尝试完成。先放一组示例图。
所有模型都可以在原有的一张图基础上，保留原始图的各种信息，根据提示语生成新的图像。与传统的img2img相比，ControlNet包含的不同模型采用了多种方法分析原始图像，根据你的目的生成不同的新图像。在对原始图像的控制方面，具有更大的精确度，每一种模型都采用了不同方法，对应着不同的实际应用，不论是手绘设计、游戏设计、建筑设计、室内设计、服装设计、鞋类设计等等各种行业，都能发现它的巨大应用潜力。由于完整的ControlNet模型共八个，单个模型5G，提取版的是800M，总共容量巨大，安装过程也很繁琐，所以我找了在线版的做了全部模型的测试体验。1、基础模型使用Stable Diffusion 1.5。地址：https://huggingface.co/spaces/hysts/ControlNet地址：https://huggingface.co/spaces/hysts/ControlNet-with-other-models
两个空间使用界面都一样，只是基础模型不同，还有一些高级参数可以先不用修改，直接切换不同模型，上传初始图，添加提示语，即可看到实际效果。每个模型都会先生成一张分析出的边缘检测图，然后再生成一张最终图。ControlNet可以和任意已有的基础模型叠加使用，下面简单介绍这八种模型的区别和应用。一、Canny Edge Maps：根据边缘检测生成线稿图，再根据提示语绘制新的图像。最容易想到的一个应用应该是根据线稿直接上色，如下图直接提供线稿，生成彩色填色稿。
多个内容也可以很好的保持原始构图，例如下面的两只鸟。
使用 Canny 边缘检测方法查找原始图中的边缘细节，并按照新提示语完成绘制。这个功能可以进行详细的直线检测，非常适合建筑室内设计中的应用，既可以将原有的效果图例如建筑草图的渲染。针对室内设计的应用
使用软 HED 边界，软 HED 边界将保留输入图像中的许多细节，然后对原图像重新着色和风格化。它不仅对前景人像进行边缘检测，也对背景图像中的细节进行检查，所以能保留更多的细节，适合在保持画面整体构图和细节的基础上对画面风格进行改变。4.1 scribble：可以对手绘线稿进行着色处理。
4.2 script Interactive：直接在画布上开启手绘模式，灵魂画手上线。
4.3 Fake scribble：假手绘模式。有时我们很懒，不想自己手动涂鸦，可以使用这个脚本，基于上面同样的手绘模型，但使用简单的算法从输入图像合成手绘图。
这个模型首先从原图中绘制出人体骨架结构，以此骨架图为参照，再根据提示语绘制出新图像。对于多人构图，这个模型同样表现强大，能够分析出每一个人的结构，完美的绘制多人群像。
这个模型目前是最受欢迎的一个，很多网友基于这个模型做出了非常精彩的动画。也就是在保持视频内容的同时，可以直接修改视频风格。六、Segmentation：根据语义分割画面内容。
模型将根据你的提示语，检测标注出原图中的内容，然后完成新的绘制。
Stable Diffusion 2.1曾经带来来了强大的深度图功能，但现在使用ControlNet的Depth模型，所有的Stable Diffusion 1.5模型也都具备了深度图的功能！而且ControlNet 使用的是512×512 的深度图，而Stable Diffusion 2 深度模型使用的仅仅是 64*64 深度图。这意味着 ControlNet 将在深度图中保留更多细节！此模型和深度图类似，使用不同的计算方法，能够保留更多的细节。
以上就是全部八个模型的简单测试，所以没太多研究提示语，效果大打折扣。主要是为了体验各个模型的实际用途，实际可以做到的效果应该更精彩。
相关地址：
ControlNet项目地址：https://github.com/lllyasviel/ControlNet
完整模型下载（单个模型5G）：
https://huggingface.co/lllyasviel/ControlNet/tree/main/models
提取版模型下载（单个模型723M）：
https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
Web UI插件：
目前WebUI已经支持通过插件使用全部模型，不论是本机版，还是Colab在线版，都可以通过安装插件使用ControlNet。
插件地址：https://github.com/Mikubill/sd-webui-controlnet
Colab版地址，模型需要自己下载。
https://colab.research.google.com/github/camenduru/controlnet-colab/blob/main/transfer-control-to-other-models.ipynb
根据你的喜好，推荐阅读以下AI绘画内容：
喜欢请转发到朋友圈支持一下！