AI 作画真的是个会无限进化的怪物吗？

我是21年第一次接触AIGC的，那个时候一个非常要好的朋友开始玩，但是因为工作太忙，加上那个时候出来的图效果非常差，就没有太大的兴趣去了解，那个时候的AIGC还停留在一个非常小众的geek圈子里。直到2022年3月，我开始接触到早期的AI绘画工具，一款叫disco diffusion 在colab上运行的程序，那个时候disco diffusion 已经开始让人惊喜了。虽然它生成的图还非常的“梦幻”，无法生成正常的人脸和四肢。

但是时代的车轮开始转动了，从那个时候开始几乎每个月都有重磅的技术进展出现，openai的dalle2，还有现在已经成为主流工具的midjourney，都开始疯狂的迭代。2022年8月stable diffusion发布并且开源了，然后无数的插件和商业工具应用开始铺天盖地的出现。

下面的图是我整理的AIGC发展的时间线，2022年的大部分工具和新技术也都是在发展提示词生成图像的控制能力，标志性的事件是midjourney的V4模型推出，人像和物体开始能够稳定的生成。另外微调模型也开始发展，当时最好的微调模型技术是dreambooth。

2022年12月是个非常关键的时间节点，chatgpt开始公测，在AI绘画领域一个叫lora的微调技术开始得到广泛的认可。几个月后一款叫controlnet的SD插件出现了，它的出现标志着AI绘画终于有大范围商业应用的可能。

提示词+图片提示+inpainting+outpainting+controlnet+微调模型，这些技术开始慢慢的让AI绘画工具变得可控。在2022年大家嘲笑AI不会画人手的时候，不会想到现在的AI生成绘画已经可以精准的控制手部的动作，也可以针对性的修改画面里的元素。我们通过lora去固定风格和物体的特征，用inpainting的方式去重绘有问题的部分，用controlnet去控制画面的结构和各种特征，自此AI绘画开始真正的融入设计的工作流。

    AI绘画的现状

今年已经过了大半了，AI绘画开始进入了相对平稳的发展时期。上面提到的各种AI绘画技术已经慢慢从前沿论文和开源社区的试验品，慢慢被各种AI绘画工具整合进了自己的产品中。在去年，我们要使用stable diffusion这样的开源工具，都只能自己在云端或者本地部署，但是今年已经有越来越多的产品可以让大家直接使用了。

这里我用触手AI举例，（这款软件很适合国内设计师在线轻量级使用），来演示AI绘画最新的几个技术和玩法：

触手AI的专业模式链接：http://douchu.ai/login?inviteCode=492869&channel=channel_invite

AI绘画的人脸和手部问题解决方案

AI绘画早期的扭曲人脸现在已经基本得到了解决，随着大模型的不断迭代提升，手部和身体的问题也比之前好多了，但是偶尔还是会崩溃。AI绘制的人脸看多了也会有细节不够的问题。目前这些问题最好的解决方案是一款叫做 After Detailer 的SD插件，这款插件可以很好的修复人物的脸部，手部，身体，和服饰的细节。

下面用触手AI里的  After Detailer 简单的演示一下，插件分四种模式：面部修复，手部修复，人体修复和服饰修复。这几种修复模式可以单独使用也可以叠加在一起使用。

使用手部修复和没有使用的对比，可以看出左图使用了手部修复后，逻辑上会好很多。

Controlnet将AI绘画带入真正可落地的领域

controlnet是SD目前最重要的插件，没有之一。在今年的2月发布以来，它的落地应用也越来越丰富，从最早的线稿填色，到结合大模型小模型的复合玩法，创意二维码和光影字体都是今年最吸睛的落地应用。

创意图形二维码

以二维码为参考图，结合prompts来生成特定风格和图案的二维码，是一个非常好的商业落地场景。这里我使用的是参考二维码 qrcode-monster（强度0.7） 叠加 brightlightness模型（强度0.24），就可以得到右边这个二次元人物形象风格的二维码。我们可以通过修改风格模型和提示词来得到任何你想要的二维码风格。

光影字体玩法

光影字体玩法最开始是由一组隐藏在AI生成的写实照片里的文字引爆的。这种做法可以把文字，品牌logo很好的跟特定的画面做结合，但是一点都不突兀，在过去，如果要用PS或者其他工具制作类似效果的照片或者图像成本是非常高的，但是现在我们可以用AI非常快速的生成。

这里选择的模型是controlnet的参考明暗brightlightness模型，这个模型也是由一个国内的模型作者训练的。

制作方法也非常简单，我们先用ps或者其它工具制作一个黑底白字的文字，然后再用高斯模糊来处理一下，得到下面这张图。

这里为了效果更好我叠加了一个强度为0.2的深度controlnet。参考明暗brightlightness的强度是0.24。这里的模型最好使用有真实摄影效果的大模型。

最新的SDXL模型

跟midjourney不一样，SD因为基础的大模型效果有限，所以非常依赖lora等微调模型。但是最新更新的SDXL大模型，可以直接通过写提示词调用各种风格来达到跟midjourney类似的效果，这个模型目前也可以在触手AI上使用。

SDXL模型地址：http://douchu.ai/models/modelDetails?bizNo=M202307281684854405226147842&routeName=CreateProfession

使用SDXL绘制的不同风格的作品，只需要编写对应的提示词，不需要叠加lora。

不过目前SDXL相关更高质量的LORA和controlnet还在进展中，暂时没有太多的应用，不过很快我们就可以看到SDXL的更多应用。

    AI绘画的未来展望

AI绘画是个无限进化的怪物么？这个问法充满了对这个新技术的震惊和恐惧，我最开始的时候对AI绘画的感受也是如此。但是一年多过去了，我们看到了AI绘画对于设计和视觉领域更多的可能性，更加丰富有趣的玩法。作为一个设计师，除了担心被人工智能取代，我们更应该想的是这个工具为我所用之后可以用来做哪些事情？AI绘画的工具对于那些擅长使用它们的创作者来说将会是一个从未有过的强大工具。