人工智能生成绘画指南

阅读提醒：全文3600字，需耗时15min

用文字和代码画画。

如果五年前有人说完全不会画画也能创作出视觉作品，大部分的人可能会觉得他疯了。但是在这五年，技术飞速发展，它已经不再是一个可爱的新鲜玩具。已经成长成一个让人措手不及的事物。接下来的时间，它会指数级别的发展，可能要不了一两年，我们就能被用文字提示自动生成的动画震撼。

在过去的三个月一直在接触人工智能生成绘画，从一开始的兴奋，震惊，到现在终于平静下来了。所以做一个小的总结，来聊一聊AI生成绘画是什么？有哪些生成工具？能做什么？可能会带来的影响以及可创意从业者应该怎么做？

AI生成绘画是什么？

这篇文章说的AI生成绘画主要指的是，通过对抗神经网络VQGAN CLIP 吧文字语言和图像进行关联学习，从而实现只通过一段文字就能生成对应的图像的技术。目前的算法基本上都来自于openai，目前的生成工具因为算法和训练模型的不同，生成的图像的风格和特点也各有差别和优缺点。

这里推荐一个AIART的免费教程：https://github.com/johnowhitaker/aiaiart?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter

AI生成绘画的工具有哪些？

目前市面上的生成工具我大致分为三类：

入门体验版：以Dream by wombo为主

目前最热门的入门级的AI绘画应用是dream，这个APP很好入门也是免费的，只是生成的图像功能相对简单，而且像素偏低。除了这个还有nightcafe也是做的比较早，网站形式功能比dream强大很多，不过需要付费。

1 Dream by wombo

目前最火的AI绘画APP。覆盖全平台，支持网页，安卓，和苹果。目前免费。缺点是功能相对单一，像素低。

2 night coffee

做的最早最完善的AI绘画工具。其实就是把DD这类的模型包装了一下，只有网站，功能跟DDV5差不多了。也是部分免费，限制性使用。缺点是性价比不如DDV5。

3 starryai

口碑还不错的AI绘画APP。支持安卓，和苹果。每天免费5张图。比wombo出的图好点。

专业版：一些google colab上的开源程序

1  disco diffusion

目前国内最火的是DD，也就是disco diffusion，有比较完善的教程，社群支持，工具本身也很强大稳定。国内见到的大部分AI绘画作品都是用DD做的，因为它的教程最多。

colab：https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb#scrollTo=TitleTop

使用文档：https://docs.google.com/document/d/1l8s7uS2dGqjztYSjPpzlmXLjl5PM3IGkRWI3IiCuK7g/edit

相关艺术家：

https://twitter.com/Somnai_dreams  somnai是DD的作者，同时也在MidJourney工作。

https://twitter.com/inigma_a  的作品也不错，推特上有很多。

我用DD制作的塔罗牌系列

2 pytti

国外很火但是国内并不太熟悉，也有十分完整的使用文档和说明。

colab：https://colab.research.google.com/github/pytti-tools/pytti-notebook/blob/main/pyttitools-PYTTI.ipynb

使用文档：https://docs.google.com/document/d/1vXuzSpAxg2YijIE4uN14S5MoM5c98JpEXernsMoLjIM/edit#heading=h.4sg1gnlvqssq

相关艺术家：https://twitter.com/unltd_dream_co

Unlimited Dream 的一些作品

3 JAX CLIP Guided Diffusion

风格很独特的一款，模型比较多，适合平面抽象几何风格，可批量处理。huemin用它做了很多浮世绘风格的作品。

colab：https://colab.research.google.com/drive/1hcDA5skuzk2IoC0wkQam4i-5k7c7iR1T?usp=sharing#scrollTo=zxGgJmRzq3Cs

使用文档：https://docs.google.com/document/d/11HWN5e57taWdpyZlW5s6gqzrwMsLlmOQivyJncOPPhE/edit

相关艺术家：https://twitter.com/huemin_art

huemin用jax做的相关作品

AI绘画colab程序笔记本合集

https://docs.google.com/document/d/1ON4unvrGC2fSEAHMVb4idopPlWmzM0Lx5cxiOXG47k4/edit

顶级AI生成工具

1 dalle2

openai出品，可以媲美真实照片的生成质量，目前还在测试阶段，邀请码十分难拿到手。

官网：https://openai.com/dall-e-2/

相关介绍：https://www.zhihu.com/zvideo/1496565511983353856

相关测评：http://xhslink.com/33akFh

一些dalle2可以做出的效果（更加的真实合乎逻辑）

2 midjourney

目前可以玩到的仅次于dalle2的AI绘画工具，是DD开源项目作者Somnai参与的另一个项目，在处理人物和语义匹配上比DD做的好很多。我目前玩的最多的一款。

官网：https://www.midjourney.com/app/

官方文档：https://midjourney.gitbook.io/docs/

相关测评：顶级AI绘画程序：midjourney 内测与思考

艺术家推荐：https://twitter.com/NekroXIII

nekroxlll用mid做的作品：

3 Imagen

google下场做的一款对标dalle2的语义生成图像的应用，看起来比dalle2还要厉害。但是目前连内测入口都没有。

官网：https://imagen.research.google/

新闻：https://mp.weixin.qq.com/s/frMxDJ0T2qZP-QgS21pFcg

一些相关作品

AI生成艺术可以给我们带来什么？

艺术的民主化

大大降低了人们制作视觉作品的门槛，在我分享了一些AI生成艺术之后很多人联系我，大部分并不是艺术设计的从业者，但是他们都会需要跟插画师或者设计师沟通，而他们并不会画画，这让沟通有的时候变得特别的困难，大家都希望能够通过画面来表达自己的想法，但是并不是所有人都有时间精力和天赋去进行系统的绘画训练。而这个技术让这一切变成了可能。

创作者的助手和新的尝试

已经有很多原画师开始用AI来制作作品的demo，可以减少前期脑暴的时间，并且可以快速出图跟客户或者上级沟通。以往的创作过程前期也是需要大量的素材的收集和参考，现在素材可以自己生成了。另外，即使是专业的画师，也不可能精通所有的风格，但AI不一样，它可以通过深度学习，模仿古今中外所有的画风，甚至融合这些画风，画师可以借此来拓宽自己的界限。

AI生成艺术的作品现在已经有很多发布出来成为NFT的作品，这个在国外已经有很多了。俄罗斯的首饰设计品牌monolama还联合过数字艺术家做过一个深度学习系列的胸针。

而我自己也尝试过用AI生成的图来制作系列丝巾。还有更多的融合和尝试等着我们去发现。

代替图库用在PPT和文章配图

我觉得最应该有危机感的不是艺术家而是图库公司，如果你能够用文字生成对应的图片，为什么还需要用图库？这个应用太广泛了，PPT的配图，公众号文章的配图，小说的插画配图等等。

今天还看到有艺术家使用mid生成的图像，用substance 3D做成材质球，他表示这将对材质创作产生巨大的影响。相关文章：https://80.lv/articles/a-collection-of-materials-created-with-midjourney/

人工智能是否会造成威胁？

作为一个从事创意艺术行业并有人工智能知识的人来说：是的，它肯定会对我们的工作造成威胁，但并不是你想象的那样。

三百年前摄影术诞生，99%的肖像画被摄影取代，一部分艺术家被迫寻找新的表现形式，印象派，野兽派，抽象主义应运而生，艺术家不再开始追求那些绘画能做到，但是摄影做不到的事情；另一部分本该成为画师的人成为了摄影师，通过摄影来表达自己，为他人服务。几十年前计算机投入使用时，人们也一样担忧，但今天，由于这些计算机，我们创造了更多的就业机会，完成了更多的工作。人工智能只是另一种工具，它如何使用取决于使用它的人。

那么为什么它是一种威胁呢？它将造成破坏，传统工作将被淘汰，但会产生新的工作。所以人工智能无法取代艺术家，那些能够驾驭人工智能，或者在技术的夹缝中找到了新的表现形式的，会成为下一个时代的艺术家。

有个很好的例子可以说明这一切，在围棋领域几年前阿法狗战胜了柯洁，柯洁说他仿佛看到了围棋上帝，人类在围棋上永远无法战胜AI，觉得AI时代的围棋特别的无趣。另一边，天资一般的韩国棋手申真谞，通过不断的跟AI下棋，学会了很多新的思路，并且打败柯洁拿到了世界冠军。

在艺术设计领域也是一样，面对人工智能对绘画近乎碾压的技术，我看到了两种截然不同的观点。一种是兴奋的去尝试学习如何利用它更好的为自己的作品服务，比如已经有很多游戏原画师用AI生成的图片来做demo和灵感参考，还有插画师会结合手绘和AI的图片进行二次创作。另一种是觉得这些都不是艺术，是无价值的电子垃圾，然后开始例举传统艺术多么高贵，又或者开始恐惧，觉得自己之前学的一切都失去了意义。

我觉得三体里有一句特别适合用来回答，人工智能是否能取代艺术家这个问题，那就是：“弱小和无知不是生存的障碍，傲慢才是。”

创作者如何利用好科技？

每一次科技的进步，都会翻天覆地的改变艺术与设计。

其实从来就没有一项艺术可以脱离科技独善其身，所谓的传统艺术在几百年前都是那个时候的前沿尝试。古典主义绘画的生动和真实基于无数艺术家解刨尸体积累的知识，文艺复兴时期的绘画，需要有几何学、数学、解剖学、生物学和土木工程等学科的支撑。而抽象派的风格也是摄影术出现后的探索。

Neri oxman 创作的一个关于创意力循环图表是这么展示的。科学家生产工程师所使用的知识，工程师生产设计师使用的实用程序，设计师生产被艺术家感受到的行为变化；艺术生产对世界的新观念，从而获得了关于世界的新信息，并激发了新的科学探究。

作为艺术设计的从业者，如果想要接触这些技术，最重要的其实是不要太把自己当成一个艺术家或者设计师，不要让专业变成束缚自己的壁垒。国外同时会艺术设计和代码编程的艺术家和设计师非常的多，而且很多工具的使用其实并不需要你真的具备完善的编程知识。比如AI生成艺术就有很多操作简单的软件，哪怕是复杂一些的disco diffusion 也并不需要你真的去写代码，知道怎么调整参数就行了。而且随着这个领域的发展，会有越来越多更简单更好上手的工具出现。

这些工具的学习，不会比高中数学更加复杂。但是如果你会编程，当然是更好的事情，这样一来你就可以自己创作使用的软件工具，而不是只能使用他人创造好的工具。保持好奇心，不要给自己设限，在最前沿的这部分没有教程，规则，和既定的学习路径。

其它AI工具资源

1  3D_Photo_Inpainting

一款可以将2D照片用AI算法转换成3D视频的程序，也是开源在colab上。https://colab.research.google.com/github/fzantalis/colab_collection/blob/master/3D_Photo_Inpainting.ipynb

2 artbreeder

一款AI捏脸软件，网上大部分的卡通真人化的都是用这个做的。https://www.artbreeder.com/

3 ai-art.tokyo

一款AI风格迁移软件，可以上传照片生成相关风格化图片。

https://ai-art.tokyo/en/

4 time-travel-rephotography

一个由华人研究员参与的老照片修复类项目，可以完美的把黑白老照片上的人脸修复成现代的逼真彩照。

https://time-travel-rephotography.github.io/?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter

5 NVIDIA Canvas

英伟达做的一款涂鸦生成照片的人工智能应用。可免费在官网下载。

https://www.nvidia.com/en-us/studio/canvas/

6 CogVideo

通过语义自动生成视频动画的AI模型。

https://github.com/THUDM/CogVideo

7 AI ART 资源汇总

上面类似的资源还有很多大家可以自己去看。

https://pharmapsychotic.com/tools.html