中国学霸们开发了一款AI，要让插画师丢了饭碗

2017-08-22 何之源 动画学术趴

知乎专栏：AI Insight

作者：何之源

本文经授权转载文章经编辑调整

事先声明，这篇文章的标题绝不是在耸人听闻。事情的起因是今天早上在朋友圈看到同学在转发一篇论文，名字叫《Create Anime Characters with A.I. !》，打开一看，论文主要是通过各式属性生成二次元人物的头像，使用的方法是cGAN，效果非常impressive。

论文作者来自复旦大学、CMU、石溪大学、同济大学

下图左侧为通过属性金发、双马尾、害羞、微笑、缎带、赤瞳生成的人物，右侧是通过属性银发、长发、害羞、微笑、张嘴、蓝瞳生成的人物，都表现得非常自然，完全看不出是机器自动生成的：

模型生成的随机样本：

固定cGAN噪声部分生成的样本，此时人物具有不同的属性，但是面部细节和面朝的角度基本一致：

更加令人兴奋的是，作者搭建了一个网站，任何人都能随时利用训练好的模型生成图像，进行实验！（点击阅读原文即可到达实验网站）

这里的按钮的含义都比较简单，总的来说我们要先选定一些属性（完全随机也是可以的），然后点击左侧的generate按钮生成：

完全随机生成的结果，看起来非常好：

选择发色（Hair Color）为金色（Blonde），发型（Hair Style）为双马尾（Twin Tail），点击生成，效果同样很赞！如下图：

技术细节

我之前也写过两篇文章，一篇介绍了GAN（全称为生成式对抗网络，人工智能中的一种生成式模型）的原理（GAN学习指南：从原理入门到制作生成Demo），一篇介绍了cGAN（全称为条件生成式网络）的原理（通过文字描述来生成二次元妹子！聊聊conditional GAN与txt2img模型），这两篇文章都是以生成二次元人物来举例，但是生成的结果都比较差，只能看出大概的雏形。今天的这篇论文大的技术框架还是cGAN，只是对原来的生成过程做了两方面的改进，一是使用更加干净、质量更高的数据库，二是GAN结构的改进，下面就分别进行说明。

改进一：更高质量的图像库

之前使用的训练数据集大多数是使用爬虫从Danbooru或Safebooru这类网站爬下来的，这类网站的图片大多由用户自行上传，因此质量、画风参差不齐，同时还有不同的背景。这篇文章的数据来源于getchu，这本身是一个游戏网站，但是在网站上有大量的人物立绘，图像质量高，基本出于专业画师之手，同时背景统一：

除了图像外，为了训练cGAN，还需要图像的属性，如头发颜色、眼睛的颜色等。作者使用Illustration2Vec，一个预训练的CNN模型来产生这些标签。

改进二：GAN结构

此外，作者采取了和原始的GAN不同的结构和训练方法。总的训练框架来自于DRAGAN经过实验发现这种训练方法收敛更快并且能产生更稳定的结果。

判别器也要做一点改动，因为人物的属性相当于是一种多分类问题，所以要把最后的Softmax改成多个Sigmoid：

详细的训练和参数设定可以参照原论文。

一些问题

虽然大多数的图像样本都比较好，但作者也提出了该模型的一些缺点。由于训练数据中各个属性的分布不均匀，通过某些罕见的属性组合生成出的图片会发生模式崩坏。比如属性帽子(hat)、眼镜(glasses)，不仅比较复杂，而且在训练样本中比较少见，如果把这些属性组合到一起，生成的图片的质量就比较差。

如下图，左侧为aqua hair, long hair, drill hair, open mouth, glasses, aqua eyes对应的样本，右侧为orange hair, ponytail, hat, glasses, red eyes, orange eyes对应的样本，相比使用常见属性生成的图片，这些图片的质量略差：

总结

这项工作确实令人印象深刻，生成的图片质量非常之高，个人认为如果加以完善，完全可以在某种程度上替代掉插画师的一部分工作。最后附上文中提到的一些资源（可长按复制从浏览器打开）：

网站：MakeGirls.moe（已有训练好的模型，打开就可以尝试生成）

论文：https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf

Github：make.girls.moe（目前只有网站的js源码，看介绍训练模型的代码会在近期放出）

好，以上就是知乎作者何之源跟大家分享的专门跟日式插画师抢饭碗的AI。从以上的效果看来，AI生成的头像基本让人满意。按照这种效果继续完善，恐怕不少插画师的饭碗不保了。

我们接着延伸着多聊点儿东西。

事实上，强大的人工智能已经在慢慢渗入到艺术领域的各个角落。

首先让我想起的是工程师Christopher Hesse利用智能学习图形工具pix2pix研发的系列识图工具——Image-to-Image，将线条转换为真实图片。

其中一个子应用edges2cats是一个能自动将线条转化为萌猫的工具。它能根据你发挥的想象力，画出的各种轮廓，来完成一张猫咪图片。

今年刷屏的还有谷歌发布的一款利用 AI 技术的画画工具 AutoDraw，吓得广告设计师都以为自己要失业了。

AutoDraw能将机器学习与你信手涂鸦创建的图形配对，帮助你绘制完整而比较漂亮的图形。

而在AlphaGo与柯洁的围棋对局以AI三局全胜落幕不久后，数一数二的同人、插画社群根据地——P站在“pixiv Sketch”上线过一项黑科技新功能——自动上色。

你只需要提供线稿完成品。待作品准备完毕，就可以点击右上方的“自动着色”。

当你选择后，界面会看到两种不同模式的自动上色效果，你可以通过预览来选取自己的偏好模式，AI就会自动进行运算并输出上完色的图稿。

当然，如果对输出的结果不满意，你还可以继续再用pixiv sketch的内置工具手动修改指定局部区域的颜色，通过标记而输出更符合你期望的结果。

简单几步，一副上色效果还不赖的画作就诞生了！难怪消息一出，就有网友评论说：“从此高产似母猪。”

早在P站此次发布自动上色前，已经有不少工具具有“自动描线”等功能。而今年1月份，日本就已经测试用AI来提供自动上色服务的“Paints Chainer”。而P站的自动上色服务也是基于前者的技术框架，升级改造后的成果。它们的背后是也是人工智能观察60万张上色插图，学习人类上色方法，经过一连串运算得出的成果。

Paints Chainer上色案例

就目前的体验而言，AI上色的效果尽管层次上还相对简单、有很多细节也并不尽如人意，但在一定程度上已经有较高完成度了。

所以……又回到那个问题：难道AI会把我们替代吗？

从另一方面想，人工智能在深度学习过程中也是借鉴了人类的画作，涂画风格也是基于现有的模式，因此还是留给画师有较大的自主创造空间，而这目前还是机器无法替代的。

人工智能的发展无疑是为“作品量”的问题提供解决方案，但是“质”的实现和提高还是需要人们的自我努力。不知道面对AI的来势汹汹，你又有什么感想呢？你有没有什么好用的AI工具安利呢？欢迎留言和我们交流哦！~

———————————————

【近期热文】