AI绘画已经尝试写实动态了！AI动画还实现了技术革命性突破！
wuhu专题
文 | Subwater
编辑 | 白白酱
AI的潜力为越来越多的创作者所重视，生成式AI能以怎样的方式融入到制作流程中，成为了当下人们更加现实的考量。
——笔者
前段时间
大家已经感受到AI绘画进化的迅速
AI绘画也卷入了网红圈和Coser圈
就因为这项技术
还引发了史上首起AI绘画诈骗案！
事情是这样的！有人发布了『女仆之夜：金鸡湖游艇Party』，一个席位售卖3000块钱，可以选一位专属女仆游艇陪玩，附带了43张女仆照片，都是性感美女，客服环节也做的非常逼真…
还有专门的金鸡湖女仆介绍手册
多达43张女仆照
文章仅展示其中几张
全是用AI绘画的照片拿来招摇撞骗
这事最后被网友举报到公安部门介入
已经取消了活动
虽然此事已经告一段落
可是网友们的想象力没有停止
他们希望看到AI绘画的写实小姐姐可以动起来
结果...
真的做到了！
来自@Auroro极光女团做的AI绘画写实动作
可以看到除了画面抖动之外
AI绘画的写实效果已经能解决连续动作
技术想象空间已经有很大的提高！
而就在最近
AI动画实现了技术革命性突破！
那么，究竟是怎样的AI动画，令大家感到焦虑，认为动画行业将要面临“挫折”与“危机”，并齐声“惊叫”，而后“沉默”？
暗夜中，一个男人走进教堂，他要与另一个男人展开决斗，而他们竟然是双胞胎兄弟。大战一触即发，你以为他们正准备用武器或者魔法大干一场之时，这两兄弟居然......
石头！剪刀！！布！！！
作品一经发出，便瞬间引起了广泛关注，截至目前为止，油管、推特已合计超过500万关注度，国内亦是如此。
有人认为这将引起动画界的大革新
有人提到了所谓的“动画师焦虑”（或许有人就是抱着看热闹不嫌事大的心态，想知道AI时代下，动画从业人员会不会不知所措、会不会紧张）。
作为一个动画师......这让我感到害怕。我一生都在画画，知道如何在画中重现运动，只是，在几年后，这会被取代。
我感觉到动画行业巨大的不安，就像数百万个声音突然惊恐地哭了出来，并突然沉默了。我担心可怕的事情发生。
下次你们邀请动画师做客时，应该把这个给他们看，并留意他们的反应。
有人认为这更凸显了技术之外的作品核心
也有导演这样说——
网飞动画系列《恶魔城》（Castlevania）的导演Samuel Deats在推特上表达了一连串对“猜拳动画”的看法，他并没有感到焦虑，而是说：
“你们不想学习如何成为一位真正的动画师，好，我明白了，但伙计们，你们有很多其它的方式来创作出作品。”
言下之意，Samuel Deats并不认可这种把真人的动作完整拍下来，然后用AI转化之后就称之为“动画”的做法。
同时，他不觉得“猜拳动画”的做法有多“创新”。
那如今AI到底被阻止还是被接受？
一组数据判断真相
一家素材网站——对AI生成作品持正面态度的Shutterstock，向3000名受访者进行了一次调查，是关于生成式AI的使用情况及对其的看法。
结果显示，超过半数受访者表示有意愿学习AI，有高达8成以上的受访者清楚生成式AI是怎样一回事，45%的专业使用者已经或正在使用AI，35%的一般使用者已经或正在使用AI。
Netflix Japan近期就用AI来作出了一次尝试。它与AI技术开发商Rinna、曾制作过《进击的巨人》系列的WIT STUDIO合作，推出了一部名叫《犬与少年》的动画短片。该短片的背景是通过AI生成的。
Runway开发的AI影片生成技术Gen-1，使动画制作变得更加简便。用户可以上传文本、图像和视频，生成风格化动画短片，其运作的方式是复制真人动作并将其转化为动画。
文章开头所述的，制作了“猜拳动画”《ANIME ROCK, PAPER, SCISSORS》的团队是Corridor Digital，还记得大概3个月之前，一段在网上走红的、将众多不同时空的蜘蛛侠聚到一起“手指指”的同人视频吗？对，那也是Corridor Digital愉快玩耍后的成果。
至于这一版的“蜘蛛侠全宇宙”的幕后情况，是这样的，Corridor Digital的成员Dean想要快点看到《蜘蛛侠：平行宇宙》的续集，等不及的他决定通过一些技术来自己做“续集”：
稍微更具体地来说，他找上其他成员，通过后期特效复制了《蜘蛛侠：平行宇宙》的动画风格，再通过Stable Diffusion将《蜘蛛侠》真人电影系列的一些片段，以及Dean换上蜘蛛侠服装后拍出来的东西，转换为动画风。接着，他们尝试找全所有版本的蜘蛛侠，去扩充蜘蛛侠多重宇宙。
有网民对此感到惊喜：
《蜘蛛侠：平行宇宙》是那种你可以看出是用爱而不只是用钱制作的电影。Corridor Crew制作的所有内容也都是出自爱，这真的很有意义。你们把和朋友一起玩耍的爱好变成了职业，并投入了心血！太棒了！
看到Dean主导的这一集真的很有趣。我肯定希望看到更多探索其他创意风格的视频。
有趣的是他说他们什么也没做。短片中每一帧都包含了大量的内容！他们本可以只发布一些由AI生成的场景，而我们仍会观看，但是Corridor Crew总是超出我们的期望，为我们提供高质量的内容，而且完全免费。你们的努力应该获得回报。
AI生成图像+虚幻引擎
暗黑奇幻风动画是这样诞生的
人类有表达的欲望，要将脑中的想法，透过各式各样的方式体现出来，并让其他人感知得到。Corridor Digital的成员Nico——一个留着浓密胡子、满头金发的男人，他也主张创作应该是低门槛的，所以他们整个团队想试验出新的方法，让人们即使在没有很多预算、也没有成熟技艺的前提下，也能制作出属于自己的动画。
Nico认为，这样才会真正实现“创作自由”。
那要如何开始着手制作呢？首先Nico用到了机器学习当中的扩散模型（diffusion model），它可以将模糊的、充满杂讯（噪点）的图像生成为清晰的、精细的图像。
视频是由一帧一帧的图像组成的，要完成一段动画，Nico和他的伙伴们选择将实拍照片噪点化，这样处理的目的，是要让扩散模型完成去噪，然后生成风格化的图像，再补充一些原本没有的细节。这个过程，在Nico看来，就有点像是人们偶尔抬头凝视云朵时，会根据云朵的形状，脑补出具象化的东西，比如一只白色的神兽。
单张图片如此处理是没有问题的，可视频的话，图像与图像之间会发生闪烁。
解决画面闪烁问题的关键，Nico从更早之前的一段发布于YouTube的“塞尔达版”《侏罗纪公园》同人动画短片中获取灵感。在这段实验性的视频里面，画面确实不会出现明显的闪烁，可帧与帧之间的连接并不顺畅，时常有奇怪的扭曲，细节也不一致。
Nico觉得问题可能出在图像的随机噪点（random noise）上，所以他一顿操作后，噪点就不再是随机改变每一帧了，如果两帧图像的内容几乎相同，它们的噪点化方式也会一样。
画面稳定的问题得到进一步的解决之后，接下来是风格化。这就有一点像是动画制作流程当中的角色设计——给实拍照片中的人物换上合适的“动画皮囊”。
为了实现Nico心中最想要的“动画皮囊”，他决定与团队成员一起，训练出一个能生成特定动画风格的扩散模型。
已经有技术达人开发出相应的扩散模型，
以将图像转变成特定风格。
要让画面做到不闪烁，身为视觉特效从业者的他们，还找到了一件重要的武器——在DaVinci Resolve中应用了D Flicker插件（DaVinci Resolve是一款可以将编辑、色彩校正、视觉效果、运动图形和音频后期制作结合在一起的软件）。通过这个插件，可以消除闪烁的光线。
角色一致性的问题终于得到解决，Nico身边的小伙伴们都嗨翻了。
下一关，是故事设定以及拍摄原始图像，喜欢玩新意的Nico想要来一场特别的“石头剪刀布”游戏，这场游戏的参与者，是两位双胞胎的王子，他们必须等到国王驾崩，才可以去争夺王位——谁猜拳赢了，他就是下一任的王。
两位王子分别由Nico和Dean扮演，他们拿着写好的剧本，到录音室配音，期间，两人发出了夸张的大叫声。接着，Nico和Dean购入了“戏服”，一边在绿幕前做嘴型（像木偶那样），一边用尽毕生所学，摆出各种动画漫画中常见的耍酷姿势。
上文所提到的通过训练模型，将原始图像转换成特定风格图像的过程，具体要如何实行？在绿幕拍摄时，除了制作动画所需的照片，Nico他们还拍下不少脸部照、全身照、背面照等等。
至于要让模型学习怎样的动画风格，Nico所选取的作品是《吸血鬼猎人D：妖杀行》（Vampire Hunter D: Bloodlust），他们捕捉不同角色的不同画面，包括一些面部画面、躯干画面、全身画面、手、头发，以及花朵等物体。
等到AI掌握了这些图像都是以哪种风格绘制的之后，新的问题浮现——《吸血鬼猎人D：妖杀行》里没有满脸胡须的角色，而Nico有。
《吸血鬼猎人D：妖杀行》
因此，Nico另外再生成了一些以他的长相为基础的图像，并补充回数据库中，再次训练模型。
是时候可以告诉AI把实拍照片变成动画风格了，Dean利用Stable Diffusion，根据提示词进行图生图（img2img）的步骤，生成“动画皮囊”，接着再修改微调。
消除闪烁的插件在这个时间点派上用场，然后就是抠绿幕，移除背景，将帧率从每秒24帧降低到每秒12帧，看起来更像动画，进一步减少闪烁感觉。角色的部分算是完成了，场景以及美术背景的部分呢？
Sam搭建了哥特式教堂的场景并通过虚幻引擎进行渲染，他还在场景中架设了多部不同角度的摄影机，之后，他截取了各种视角的教堂平面图，以用作动画的背景。这些背景图也要过一遍Stable Diffusion，Sam让AI生成出90年代日本动画的美术背景风格。
角色层做好了，背景层也做好了，接下来进入到合成与后期摄影的环节，这部分也是由Dean负责。当镜头像是围绕着角色旋转时，Dean先是给背景添加动态模糊等效果，然后为了凸显角色的气势，所以在角色做动作时添加速度线，而在前景的部分，他把原本3D的烛台做成2D动画的样子，并加入到里面。
最后，Dean添加上胶片摄影机滤镜，因为以前的日本手绘动画就是用它来拍摄的。他试图透过一系列的操作，使得成品更像《吸血鬼猎人D》这样的经典动画。
所有的制作工序都结束后，团队成员聚在一起高兴地享受着他们花费两个月时间打造的动画。
完整版制作幕后
它真的“永久改变”动画制作流程？
《ANIME ROCK, PAPER, SCISSORS》真的永远地改变了动画？
回应这个问题之前，我们先去看看这部动画短片本身的质量。首先从一些观众的评价来说，用猜拳来争夺王位这个创意是具有亮点的；然后镜头的设计确实体现了Nico他们的想法，至于燃的部分，后期特效的作用明显。
但不足的地方也是有的。例如，虽然经过了修改和微调，角色画面不稳定的情况偶有发生；又例如，Dean扮演的白衣王子败给了Nico扮演的黑衣王子后，他卧薪尝胆的片段中，角色的形象出现不同的版本，这在设计的角度上，无疑是失误。
而且，从Nico对制作流程的讲述中，我们可以知道的一点，是他们不想将动画弄得太复杂，所以用了简化的、取巧的办法，先不论动机，从结果而言，猜拳这个点子确实代替了肉搏的打戏（更别说为了体现打戏的精彩程度与破坏力，所专门绘制的特效动画以及背景动画）。
Corridor Digital模仿的是日本经典的二维动画，与其说他们“永久改变”动画制作流程，倒不如说“猜拳动画”仍是在之前的那种动画制作流程框架下。一般而言，在前期阶段，一部动画需要先立项，然后进入到角色设计、故事设定、剧本创作、分镜绘制环节。
来到中期阶段，主要是画面设计（Layout）、原画、动画、背景作画等环节，后期则是摄影（合成）、画面编辑、录音、音响制作、视频编辑等。
Nico等人所作出的尝试中，最为核心的，其实是他们将分镜绘制到中期作画的步骤，先后通过绿幕前的实拍、Stable Diffusion以及虚幻引擎来代替，他们这样做的目的一如Nico最初所主张的——降低技术门槛，达到“创作自由”。
改变的意思是指让人事物产生显著的差别，那另一个问题就来了，“永久改变动画制作流程”中的动画，是指二维动画？三维动画？定格动画？还是其他不同形式的动画？
Stable Diffusion等AI工具现时能够为强调传统手艺、强调媒材物质属性（如《天竺鼠车车》中那种毛绒绒的质感）、尝试非常规方式（如在石板上绘制）的动画带来改变吗？
动画安妮奖的选择
最近，被成为“动画界奥斯卡”的第50届安妮奖公布各个项目的得奖结果，从获奖数量上，名导吉尔莫.德尔.托罗的定格动画新作《吉尔莫.德尔.托罗的匹诺曹》成为最大赢家，获得最佳动画长片、最佳导演、最佳角色动画、最佳美术设计、最佳音乐。
此外，另一部将定格动画与真人实拍相结合的电影《穿鞋子的贝壳马塞尔》获得最佳独立动画长片、最佳编剧、最佳配音。
媒体接连以AI作为话题进行报道的同时，安妮奖却作出这样的选择。我觉得，一方面从作品本身来说，陀螺版《木偶奇遇记》和A24出品的《穿鞋子的贝壳马塞尔》，都做到了在取悦观众的同时，分别不同程度地展现了定格动画的实验性。
《吉尔莫.德尔.托罗的匹诺曹》
《穿鞋子的贝壳马塞尔》
另一方面，在一众三维动画面前，安妮奖或许想要再次提醒动画观众，动画的世界原本是丰富多彩的，不同的创作者，对动画、甚至对艺术，是有不同的态度和观点的，而正因为创作者之间的不同，才产生了不同方向的作品，竞相争奇斗艳。
托罗导演日前在接受媒体Decider采访时表示：“我认为艺术是灵魂的表达，在最好的情况下，它包容了你的一切。因此，我消费和热爱人类创作的艺术，并且被那些艺术完全打动。我对机器制作的插图不感兴趣，也对从信息中推导出来的东西不感兴趣。”
吉尔莫.德尔.托罗
所谓的“创作自由”，除了使用某些免费工具、透过某些开源项目来便捷地产出作品的自由以外，还有真心相信某种信念，不受某些流行趋势干扰，并专注于自己创作的自由。
你为什么想要看动画？
回到观众的立场，AI动画的出现与发展，可能会让我们回想起想要看动画的初衷。
有人或许是因为动画世界中轻松愉悦、简单舒心的那一面，而选择看动画；有人或许是因为美型的、耍酷的、可爱的角色造型，以及令人过目难忘的动作设计，而喜欢看动画；有人或许是因为动画的知名度或者热度而去看的；有人或许只是为了看故事，至于是不是动画，并不重要......
把真人的表情以及动作几乎原原本本地通过AI转换成某种风格、带有模仿痕迹及复古感的动画，真的是你最想要的吗？
如果这不是你最想要的，你认为AI以后要如何融入动画制作流程，才会更满足你呢？
有制作团队将原创的角色设计图投喂给AI技术LoRA，再根据提示词生成需要的图像，以解决繁杂的工作，这会是你更想看到的尝试吗？
最后扯远一些，将来有人试图用AI来重塑人们的世界观，我们会怎么面对呢？大家可以来评论区一起聊一聊！
技术协助：ChatGPT、Glarity-Summary
参考资料：
1、Corridordigital.com
2、Corridor，ANIME ROCK, PAPER, SCISSORS
3、Corridor Crew，Did We Just Change Animation Forever?
4、Corridor Crew，We Put TOM HOLLAND into the SPIDERVERSE
5、映CG，动画制作新革命！国外团队推出AI视频生成技术Gen-1，可将真人影像转化成各种风格的动画
6、映CG，超过半数人想学AI？实际调查3000名受访者，AI现今及未来使用趋势带你一次看
7、映CG，日本Netflix推出AI绘制背景的动画短片《狗与男孩》，在推特上引发争议
8、映CG，奥斯卡大热门《吉勒摩·戴托罗之匹诺曹》导演聊 AI：「永远热爱人类创造的艺术！使用 AI 创作电影简直是对生命的一种耻辱！」
9、映CG，「AI并没有取代艺术家，反而让团队更专注设计与故事上」专访木下曰本，畅聊如何将AI技术LoRA导入动画制程
—END—
全球首例法院裁定：AI绘画不算创作者！作品不受版权保护！
想了解更多后续的介绍要锁定wuhu哦，微博的小伙伴可以关注我们的新浪微博：wuhu动画人空间，对了！如果你想看更多动画作品，去b站搜索wuhu动画人空间看看？