作者 / Pel
编辑 / 彼方
这两天，一个叫做《石头剪刀布》的动画短片突然在动画圈子里火了起来。
影片讲述了一对双胞胎王子通过“石头剪刀布”的形式争夺王位继承权的故事。其中令人捧腹的无厘头剧情以及模仿日式动画的沙雕演出，让很多人印象深刻。
但它的火爆，最主要还不是因为讲了什么故事，而是因为——在AI大举“攻占”围棋、绘画、文书等领域之后。再一次，连「动画」这样一个流程相当复杂的行当，也要被“取代”了吗？我知道你可能很焦虑，但可以先别焦虑。本篇推送，学术趴就为各位分享这部AI动画的「制作难点」「制作流程」以及我们的「观后感想」。不妨先一起来看一看这部动画是怎么做的，制作方是活跃于特效领域的YouTube博主Corridor，发布这部动画的同时，他们也公开了自己的制作幕后。了解之后，或许你不仅能加深对AI动画的理解，还会发现：至少这部片子的制作背后并没有什么惊天地泣鬼神的AI进化，主要仍是现有技术的整合，有不少“取巧”的成分，不妨说——是一种非常吃后期的转描动画——AI仍是我们挥洒创意的工具啦。*动画短片原网址：https://www.youtube.com/watch?v=GVT3WUa-48Y
*幕后揭秘原网址：https://www.youtube.com/watch?v=_9LX9HSQkWo
这部短片制作的整体思路是——把实拍影像变成动画。只不过手段不是让动画师「转描」也不是用昂贵仪器「动捕」，而是用机器学习模型Stable Diffusion把图像逐帧转化为动画风格。没错，图像参考来自实拍，不是用关键词直接生成的，所以不会出现“画不来手”的情况。听上去很简单，我们都已见过AI绘画的威力，但此前为什么很少有成熟的动画作品出现呢？AI（至少Stable Diffusion）转换图像画风的工作原理，就是通过公式和学习，获取图像数据，并添加噪点、删去噪点，再复原图片的过程。我们都知道实拍和动画的本质都是连续的图像，问题在于AI给每一帧转换风格之后，帧与帧差异相当之大，衔接起来的结果相当【怪异、不流畅】如果在一段时间内冻结噪点，就可以得到较为连续的画面，但结果会很有涂抹感，细节也时隐时现；他们的解决方案是逆向操作，直接把原来的画面帧生成噪点图，再把噪点图覆盖在原视频上，噪点就不会过于随机地改变，也不会一直停在原地。
② 锁定噪点的效果
动起来之后，依然会遇到“闪烁”的问题，每一帧的画面风格并不统一。他们的解决方案，是用Stable Diffusion训练风格模型，采用了Nitrosocke的Diffusion模型，将图像调整成特定风格。为进一步解决各种五官、褶皱的细节混在一起的缺陷，他们会专门训练单个演员的模型（统一绿幕背景+服化道），提升帧与帧的连续性。
首先，最灵魂的编剧、分镜、表演编排，依然是由人类创作的。然后录制台词、准备服装（corridor直接选择网购廉价制服，尤其是他们选了有很多纽扣的衣服，其中复杂的纹理在手绘动画中并不常见）。准备好之后，在绿幕面前摆造型，截取单帧。（不配口型，只需一直阿八阿八）全程只要两个人负责摄影和打光，毕竟他们想要靠近的手绘动画质感，其光影本来就不会太复杂。根据上述原理，让AI根据实拍逐帧“转描”实拍的画面。用Stable Diffusion训练能够将【演员】与【模仿风格】对位转换的模型其中遇到一个问题：演员有胡子，而《吸血鬼猎人D》里的角色大多没有，直接生成会很凌乱。解决方案便是再做几个演员形象的动画滤镜，跟《吸血鬼猎人D》截图一同放进资料库训练。
在这一环节，创作者化身“召唤师”，用添加关键词、排除关键词、来回调整细节数值的方法，将实拍画面批量生成为24帧每秒的“动画”。这可能是全程最无聊最机械的一个环节。其中会有1-2帧略显跳跃，corridor的解决方案也相当简单粗暴，将镜头放入视效合成软件Fusion，加入防闪烁插件，设置为fluoro light模式，一个节点不够，就再贴一个。肉眼感觉足够流畅之后，将角色从绿幕中抠出来，帧率减半变为12，使其更像动画、更自然。使用虚幻引擎里的场景（封闭教堂），根据想要的效果微调渲染和光照。找到适合当作背景的场景，截取4张图片。把截图丢给Stable Diffusion，输入关键词（见下图），进一步转换画风。
将前景的角色和背景合成在一起，添加特写效果。把四张背景贴在一起，高速横向运动，增加模糊效果；需要特写时候拉近到下图中有窗户的位置；加入light rays插件，模拟光照效果。找几个三维物件（蜡烛台），转换成动画风格，放在摄影机前景，增加模糊效果，使镜头更有摄影机旋转的实感。最后在关键位置加一两条手绘效果线。
快乐的制作团队，只需十余人就在几个月内摸索出方法，制作了7分多的动画
从技术层面上来讲，这个动画的生产流程并没有对技术底层做出较大革新，更多可以视为一次现有技术的整合样例。相比于一味渲染焦虑情绪，我们在保持谨慎观察态度的基础上，也看到了目前AI在动画生产当中的局限。一方面，虽然没有在视频当中明言，但制作团队之所以选择“石头剪刀布”这样的题材，应该还是因为这个题材涉及的镜头与场景并不复杂——我们在片中大多看到的是单一角色出现的场景，角色之间也没有进行直接的交互；分镜方面，镜头的调度和设计也相对简单。再进一步，片中大量使用了针对《吸血鬼猎人D》这部作品的采样。目前关于AI训练的版权争端尚未有定论，如这一流程的使用场景扩大，也势必引起相关的争端。不过上述的这些局限是否会在短期内被突破，我们尚未可知，或许很快我们就会看到这种“AI转描”动画迎来广阔的商用前景。笔者不禁畅想，比方筹备拍摄某部真人剧集的同时，片方也聘请艺术家（群体）制作大量绘画素材，用于投喂训练模型——然后通过算法将真人影视改为动画，同步推出形似神不似或神似形不似的动画版？以及，过往就有部分动画人倡导“转描动画也有美学”，比如《怪猫菲力兹》《指环王》动画版导演拉尔夫·巴克希和《爱在黎明破晓前》《阿波罗10½号：太空时代的童年》导演理查德·林克莱特，但这种选择始终未能成为动画行业的主流，或许有产能效率的因素，或许有审美惯性的因素。假若攫取实拍素材制作成的动画大行其道，这种比传统动画更奇特/违和的视觉风格，或许会开拓动画艺术新的道路？