AI 画动漫

前段时间分享了 AI 画漫画，今天分享一个 AI画动漫。感觉可以串起来了。

可以做几件事情：

• Cartoon Interpolation 卡通动画中间帧
• Cartoon Sketch Interpolation 卡通素描中间帧
• Reference-based Sketch Colorization 基于参考的素描上色

  中间的素描动画

  最后结果
  

• Sparse Sketch Guidance 疏松素描指导

  疏松素描参考：
  

  最后结果
  

体验

在 Huggingface 上可以运行 Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter

输入图片：

输入 Prompt：an anime scene

生成视频：

输入图片：

输入 Prompt：walking man

生成视频：

https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3482927960418533377

技术细节

ToonCrafter 概述

给定两个动漫图像 𝐱¹ 和 𝐱^𝐿，ToonCrafter 利用图像到视频生成扩散模型作为生成器，生成中间帧的潜变量 𝐳₀。这些潜变量随后通过提出的细节注入解码器解码到像素空间，并以 𝐱¹ 和 𝐱^𝐿作为细节指导。可选地，可以通过稀疏素描指导来控制插值。

细节注入 3D 解码器的说明

给定帧潜变量 𝐳 作为输入，我们通过浅层的交叉注意力注入来自编码器 ℰ 的输入图像 𝐱¹ 和 𝐱^𝐿的中间特征，同时通过残差学习，即在深层将 1 帧和 L 帧的特征相加。

示例

不同素描指导模式的示例：（顶部）二等分（n=1）和（底部）随机位置。

对比

ToonCrafter 与 AnimeInterp、EISAI、FILM、SEINE 的动漫插值结果的视觉对比。