查看原文
其他

ControlNet VS GEN-1 :谁将成为AIGC的新范式?

逗砂 AIGC研修社 2023-02-23

今天早上在网上看到了一张梗图,忽然想起来半个月前申请了 runway 的AI新视频生成工具的内测,这个视频工具叫 GEN-1,在 ControlNet 发布前大家都对它期待很高,但是 ControlNet 出现后,现在大家的注意力都 ControlNet 被吸引了。

之前发布的几篇文章已经介绍过 ControlNet 了,这里就不赘述了,大家不清楚的话可以看看我前面的文章:

游戏要结束了:ControlNet正在补完AIGC工业化的最后一块拼图

另外西乔老师今天发布的一篇关于ControlNet的介绍文章也非常详尽:

精确控制 AI 图像生成的破冰方案,ControlNet 和 T2I-Adapter

接下来我来介绍一下什么是 GEN-1。


     RUNWAY 的 GEN-1

RUNWAY 这家公司其实一直都是在做AI视频生成工具,并且 stable diffusion 的初代版本都是他们公司参与的研发,后面因为 stable diffusion 背后的公司(金主) Stability AI 因为这个项目估值飙升,内部团队出现裂痕,所以后面才出现了 stable diffusion V1.5 被 RUNWAY抢先发布这种狗血的事情,后面虽然平息了,但是RUNWAY这家公司一直在憋大招,GEN-1 就是他们想要颠覆AI生成领域的产品。

这个产品在2月6日开始内测,虽然我2月7日就申请了,但是自己和周围的人都没有听说有拿到内测的。

GEN-1 的官方地址:https://research.runwayml.com/gen1

GEN-1 的论文:https://arxiv.org/abs/2302.03011

下面是他们官网的介绍视频:


GEN-1 一共包含五个模式。


01:风格化模式
可将任何图像或提示的样式传输到视频的每个帧。



02:故事板模式
可将模型转换为完全风格化和动画渲染。


03:遮罩模式
可隔离视频中的主题,并使用简单的文本提示对其进行修改。



04:渲染模式
可通过应用输入图像或提示,将无纹理渲染转换为逼真的输出。


05:自定义模式
可通过定制模型以获得更高的保真度结果,释放Gen-1的全部功能。


     GEN-1 的早期测试案例


     ControlNet 的视频工作流

ControlNet 本身并不是专门为视频工作服务的,只是控制网的特性给视频风格迁移提供了一个便利的可能。

想要用 ControlNet 制作具有风格迁移的视频目前一共有三种方法:

1 将原视频一帧一帧的导出,然后使用 ControlNet 转换每一张图片的风格,这个是最繁琐的方式,下面这个视频就是用这种方式制作的。

来源:https://twitter.com/creator_kachun/status/1626937512370536449


2 跟 EbSynth 结合,通过使用 ControlNet 生成关键帧,来制作视频,下面是几个通过这种方式的案例。

来源:https://twitter.com/TomLikesRobots/status/1628100062910857217

3 使用之前提到的开源工具 ControlNet-Video 生成

https://huggingface.co/spaces/fffiloni/ControlNet-Video 

 

     GEN-1 与 ControlNet 优缺点对比


1 费用

GEN-1: 费用未知,但不会少。不管怎么样,Runway 都是一家公司。

ControlNet:免费开源。


2 效果对比

说实话两个效果都挺好的,并且 ControlNet 因为有SD开源的支持,可以调用非常多风格的微调模型。而 GEN-1 的风格不知道是否能够对接的上,如果只是用他们自研的模型,那确实会挺无聊的。


3 使用的方便程度

虽然我没有用过GEN-1,但是相信在视频工作流的整合上Runway沉淀了多年,肯定比ControlNet 要便捷。


4 未来的潜力

开源的最大意义就是会快速的被大量的使用,嫁接和功能验证,从而成长。在这一点上,一直磨磨唧唧开放测试使用的 GEN-1 远不是 ControlNet 的对手。未来肯定会有基于ControlNet 技术制作的视频生成工具,而且会遍地开花,就跟当初的 Stable Diffusion 一样。



所以综合来看,除了工作流的便利程度,GEN-1 在其他方面都比不过  ControlNet 。半个月了 ControlNet 的论文在 GEN-1 的论文发布后四天发布,短短的一个星期全球大量用户去做尝试,同时开源社区也在基于ControlNet 做各种相关产品的实验,而这个时候 Runway 在干什么呢?我在他们的社群找到了下面的对话:

所以下面这张图挺符合事实的,不能怪AI艺术家见异思迁。

Runway 作为一家老牌的人工智能公司,在参与了改变行业的 stable diffusion 的研发,但是因为种种原因大家只记住了  Stability AI 这家公司。今年痛定思痛发布了本来挺棒的 GEN-1 正要掀起热度,结果论文发表没几天,一个来自中国的20出头的博士生发布了 ControlNet,还把它开源了。

Runway 真是太惨了。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存