查看原文
其他

AI视频:文本生成视频技术最新进展

穿行者2049 今说新语 2024-04-15

我的专栏《AI绘画与AIGC实践之路!

已经开通,欢迎加入!


前面的文章《Runway Gen1开放测试,网页版参数介绍!》《使用Stable Diffusion制作无限放大视频!》《轻松上手!Runway GEN-1详细使用教程!》提到除了Gen-2、Gen-1之外,近期在文本生成视频方面还有不少进展,这篇简单总结一些上周看到的几个相关技术和演示。由于目前放开的Gen-1只支持生成3秒的视频,如果你想尝试更长的视频,可以试试下面的几个技术。
一、ModelScope Text to Video Synthesis
Huggingface版:
https://huggingface.co/spaces/damo-vilab/modelscope-text-to-video-synthesis
Colab版:
https://colab.research.google.com/drive/1uW1ZqswkQ9Z9bp5Nbo5z59cAn7I0hE6R?usp=sharing
二、Text2Video-Zero
项目地址:
https://github.com/Picsart-AI-Research/Text2Video-Zero
Huggingface版:
https://huggingface.co/spaces/PAIR/Text2Video-Zero
三、Video-P2P
项目地址:
https://github.com/ShaoTengLiu/Video-P2P
Huggingface版:
https://huggingface.co/spaces/video-p2p-library/Video-P2P-Demo

四、TenporalNet

这是一个视频版的ControlNet模型,可以增强视频的一致性,减少生成视频的闪烁。可以直接下载模型并安装到ControlNet文件夹中使用。

项目地址:
https://huggingface.co/CiaraRowles/TemporalNet
五、Runway Gen-2发布,Gen-1公测
网址:
https://app.runwayml.com/
教程:
Runway Gen1开放测试,网页版参数介绍!Gen2也不远了
六、阿里发布达摩Text2Video
项目地址:
https://huggingface.co/damo-vilab/text-to-video-ms-1.7b
Demo:
https://huggingface.co/spaces/damo-vilab/modelscope-text-to-video-synthesis
Colab1:
https://colab.research.google.com/drive/1uW1ZqswkQ9Z9bp5Nbo5z59cAn7I0hE6R?usp=sharing
Colab2:
https://colab.research.google.com/#fileId=https%3A//huggingface.co/multimodalart/diffusers_text_to_video/blob/main/Text_to_Video_with_Diffusers.ipynb&scrollTo=CFmTs4ftecDU


《2023 AIGC从入门到精通专栏》

欢迎您的加入!


根据你的喜好,推荐阅读以下AI绘画内容:




喜欢请把这篇文章转发到朋友圈支持一下!


继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存