查看原文
其他

AI视频进入4K时代,智谱把开源界掀翻了

AI沃茨 卡尔的AI沃茨
2024-11-10

动手指数 🌟🌟🌟🌟🌟 | 文末彩蛋进度条 9️⃣9️⃣%

 开源,通通开源 

智谱 真的太爱它的用户了,

新版本清影上线即开源,这款10s时长、4k、60帧,可以生成音效的模型就像过年发糖一样,人人有份。

而且更重要的是,这次智谱还把这个“新清影”背后的底层模型,也就是CogVideoX v1.5,直接开源了!

三个月前,智谱开源的 CogVideoX-5B 衍生出了 CogVideoX-factory,只需要 24GB 的 GPU 就可以生成视频。这意味着消费级的视频生成费用开始有了下降的苗头。

目前来看,AI 视频软件们早晚都是要全面收费的,而动不动就是上百块的视频生成套餐费用对新手并不友好,甚至对长期使用的人也是一比有点肉疼的支出。

智谱开源之后,我们部署在自己的电脑上就能省下这一笔,想想就开心。

话说回来,这次提前拿到内测资格的我,

自然是打算延续之前的 AI 视频评估系列,

给新清影从视频画面和视频音效来个全面的测试,Here we go!


 一、新清影- 视频画面 

首先,先看一下在【人物动作表情】方面,新清影的表现如何⬇️



可以看到人物的表情、动作、甚至变身特效做的都相当的流畅,特效生成的部分与原画风也并不违和,可以说清影这次升级是玩了把大的。

这里需要提一嘴的就是,像我开头说的那样,目前清影是支持4K,60帧,10s视频生成的。因为公众号能放的视频有限,所以这里的gif可能看不太清楚画质提升,但是从原视频中,我们是能够感受到画面的清晰度是非常高的。

所以,所有case的原视频我们都放到飞书了,感兴趣的大家可以关注公众号后台私信"新清影"拿到原视频感受一下清晰度。


话说回来,我们再来看看在【动物的动作方面】,新清影的展现⬇️




第一个视频我有种看到了《海底总动员》的即视感,小鱼的表情真的好生动。而且这个画面是有逻辑的,画面中蓝色的小鱼被一闪而过的黄色小鱼吓了一跳,最后画面中就真的游进来了一条黄色小鱼(虽然有点丑),但是这个镜头的完整度真的值得称赞。

然后我不得不提一下,熊猫游泳这个视频中文字的稳定性,我输入的图片就是带有文字的,生成出来的视频中文字已经停留在画面上并且没有产生变形,这点真的有惊喜到我!

最后视频画面这里,我再放几个【环境画面测试】和我觉得比较【有趣的镜头展现】⬇️




提示:下面胆小慎看!!!



这几个镜头也是我觉得整体测下来表现比较优秀的镜头,在环境光线上和无中生有的人物动作甚至是恐怖画面上表现的都很好,最后这个恐怖电视真的有被吓到,你们吓到了吗(偷笑)。
  • 使用地址:https://chatgIm.cn/video
  • 开源地址:https://github.com/thudm/cogvideo

总结:

其实,我们在之前清影刚刚推出的时候就已经写过一期视频生成评测,当时清影在一些动效上就已经有不错的展现。如今,整体测下来,最大的感受就是清晰度的提升,AI视频的4K时代终于要到来了吗!!!

上期测评文章链接:

我用智谱「清影」做了100个镜头,Sora们要坐不住了

大家可以自行观看,对比这么短的时间内清影的飞速发展迭代!


 二、CogSound - 视频音效 

有画面,怎么能没有声音呢?

所以,还有一个模型也被我提前内测上了,

CogSound(智谱起的名字真好记,Cog + 一切),

加上10月底悄咪咪发布的语音模型GLM-4-Voice,接下来我给大家表演一段报菜名:

  • 语言模型:GLM-4
  • 图像模型:CogView3
  • 视频模型:CogVideoX 1.5
  • 语言模型:GLM-4-Voice
  • 音效模型:CogSound

智谱这是直接搞了一个模型家族。CogSound 这个新的家族成员能根据视频自动生成音效、节奏等音乐元素。音效模型将于本月上线清言 App,与新清影一起生成有声 AI 影片,大家期待一波~

话不多说,直接放几个我们测的case来看看表现到底如何⬇️

画面素材是我找的一些网络视频素材直接贴给清影,整体来说,目前新清影能够准确识别并理解视频背后的语义和情感,然后生成与之相匹配的音频内容,尤其像上面案例中这种火焰、水流、乐器、哭声、交通工具声等等都能生成出对应视频变换节奏的音频。‍

以后做视频就不用苦哈哈到处找环境音效了,福音啊福音!

 写在最后 

新清影这次的画面效果和功能多样都有了很大的进步。

但我最期待的不是下版本的效果,反而是多个模型的联动!

未来AI产品形态会是以Claude Artifacts为代表,在原有对话界面上新增功能;

还是以PS AI为代表,在传统工具界面内植入模型呢?

我更希望的是,

以Recarft为代表的,几乎都是以AI功能组合形成的工具,

所以它才会做到MJ们都没做到的事,才会开始替代PS、Canvas。

这需要的就远不止一个模型的力量,

而是视频制作全流程的AI化,

不断的开源证明了智谱的决心!

AI 视频也需要更多的清影,

更多具备多样模型能力的产品,

更多像智谱一样坚持开源的公司,

我相信他们。


@ 作者 / 卡尔 & 阿汤@ 动手学AI知识库 / learnprompt.pro


最后,感谢你看到这里👏如果喜欢这篇文章,不妨顺手给我们点赞👍|在看👀|转发📪更多的内容正在不断填坑中……

今日份的彩蛋码是🎲🎲🎲 公众号后台私信回复新清影

修改于
继续滑动看下一个
卡尔的AI沃茨
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存