AI视频进入4K时代,智谱把开源界掀翻了
开源,通通开源
智谱 真的太爱它的用户了,
新版本清影上线即开源,这款10s时长、4k、60帧,可以生成音效的模型就像过年发糖一样,人人有份。
而且更重要的是,这次智谱还把这个“新清影”背后的底层模型,也就是CogVideoX v1.5,直接开源了!
三个月前,智谱开源的 CogVideoX-5B 衍生出了 CogVideoX-factory,只需要 24GB 的 GPU 就可以生成视频。这意味着消费级的视频生成费用开始有了下降的苗头。
目前来看,AI 视频软件们早晚都是要全面收费的,而动不动就是上百块的视频生成套餐费用对新手并不友好,甚至对长期使用的人也是一比有点肉疼的支出。
智谱开源之后,我们部署在自己的电脑上就能省下这一笔,想想就开心。
话说回来,这次提前拿到内测资格的我,
自然是打算延续之前的 AI 视频评估系列,
给新清影从视频画面和视频音效来个全面的测试,Here we go!
一、新清影- 视频画面
首先,先看一下在【人物动作表情】方面,新清影的表现如何⬇️
可以看到人物的表情、动作、甚至变身特效做的都相当的流畅,特效生成的部分与原画风也并不违和,可以说清影这次升级是玩了把大的。
这里需要提一嘴的就是,像我开头说的那样,目前清影是支持4K,60帧,10s视频生成的。因为公众号能放的视频有限,所以这里的gif可能看不太清楚画质提升,但是从原视频中,我们是能够感受到画面的清晰度是非常高的。
所以,所有case的原视频我们都放到飞书了,感兴趣的大家可以关注公众号后台私信"新清影"拿到原视频感受一下清晰度。
话说回来,我们再来看看在【动物的动作方面】,新清影的展现⬇️
第一个视频我有种看到了《海底总动员》的即视感,小鱼的表情真的好生动。而且这个画面是有逻辑的,画面中蓝色的小鱼被一闪而过的黄色小鱼吓了一跳,最后画面中就真的游进来了一条黄色小鱼(虽然有点丑),但是这个镜头的完整度真的值得称赞。
然后我不得不提一下,熊猫游泳这个视频中文字的稳定性,我输入的图片就是带有文字的,生成出来的视频中文字已经停留在画面上并且没有产生变形,这点真的有惊喜到我!
最后视频画面这里,我再放几个【环境画面测试】和我觉得比较【有趣的镜头展现】⬇️
提示:下面胆小慎看!!!
使用地址:https://chatgIm.cn/video 开源地址:https://github.com/thudm/cogvideo
总结:
其实,我们在之前清影刚刚推出的时候就已经写过一期视频生成评测,当时清影在一些动效上就已经有不错的展现。如今,整体测下来,最大的感受就是清晰度的提升,AI视频的4K时代终于要到来了吗!!!
上期测评文章链接:
大家可以自行观看,对比这么短的时间内清影的飞速发展迭代!
二、CogSound - 视频音效
有画面,怎么能没有声音呢?
所以,还有一个模型也被我提前内测上了,
CogSound(智谱起的名字真好记,Cog + 一切),
加上10月底悄咪咪发布的语音模型GLM-4-Voice,接下来我给大家表演一段报菜名:
语言模型:GLM-4 图像模型:CogView3 视频模型:CogVideoX 1.5 语言模型:GLM-4-Voice 音效模型:CogSound
智谱这是直接搞了一个模型家族。CogSound 这个新的家族成员能根据视频自动生成音效、节奏等音乐元素。音效模型将于本月上线清言 App,与新清影一起生成有声 AI 影片,大家期待一波~
话不多说,直接放几个我们测的case来看看表现到底如何⬇️
画面素材是我找的一些网络视频素材直接贴给清影,整体来说,目前新清影能够准确识别并理解视频背后的语义和情感,然后生成与之相匹配的音频内容,尤其像上面案例中这种火焰、水流、乐器、哭声、交通工具声等等都能生成出对应视频变换节奏的音频。
以后做视频就不用苦哈哈到处找环境音效了,福音啊福音!
写在最后
新清影这次的画面效果和功能多样都有了很大的进步。
但我最期待的不是下版本的效果,反而是多个模型的联动!
未来AI产品形态会是以Claude Artifacts为代表,在原有对话界面上新增功能;
还是以PS AI为代表,在传统工具界面内植入模型呢?
我更希望的是,
以Recarft为代表的,几乎都是以AI功能组合形成的工具,
所以它才会做到MJ们都没做到的事,才会开始替代PS、Canvas。
这需要的就远不止一个模型的力量,
而是视频制作全流程的AI化,
不断的开源证明了智谱的决心!
AI 视频也需要更多的清影,
更多具备多样模型能力的产品,
更多像智谱一样坚持开源的公司,
我相信他们。
@ 作者 / 卡尔 & 阿汤@ 动手学AI知识库 / learnprompt.pro
最后,感谢你看到这里👏如果喜欢这篇文章,不妨顺手给我们点赞👍|在看👀|转发📪更多的内容正在不断填坑中……
今日份的彩蛋码是🎲🎲🎲 公众号后台私信回复新清影