查看原文
其他

竖屏Sora来了?深度解析火爆外网的免费视频生成工具Viva

SenseAI 深思SenseAI
2024-09-06

  

视频是AI生成技术领域的明珠,也是AI商业化场景中最大的蛋糕之一。


在 Sora 发布后,关于视频模型的讨论一直处在狂热中。以 DIT 技术架构为代表的长视频生成模型方案成为了新的当红炸子鸡。在看到国内创业公司发布的Vidu模型,Google I/O大会发布的Veo模型后,近期一款主打竖屏Sora的AI生成模型VIVA开放免费测试!


接下来,跟着小编的步伐一起来感受下VIVA的实力吧!



本篇正文共 4000 字,仔细阅读约 15 分钟


01.

VIVA 精彩看点



VIVA 是目前唯一开放免费测试的类 Sora 架构视频生成模型,上线 2 天,海外用户便创作了 1w+ 视频。当前面向全球用户开放了网站内测试端口和 Discord 测试端口,想一睹视频模型新能力的小伙伴可以玩起来啦!


传送门:https://vivago.ai/


从官方宣传来看,VIVA 在 Prompt 理解、视频连续性、模拟真实物理世界和想象力方面展示了非常棒的能力,效果极其炫酷,在相同 Prompt 指令下,与Sora的生成效果旗鼓相当。


今天小编就带大家揭秘下这款视频生成产品 VIVA不能错过的看点!

竖屏界 Sora
第一个不能错过的看点就是竖屏视频。目前市面上的多数视频生成模型展示的均为横屏效果,而这款 VIVA 可能是第一款竖屏 Sora。从官网作品Library来看,放在最前面的几条视频均为竖版版本,生成效果非常惊艳。

竖屏视频更符合目前的主要视频消耗场景的使用习惯,不管是 Tiktok、Ins 等视频社交媒体平台,还是出海短剧、带货直播,竖版视频完美目前的短视频生态。VIVA 可能希望在 C 端场景让更多用户通过简单的输入得到真实的AI竖版视频,配上音乐剪辑就可以在 TT,Ins 等社交媒体平台传播。

操作友好


目前 VIVA 全面免费开放测试端口,相比于其他视频生成模型,这份慷慨和大胆还是值得佩服的。进入官网后,小编发现 VIVA 在操作友好性上做了很多工作。


对于多数普通用户来说,AI生成最大的困难出现在不会写Prompt。除了视频模型本身的能力,
VIVA 提供 Magic Prompt 功能,能将你的输入转化成有视频描述语言的 Prompt
,例如视角、拍摄风格、镜头移动、物体细节,都会 Magic Prompt 的填充下变的更具体,可以带来更好的视频生成效果。


生成可控性强


从图片生成类产品的演进来看,我们发现从最早单纯的 Prompt 控制生成,到有了正向词负向词控制能力,有了 Control Net 等更精细的姿势、动作控制能力,人们希望生成类工具在可控性上持续增强。而 VIVA 产品很用户友好的一点是提供了不少控制功能。

小编发现,在 Prompt 窗口上,除了可以编辑视频负向词、调整视频生成尺寸外,VIVA 还支持调整视频画面的运动幅度(Motion Strength),以一只绿色的变色龙为例,可以精准控制变色龙运动的程度。




VIVA 还提供了 4K 增强视频的功能,用户可以选择一些满意的片段,之后对画面清晰度和细节度进行提升。


目前 VIVA 在官网处于免费阶段,小编在测试产品的过程中已经生成了很多视频片段,还没有受到限制。在面向大众的版本中,单个视频长度为 5 秒,但在VIVA的官网视频中发现了 15 秒视频彩蛋,推测产品可能具备更长视频的生成能力。视频生成速度还是比较快的,最多支持上传 3 个需求并行处理。



02.

顶流间的对比测评


既然 VIVA 自称是对标 Sora 最新视频生成方案的踢馆者,我们就拿它的横屏/竖屏生成视频和 OpenAI 的 Sora,Google 最新发布的 Veo 视频模型做下对比。


VIVA Vs Sora


Prompt:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
中文提示词:两艘海盗船在一杯咖啡内航行时互相战斗的逼真特写视频。


‍Prompt:An adorable happy otter confidently stands on a surfboard wearing a yellow lifejacket, riding along turquoise tropical waters near lush tropical islands, 3D digital render art style.

中文提示词:一只可爱的快乐水獭自信地站在冲浪板上,身穿黄色救生衣,沿着郁郁葱葱的热带岛屿附近碧绿的热带水域骑行,3D 数字渲染艺术风格。‍


‍‍‍‍


VIVA Vs Veo


Prompt:An aerial shot of a lighthouse standing tall on a rocky cliff, its beacon cutting through the early dawn, waves crash against the rocks below.

中文提示词:空中拍摄的一座灯塔高高地矗立在岩石悬崖上,它的灯塔穿过黎明,海浪拍打着下面的岩石。


‍‍‍‍


Prompt: Extreme close-up of chicken and green pepper kebabs grilling on a barbeque with flames. Shallow focus and light smoke. vivid colours.

中文提示词:在烧烤架上用火焰烧烤鸡肉和青椒烤肉串的极端特写。 浅焦点和轻烟,鲜艳的色彩。



在同样的测试 Prompt 中,VIVA 还是完成的相当不错的,整体对语义的理解、画面流畅度都非常惊艳,其竖版视频也在画面视角和构图上有着非常不错的协调性,推测在模型训练数据和架构上对竖版内容做了相关优化


当然,VIVA 也有一些后续可以持续改进的地方,在某些方面和 Sora 在 Demo 上存在一定差距。


我们可以看到 Sora 在 Demo 中基本实现了同一个 Prompt 视频画面切换镜头视角、生成包含多个角色和特定动作的复杂场景、画面物体移动时不出现视频抖动等,在这些方面,VIVA都还有进步空间。



03.

VIVA

让视频变得更酷


目前的众多 AI 工具和之前的产品工具有很大的不同,那就是非常依赖 AI 使用者的调教能力,用户在使用 AI 工具创作时拉开的效果方差是更大的。


小编在深度使用VIVA测评后,认为 VIVA 的能力已经达到了一个基本线,在一些视频创作场景中有很大的尝试空间。既然 VIVA 目前面向全用户限时免费,有视频素材需求的工作者、AI 爱好者已经可以玩起来了!


场景类/空镜镜头


目前空镜类视频镜头、场景类视频镜头,VIVA 已经可以实现非常好的输出效果。例如植物快速生长的画面、夕阳下的河流、夜空里移动的星轨,这些画面拼接起来就仿佛一个写实的旅行纪录片




同样竖屏视频也有不错的表现效果,视频效果十分真实,例如摇曳的花海、静谧的水底、雨天城市湿滑的路面等等,视频的细节感满满。素材实测已经达到90分以上的效果,甚至有些画面很难鉴别是AI生成还是真实拍摄。



这类空镜和场景类的视频镜头在现实生活的使用场景还是很多的,例如各种宣传片,MV 背景,Vlogger 的转场视频等,甚至可以作为电影短片的中间画面


在没有AI视频生成工具之前,用户需要从网络付费视频库搜索下载,甚至自己辛苦拍摄,现在有一部分需求可以用 VIVA 解决了。


同时,还有一些想象力场景,在之前需要极其复杂的动画制作能力才能实现,而现在只需要在 Prompt 中插入想象力的描绘,就可以生成无限多的场景,给视频创作带去了新的可能性。



实物展示类场景


目前在所有测试内容中,单个任务和物品在展示的过程中基本没有抖动和瑕疵,而这类场景非常适合视频广告类场景


例如一个卖调味品的品牌广告,那么在此前用AI生成一系列美食展示画面。再比如一个墨镜广告,在视频前期让各类明星动物带上墨镜,生成有趣的画面。



测试下来,这类场景还是非常具有可操作性,给展示类视频提供了新的创意元素和可能性。让每一刻都栩栩如生,VIVA 在单主角展示类的视频中细节颗粒度丰富,具有比较强的观赏性。


科幻剧情类


AI 视频生成相比于上一代创作生态最值得期待的就是在想象力场景中的表现,同时可以更快的生成风格化的内容。


例如画室中游船,鱼缸中的小熊猫,城市中的赛博朋克机器人这些真实世界不存在的荒诞场景都可以在 AI 生成的视频中实现。



同时可以看到,在科幻剧情类视频中涉及到多角色互动,这部分 VIVA 也能相对较好的理解,展示出角色间的互动关系。


科幻剧情类视频可以被应用在类似动画、故事片、短剧等应用场景上,专业用户结合视频分镜可以制作出一段有剧情起伏的内容。


电影质感

在电影质感的画面中,涉及到真人互动的画面,VIVA 能够给出一个不错的内容效果,但在一些手部细节和人物快速移动时仍存在一定的抖动,可能还需继续迭代,但整体效果基本可用。

小编尝试制作了一个有分镜概念的短片电影,一共描述了三个场景,这些场景的画面拼接在一起,创作出一部AI纪录片,故事刻画了一群人历尽千辛万苦攀登珠穆朗玛峰,并最终登顶。


场景一:准备阶段

提示词:一位坚定的登山者站在珠穆朗玛峰的山脚下,仔细检查他的攀登装备。雄伟的喜马拉雅山在他身后高耸,蔚蓝的天空和阳光在雪山上投射出金色的光芒。


场景二:挑战阶段

提示词:我们目睹了登山者在珠穆朗玛峰恶劣条件下的挣扎。他在险恶的冰原上前行,每一步都付出了巨大的努力。

场景三:登峰成功

提示词:登山者和他的团队最终站在了珠穆朗玛峰的顶峰。他们挥舞着胜利的旗帜,脸上洋溢着喜悦。镜头平移,从山顶上看到了令人惊叹的景色。



以上就是小编深度测试 VIVA 后整理的全部内容,有被视频模型的进展震撼到。当然VIVA 也仍然存在一些问题,例如视频时长、语义理解和精准实现、多镜头角度的视频生成、多角色互动及复杂场景时画面稳定性等,需要其创业团队进一步对模型做迭代。

VIVA 团队近期有计划推出创作者招募计划,希望吸引有创作能力的种子客户,使用工具生成更多精彩内容。未来产品团队也将更新具有更长视频生成能力的产品,并优先邀请创作者计划中的用户进行内部体验。

传送门:

https://vivago.ai/



转载请联系公众号后台


欢迎加入 Sense AI 共创计划


如果你对研究海外最新的 AI 产品感兴趣,并且愿意写出并分享自己的思考和观察,无论你是什么职业(投资人、创业者、产品经理、开发者、学生等等),都欢迎加入 SenseAI 的共创计划。


您可以填写下方的报名问卷,我们会在筛选后邀请您进入我们共创计划社群。SenseAI 的主理人们会在群内分享最新的海外 AI 产品和动态,同时也欢迎每一位参与共创计划的同学分享他们看到有意思的AI动态。


共创计划会以周为单位,每位参与者每周选择一款 AI 产品进行研究并写出相应的文章,每两周会组织一次集体的线上讨论或者线下的深度交流,一块研究前沿的 AI 趋势,特别是对海外 AI 市场动态的实时掌握。每四周调整一次参与成员,维持整个共创计划活跃度和高质量。



福利时间:


SenseAI 已经运营了有一段时间,相信大家可以从每篇文章开头的 Sense 思考和文章内容中感受到我们希望在海量的 AI 信息中蒸馏沉淀深思考。


欢迎进入「SenseAI 深度交流群」,提供对推文内容讨论、AI 产品探索交流、线下面基和认识新朋友的机会为保证交流质量,我们采取问卷申请制,下面二维码已作废,公众号后台回复【信息】填写新二维码。已填写问卷但未进群的朋友,也请后台回复【已填写】入群。



欢迎关注我们


关注全球 AI 前沿,走进科技创业公司,提供产业多维深思,我们是创业者/产品/投资人,这里是最有 AI-sense 的 SenseAI。

修改于
继续滑动看下一个
深思SenseAI
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存