Pika 1.0 正式版发布,五大功能逐帧分析
这个11月AI视频领域真是卷的不行,在继runway发布了他们的局部动画笔刷,Stability AI 开源了他们的AI视频模型后,另一边的Pika终于发布了他们的视频编辑器,并同时公布了他们获得了5000W美元的投资。
一篇关于Pika的福布斯的报道说明,pika的联合创始人是两位斯坦福的计算机博士:CEO Demi Guo 和 CTO Chenlin Meng 。挺难得的这次的明星创业团队是两位华人女性,希望Pika可以越来越好。
从小就渴望成为一名动画师的 Chenlin Meng 表示 Pika 的目标并不是为专业人士量身定制的,而是为了像他们这样更普通的人群,也能通过AI有视频制作的能力。目前的Pika还是免费,不过未来会推出订阅付费制。
回到正题,这次的Pika1.0发布了哪些功能?我们先来看他们的宣传片:
高质量文生视频
pika之前早就预告了他们的高质量文生视频,在不久前runway也升级了他们的视频质量。但是目前就pika的宣传片来看,pika的生成质量远高于runway,文生视频其实最大的问题在于动画生成的清晰和连贯性,在之前runway的生成里,只能在微小的动作上保证视频的稳定性,一旦动作幅度增加就会产生不同程度的变形,但是目前pika宣传片上展示了十分连贯的动画。
文生视频另外一个问题是语义理解的问题,目前的语义理解能力非常有限。但是Pika上展示了很优秀的语义理解能力,可以直接输入文字来生成不同内容和不同风格的AI视频。
图生视频
图生视频这里没有展示太多,只是提供了一个最后的晚餐图片生成视频的案例。不过之前pika的图生视频就支持镜头控制,这个功能应该也会延续。
视频生视频
这pika推出的视频生成视频也很惊艳,虽然runway和SD开源都有视频生成视频的功能,但是pika的视频生成视频质量效果上比runway强,比SD更简单。这里展示的是一个骑马的黑白原视频,通过pika生成了各种风格的高质量视频动画。
局部修改视频内容
视频领域的inpainting。之前runway发布了局部动画笔刷,可以让静态图片的局部动起来。这次pika更新的功能更加强大,可以直接修改视频中的局部内容。
修改视频尺寸
这个就是视频领域的outpainting了。这两个虽然在AI绘画里早就有了,但是目前pika还是第一个把它用在视频领域的工具。