查看原文
其他

【老万】Pika 文生视频 AI 体验

老万 老万故事会
2024-08-23
几周前,两位斯坦福大学华裔女生 Demi Guo 和 Chenlin Meng 创立的 AI 公司 Pika 引发了广泛关注。在预告片中,她们的产品表现出了惊人的从文字生成视频能力,让不少观众惊叹人人能制作好莱坞大片的时代到了。这一波热度甚至带动了 Demi Guo 父亲任董事长的公司股价大幅度上涨,搞得公司不得不声明自己和 Pika 并无任何生意和技术上的联系。
Pika 的实际能力到底如何?因为产品还没有完全开放,很多人像我一样只能依赖早期用户的转述来臆想。昨天我拿到了邀请,马上开了一个账号试用。这篇文章分享一下我的观感。
如何创建账号
Pika 支持用 Google 或 Discord 账号登录。只要你有这两家中任何一家账号就可以直接登录。
如何收费
目前是免费试用,也没有用量限制(滥用有可能被取消账号),但是有水印。
如何创建视频
可以从一段文字或一幅静图生成视频,也可以做视频转换(比如给视频中的人物换装)。
如何从文字生成视频
登录后进入 My library,在对话框输入一小段文字说明就可以开始生成视频了。视频长度限定为三秒(后续可以每次延长四秒),所以想一键生成故事片的同学们可以醒醒了。开始生成前要排队,看运气,有时马上就开工,有时要等 20 分钟(毕竟是免费产品)。一旦开工,生成一段视频大概要一分钟。

虽然排队比较烦人,还好可以同时生成多段视频:

可以控制哪些参数
在生成视频前,可以在菜单中设置一些参数来影响生成结果。比如:可以从几种预设的高宽比中选一个(横屏竖屏都支持),可以选每秒帧数(8 到 24)。

还可以选镜头移动方式和运动强度:

也可以加反向提示词(比如加入“ugly”(丑陋)可以避免视频中出现辣眼睛的形象),指定随机数种子(用同样的种子、提示和参数,可以得到相似的结果)以及结果和提示近似的程度(数值越低 AI 越能自由发挥):

如何编辑生成的视频
除了前面说的加四秒外,还提供两种编辑方式。
一是选定一个矩形区域重新生成该区域内的视频(Modify region),可以用于修改不满意的部分和给人物换装。

二是拓展画幅,比如把特写换成中景或远景。

效果如何
可能是我还没有掌握提示写作的诀窍,结果并没有预告片中那么惊艳。主要问题有两点:
  1. 不能准确理解文字提示,结果和描述常有出入;
  2. 人物动作不够自然,能一眼看出是 AI 生成的。

下面是一些示例。
示例 1
提示:A good-looking Chinese young couple kissing in a park, sunny, cinematic (一对中国俊男美女在公园接吻,晴天,电影画面)
括号内的翻译是我写文章时加的。AI 只看到英文提示词。
结果
内容是表现出来了,但对 cinematic (电影画面)好像没有理解,看上去更像电视剧。
系统对提示应该是做了过滤,以防色情暴力内容(所以大家也不要想在 Pika 上看 AI 演的小电影了)。比如我不小心把 kissing(接吻)写成 killing(杀人)之后的结果是两人对笑,killing 被直接无视了。
示例 2
提示:A handsome Chinese young man writing code in a tidy office(中国帅哥在整洁的办公室写代码)
结果
你觉得帅吗?有点像小沈阳,看不出来是在写代码,也没有表现出整洁的办公室。
同样提示和参数重试的结果:
还是类似的问题,只是这次有点简版吴彦祖的意思。
示例 3
提示:A Chinese rocker singing on stage with a guitar(中国摇滚歌手在舞台上弹吉他唱歌)
参数:运动强度从缺省的 1 改成了 3,和文本一致程度从缺省的 12 改成了最大值 25
结果
眼睛差点被闪瞎了。突然跳出来的是鬼影吗?
同样的提示和参数重试,结果更恐怖:
主唱以奇怪的马步蹲在了架子鼓上疑似行为艺术,还出现了漂浮在空中的半截人。我能把这段记忆抹去吗?
把运动强度降到 2,文本一致度降到 18,结果终于比较正常了:
可以看出来是个中国摇滚人,虽然面目略狰狞,明显不是真人。
在此基础上把视频扩为 7 秒,前后风格倒是一致的:
示例 3
来看看生成名人视频的效果。
提示:Elon Musk dressed like Santa Claus, handing out bitcoins(马一龙打扮成圣诞老人分发比特币)
参数:缺省
结果
这下巴,这手。。。一龙在韩国遇到蒙古大夫了吗?也没有表现出比特币。
同样参数重试:
老马该换牙医了!这次倒是耿直地画了比特币。
示例 4
提示:Santa writing a book on a MacBook, cozy cabin, fireplace(圣诞老人在苹果笔记本电脑上写书,舒适的小屋,壁炉)
结果:只有圣诞老人的特写,看不出来是在 MacBook  上写书。
用 Extend Canvas 拓展画幅后,出现了左手敲电脑右手写字的怪异情景。很明显 AI 把 writing a book(写书)理解成了在书上写字。
把不合理区域框起来重新生成,结果如下:
(因一篇文章只能插十段视频,不得已略去中间结果)

这次把笔记本电脑弄丢了,写字还把书转了 90 度。也许 AI 是想表现圣尼古拉斯老爷爷不识字?

总体来说,我觉得 Pika 没有预告片吹的那么神,离实用还有距离你拿到邀请了吗?你的观感如何?欢迎在留言区分享。

~~~~~~~~~~

猜你会喜欢:

~~~~~~~~~~

关注老万故事会公众号:



本公众号不开赞赏不放广告。如果喜欢这篇文章,欢迎点赞、在看、转发。谢谢大家🙏

老万谈技术26

老万谈技术 · 目录

上一篇老万】从0开始学chatGPT(十二):如何让机器人痛说革命家史下一篇【老万】英语编程?Don't 被忽悠


继续滑动看下一个
老万故事会
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存