查看原文
其他

Midjourney 迎来最强对手,种子轮融资大佬云集,测试版让马斯克一「键」穿越

探索AI创新应用的 机器之能
2024-09-05

机器之能报道

编辑:SIA


一直以来,Midjourney  稳坐 AIGC 文生图的王座,少有威胁,直到这家公司的出现。


8 月 23 日,生成式人工智能创业公司 Ideogram AI 正式官宣:「我们正在开发最先进的人工智能工具,使创意表达变得更容易、更有趣、更高效。」官网写道。


团队核心成员也是谷歌大脑 Imagen 团队主要成员, Ideogram AI 也被认为试图将 Imagen 发扬光大:

Mohammad Norouzi(CEO )、Jonathan Ho (联合创始人)、 William Chan 和 Chitwan Saharia 都是谷歌文本至图像 AI 模型 Imagen 的核心作者,相关论文曾入围 NeurIPS 2022 Outstanding paper 。
Imagen 使用 Transformer 语言模型将输入的文本转换成一个嵌入式向量的序列。然后,连续的三个扩散模型( diffusion model )会将这些嵌入式的向量转换成 1024x1024 像素的图片。
由于概念上简单且易于训练,还能产生惊人的强大效果,Imagen 不仅重塑了大家对扩散模型的认知,也开辟出一条 DALL-E 2 以外的文生图新范式。
后来,Meta 宣布其文本视频 AI 模型 Make-A-Video 之后,谷歌又发布了视频模型 Imagen Video(看看,名字都差不多),基于级联视频扩散模型来生成高清视频
Imagen Video 继承了此前 Imagen 文本生成图像系统的准确描绘文字的功能,以此为基础,仅靠简单描述产生各种创意动画。

官网显示的当前团队成员。


「我们的创始团队他们曾在谷歌大脑、UC 伯克利分校、卡内基梅隆大学和多伦多大学领导过变革性人工智能项目。」官网显示。

Mohammad Norouzi 创业之前在谷歌大脑工作了 7 年,在谷歌的最后级别是高级研究科学家,工作重点是生成模型。Ideogram AI 在人工智能方面的基础工作积累当中,他的涉猎范围最广,包括 ImagenImagen Video 、用于语音合成的 WaveGrad 神经机器翻译、用于学习视觉表示的对比学习等。合作的团队成员也最多。
联合创始人 Jonathan Ho ,UC 伯克利博士毕业,在扩散模型方面做了非常重要的工作,以至于他的离开被业内人士视为谷歌的重大损失。


2022 年 4 月,谷歌提出了视频扩散模型(Video Diffusion Models),首次报告了扩散模型根据文本生成视频的结果(效果不俗)。Mohammad Norouzi 、Jonathan Ho 正是文章的主要作者。
Jonathan Ho 也是扩散模型奠基作品之一、提出去噪扩散模型 Denoising Diffusion Probabilistic Models  一作。(有趣的是,合著者之一 Pieter Abbeel 也是这家公司的投资人)。
Chitwan Saharia  在谷歌工作时,主要负责领导 image-to-image 扩散模型的工作。除了扩散模型方面的工作,Willian chan 在谷歌工作时从事过神经语音识别研究,与 Mohammad Norouzi 合作研究用于语音合成的 WaveGrad 。
或许是因为谷歌囿于安全、伦理方面的顾虑,需要再做进一步的规范,来选择是否开源 Imagen 和 Imagen Video ,这些中坚力量决定离开创业。
「我们正在突破人工智能的极限,重点关注创造力以及信任和安全的高标准。」官宣最后写道。

官网截图


当天,公司还宣布已筹集由 a16z 和 Index Ventures 领投的总计 1650 万美元的种子融资。几位如雷贯耳的行业中坚力量也参与了本轮投资。

例如,Node.js 之父 Ryan Dahl 、Uber 首席科学家 Raquel Urtasun、Jeff Dean、Andrej Karpathy、 Pieter Abbeel 、GitHub 创始人 Tom Preston-Werner 。
同时,公司也宣布迎来 v0.1 的公开测试版。我们也简单体验了一下。目前仅提供文字生成图片的服务,操作很简单,仅需输入你的需求,然后选择生成图像的风格和比例即可。
系统理解能力还是不错的,特别是对图片中需要生成的文字的理解。缺点是响应速度比较慢,还不能理解中文指令,构图的空间理解也有待提升。

操作页面


「Ponyo diving in the milk with dorphin 」,AI 似乎无法理解命令里的 「milk」,而是按照自己的理解(sea)给出了画面。



我们换了一个输入:「 Elon Musk take hands with Lisa (blackpink )in a Tesla car,(  cinematic )」

基本正确。只是两个人的脸蛋都有点问题,这是 Lisa?


让马斯克穿越,尝试一下汉服风格,结果还真有点大侠的感觉。


「 Elon Musk with long hair in chinese traditional clothing, photo



「 Blackpink Jennie but very fat, photo。」不错,原来长胖了后大概是这个样子。


再看看一些推特网友的使用结果。即使在生成的图片里还需要生成一些文字,系统也可以做到。


例如,「An adorable minion holding a sign that says 『It's over, MidJourney』, spelled exactly, 3d render, typography」

推友表示,虽然系统并不总是能够正确拼写,但成功率还是不错的。

A cute fluffy pikachu standing on a big fluffy moon, holding a neon sign says 『to the moon』 , 3d render」


最近上映的电影中,《芭比》和《奥本海默》都比较引发关注,推友要求生成有关「巴本海默(barbenheimer)」的电影画报设计,风格上参考芭比和核武器。效果如下。

虽然这些电影信息很可能出现在训练截止日期之后,但系统还是很好地处理了这个合成词。另外,老问题,人物的脸还不够好。

「Word  『surreal』spelled and rendered in a Dali-style surreal painting, typography」

「 a melting snowman in a volcano 」


Word  『NVIDIA 』rendered in GPU chip circuit typography, cyperpunk, sci-fi



beautiful girl in Dali's painting, with a caption『Stanford』, typography 



一只时髦的布娃娃猫,戴着古驰太阳镜,举着一个写着『周日快乐的牌子,黑色背景,海报



场景中有 4 个物体。一个红色的金字塔位于一个蓝色的立方体上面。一个黄色球体位于这个蓝色立方体的下方。一个大理石六边形位于金字塔的左边,蓝色立方体的顶部。


看来,系统目前对构图和空间的理解还不到位。



其他首页上的作品展示。



食用链接:https://ideogram.ai/


如何快速掌握大模型技术与实践?

机器之心主办的「Llama 2大模型算法与应用实践」论坛,拆解以 Llama 2 为代表的大模型算法和应用,帮助你系统学习大模型算法理论,并上手搭建一个专属大模型,在实践中巩固学习成果。

你将了解:大模型技术细节、行业落地案例、多模态改造、量化及低成本微调……

想要参加但还在犹豫?机器之心限时开放「拼团」模式,让更多开发者顺利组团,享受优惠价格。赶快扫描下图二维码报名加入!

© THE END 
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
继续滑动看下一个
机器之能
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存