查看原文
其他

OpenAI推出新业务模式:售卖Model instance

张向前 分布式实验室 2023-11-28

OpenAI的新业务模式,卖Model instance,起价26万4千美元一年。

这个Model instance的好处是它完全归属于你,你可以按照自己的要求,对它进行有针对的微调,使它具备你需要的专业能力。可以理解为OpenAI提供通用基础脑,而客户可以把它改成专业脑。

由于基础模型的功能已经足够强大,对它进行改造的成本很低,所以企业无需自己从头训练一个大型LLM,直接在OpenAI的基础上微调就能得到自己的模型。

OpenAI悄悄启动了一套全新开发者平台,允许客户使用专用容量运行OpenAI的新型机器学习模型,包括GPT-3.5。根据用户在Twitter上亮出的早期截屏画面,OpenAI即将发布的这款产品名为Foundry,号称“专为运行更大工作负载的顶级客户而设计”。

文件指出,“Foundry能够支持大规模推理,用户可以完全控制模型配置与性能设定。”我们已经联系OpenAI以确认这条消息是否准确可靠。

如果截屏内容可信,那么在启动之后,Foundry将专门为单一客户提供“静态分配”的计算容量(可能由OpenAI的首选公有云平台Azure提供)。这样,用户就能使用OpenAI内部的模型构建和优化工具/仪表板,对特定实例开展监控。此外,Foundry还会提供一定程度的版本控制,由客户决定是否升级到更新的模型版本,并为OpenAI的新模型提供“更健壮”的微调。

Foundry还将提供服务水平承诺,例如正常运行时间和按期工程支持。这些专用计算单元要按季度或年计算租金,运行单一模型实例需要租用特定数量的计算单元(详见下图)。

可以肯定的是,这类实例不会太便宜。即使是GPT-3.5的轻量化版本,三个月期的运行费用也高达7万8千美元;一年期承诺合约的运行成本为26万4千美元。作为对照,英伟达最新一代超级计算机DGX Station的每单元运行价格为14万9千美元。


敏锐的Twitter和Reddit用户们已经发现,实例定价表中列出的文本生成模型之一具有32K的最大上下文窗口(所谓上下文窗口,是指模型在生成其他文本之前所能考虑的背景信息;上下文窗口越大,则代表模型能够「记住」之前的更多文本内容)。OpenAI的最新文本生成模型GPT-3.5具有4K最大上下文窗口,这暗示着此处的新模型很可能是大家期待已久的GPT-4——或者说3.5到4.0之间的某个过渡版本。

从微软获得数十亿美元的投资之后,OpenAI目前正背负着巨大的盈利压力。根据报道,该公司预计将在2023年赚到2亿美元。但截至目前,这家初创企业的研发投入已经砸下10亿美元。

这笔开销大部分来自计算成本。对于前沿AI模型的训练而言,瞬间就会烧掉几百万美元,后续的推理运行也不会便宜太多。根据OpenAI联合创始人兼CEO Sam Altman的介绍,OpenAI如今爆火的聊天机器人ChatGPT在处理每次会话时成本为几美分。考虑到早在去年12月,ChatGPT的用户就已经超过百万,这部分运营成本也绝对不容小觑。

在AI货币化的过程中,OpenAI最近还推出了ChatGPT的“Pro”版——ChatGPT Plus,每月起步价20美元。他们还与微软合作开发了Bing Chat,在争议声中迅速获得主流关注。根据相关消息,OpenAI未来还计划推出移动版ChatGPT应用,并将其AI语言技术引入Word、PowerPoint和Outlook等微软产品。

另外,OpenAI将继续通过微软Azure OpenAI服务(一套以企业为中心的模型服务平台)进行技术交付,并维护与GitHub合作开发的付费代码生成服务Copilot


推荐阅读:


为了方便大家交流,我们特别建了运维技术交流群,欢迎大家进群交流。

继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存