查看原文
其他

OpenAI Assistants API 的账怎么算?

李榜主 AIhackathon 2024-01-18

AI 产品榜助手 GPT 体验地址(长按复制):

gpt.aicpb.com

Assistants API 是什么?

Assistants API 能让开发人员,在自己的应用程序中轻松构建一个ChatGPT的分身,ChatGPT有的能力分身都有,消除了管理对话历史记录的要求(原来是需要开发者自己管理)。用户就可以直接开始对话了,只要这个对话的上下文长度在模型长度内,它就记得住,GPT-4 Turbo 128k 上下文窗口、GPT-3.5 Turbo 16k 上下文窗口。

Assistants API 可以添加 OpenAI 托管的工具代码解释器(Code Interpreter)跟原来ChatGPT里面的代码解释器是一样的,可以运行 Python 代码处理不同数据和格式的文件,并生成具有数据和图形图像的文件。

Assistants API 可以添加 OpenAI 托管的检索(Retrieval)工具相当于有了一个外挂的知识库,OpenAI 会自动对文档进行分块、索引和存储嵌入,用户来提问的时候,会自动进行矢量搜索,检索相关内容来回答用户问题。

对话是基础,Assistants API 不仅支持代码解释器、检索这两个内部工具(DALL-E发文时暂时不支持)还支持添加Action来使用外部工具,一个助手访问最多 128 个工具。

Action支持第三方函数调用,也支持原来开发的ChatGPT插件。譬如:调用一个函数查询实时的天气,调用自己的数据库资料等。

至此,Agent = LLM + 记忆 + 规划 + 工具使用 基本成型。个发布会就是一个 Agents 的发布会,拿自己的 Agents 做演示,告诉开发者快到碗里来。


ChatGPT 改变了哪些产品逻辑?

GPT marketplace 市场将取代 Plugin store 商店,Plugin 成为 GPT 的一个 Action,原来开发的 Plugin 是可以给 GPT 的 Action 用的。

原来 Plugin 商店的目标应该也是奔着 App Store去的,没有跑通,现在改成了GPT marketplace,官网没有用GPT Store这个词[2]。

改成GPT后,每个GPT的能力比插件增强了,因为它本身就是ChatGPT的分身。

改成GPT后,用户对模型能力的预期降低了,原来用户的认知是万能的ChatGPT 加上插件更万能了。其实插件还得自己选,而且还只能选 3个,还不知道怎么选,自己官方的插件DALL-E、浏览器、代码解释器也只能一个一个用,不能混着用。这次发布会后GPT-4官方的3个插件就默认可以一起用了。

用户对模型能力预期降低了的原因是,创建GPTs的时候给每个分身都定义了一个使用场景,而不是万能的。

这些分身定义的场景给了用户一个理由去使用ChatGPT,加上后续对GPT的收益分成(还没看到细则),每个GPT的创建者都在为ChatGPT打工,对拉升 DAU 应该是很有帮助。ChatGPT  web 10月独立访客 2.45亿,APP 10 月 MAU 5000万,要成为App Store 一样的存在,至少得干出 10 亿 MAU。


Assistants API 账怎么算?

对话、代码解释器、检索 全部都要收费,对话包括暂未支持但将会支持的DALL-E。

对话按照模型 token 收费

创建一个助理后,每个用户跟助理发起对话就会创建一个线程Threads,线程会存储助理跟用户对话的历史消息,用户回复消息的时候,就会把消息存到线程里去。但是在历史消息上下文长度,超过模型支持长度的时候,API 就会截断它,表现出来的结果就是模型会忘记你前面说过的话。

Assistants API 在对话 token 计算上没有任何折扣,存储在线程里的历史消息 ,每次问答都会重复计算 token 收费。

GPT-4 Turbo 费用上 以 gpt-1-1106-preview 跟 gpt-4-32k 相比,长度增加 4 倍,价格 Input 降低 6 倍,Output降低4倍。


代码解释器,按照会话(session)收费。

$0.03 / 会话 / 小时

用户每新发起一次聊天算一次会话,如果你的助手在两个不同的线程中同时调用代码解释器,那么会创建两个代码解释器会话,你要支付2倍的钱, 2 * $0.03 = 0.06 美元。

默认情况下,每个会话的活动时间为一小时,这意味着如果你的用户在同一线程中向代码解释器发出指令在一小时内的话,你只需支付一次费用。

C.AI是目前 AI 产品里人均使用时长最长的应用,10月是32分38秒,摇摇领先ChatGPT的7分56秒,所以会话的这个活动时间还是够的。

基本上是一个DAU(日活跃用户)需要支付0.03美元,但是有些应用用户不一定是一小时内用完今天就不用了,是每天会打开多次,那么其实是HAU(每小时活跃用户)需要支付0.03美元,也就是说 1 小时内用户贡献的价值要高于0.03美元,账才算得过来。


知识库,按照存储收费

$0.2 / GB / 助理 / 天

如果你的应用程序存储一天 1GB 的文件,并将其传递给两个助理(assistant)去检索(Retrieval)(例如,面向A类客户的助理 #1 和 面向B类客户的助理 #2),你会被收两次存储费(storage fee)2 * $0.2 /GB /天 。

这个费用跟有多少用户使用了你的助手无关,给 0 个用户使用,跟给100万个用户使用是一样的,只按照存储收费。

目前知识库有上限,每个助手最多可以附加 20 个文件,每个文件最多 512 MB,即每个助手最多20*512MB =10G。此外,OpenAI账号里的一个组织上传的所有文件的大小不应超过 100GB。

以UTF-8编码为例,英文字符大概占用1个字节,平均每个英文单词5个字节加一个空格,即6个字符,汉字可能占用3到4个字节。

如果全部存储的是英文单词:10GB = 10 * 1024 * 1024 * 1024字节/6字节/单词 17.9亿英文单词。

如果存储的是汉字:10GB = 10 * 1024 * 1024 * 1024字节 / 3字节/汉字 ≈ 35亿个汉字。

如果按照上限你给一个助手存储了10GB的文件,那么每个月你要支付:10GB * $0.2 / GB / 助理 / 天 * 30天 * 1 助理  = 60 美金 / 月。

官方文档与博客是金库,本文参考多篇官方文章,见文末。

公众号号后台,发送关键词 “微信” 进 AI 交流群。


AI产品榜助手,在公众号实现了类似 GPTs的效果,外挂的数据是一样的,体验对比看看效果,欢迎反馈 。


AI产品榜

AI 产品榜 · 好评如潮 · 联名发布邀请
AI 产品榜|10 月共 29 个重要榜单,含 Web 与 APP
AI 产品榜(2023 年 9 月 )全球 · 国内 · 出海

每人都能讲 5 分钟 AI 干货 
新产品如何力压 GPT-4v 跻身 Product Hunt 前 3 名

AI 产品榜官网:aicpb.com

对你没猜错 AI产品榜 首字母.com

官网可访问 AI 产品榜 50 + 榜单数据表格,后续月份榜单也会在这个文档更新,记住就行。




李秉宇

亿级用户 AI产品经理
关注公众号 进AI交流群
跟一群AI投资人、AI创业者、大厂产品经理、大厂技术 一起交流 AI产品和数据



参考资料
[1]https://help.openai.com/en/articles/8550641-assistants-api
[2]https://platform.openai.com/docs/actions
[3]https://platform.openai.com/docs/assistants/how-it-works
[4]https://platform.openai.com/docs/assistants/tools
[5]https://openai.com/pricing
继续滑动看下一个

OpenAI Assistants API 的账怎么算?

李榜主 AIhackathon
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存