2024Q1商用LLM API进展简评【2024.4 W1】

0、前言

本期已经是“商用LLM API进展扫描”系列的第3篇了，前序文章：

本期主要讨论从2024.2.1-2024.4.5的商用LLM API的进展，以实际开放API的能力为准。由于国内的不少玩家目前并不活跃，所以本次会忽略一些玩家。

本系列的目的是为了让已经不关注商用LLM API进展的人能够了解目前进展。在我看来商用LLM API生态的进展对于GenAI生态来说是很重要的事情，而这目前是很多人所忽略的。

从本期开始，会把VL模型和语音相关的模型纳入汇总范围。

1、总评

2024年Q1的商用LLM API进展可谓争奇斗艳，尤其是海外，各家都有重量级的新模型推出。

本系列之前的文章并不涉及模型能力的评价，更多是从API提供的功能来评价的。但我逐渐发现很多人对于这方面的关注太少，所以面对目前的各种厂家API，连推荐尝试的顺序都没有头绪。所以本节会给一个我个人目前的主观分级：

海外第一梯队：

• OpenAI的GPT-4系列

• Anthropic的Claude 3 Opus

• Google的Gemini Pro 1.5

• Mistral的Mistral Large

国内第一梯队：

第一梯队的效果已经和GPT-4有可比较性了。

• 智谱的GLM-4

• 阿里巴巴的qwen-max系列

• 百度的ERNIE-4.0（ERNIE-4.0系列最近已经不活跃）

国内近期活跃的玩家：

• Minimax的abab6

• Moonshot的moonshot-v1

• 阶跃星辰的Step-1（Step-2尚未开放）

• 字节的Skylark2（信息不足）

• 讯飞的星火 3.5

• 百川智能的Baichuan2/3

• 零一万物的yi-34b-chat

• DeepSeek

超长上下文（>500k token）赛道：

该赛道的各家起步都是至少1M token，但目前都没有大量开放使用，不知道谁会是第一家开放的。

• Google 的 Gemini 1.5 Pro（尚未公开 long context 的API）

• Anthropic 的 Claude 3（尚未公开 long context 的API）

• Moonshot （尚未公开 long context 的API）

2、海外第一梯队

目前即使排除OpenAI，海外第一梯队生态的综合力量也是强于国内的，所以本文首先介绍海外玩家。

2.1、OpenAI

https://platform.openai.com/docs/models

https://platform.openai.com/docs/api-reference/

OpenAI在2月之后没有明显的更新，仍然是1月发布的：gpt-4-0125-preview和gpt-3.5-turbo-0125。

API特性简述：

• 模型梯队：gpt-3.5-turbo、gpt-4-turbo

• VL模型：gpt-4-vision

• 语音识别模型：whisper-1；语音合成模型：tts-1、tts-1-hd。

• Function calling、system prompt、json mode、logit_bias、logprobs

• gpt-4-turbo是128k context，gpt-3.5-turbo是16k context

• 微调API：提供gpt-3.5-turbo的微调

• Assistants API  https://platform.openai.com/docs/api-reference/assistants

传闻中的GPT-4.5仍然难产，更别说GPT-5。

2.2、Anthropic

https://docs.anthropic.com/claude/reference/messages_post

https://www.anthropic.com/news/claude-3-family

Anthropic在3月发布的Claude 3系列非常亮眼，无论是Claude 3 Opus疑似已经略微超过GPT-4的表现，以及Haiku、Sonnet的不错性价比，再加上全线模型未来都会支持1M token context，而且API也已经敞开可用。让人明显改观。

API特性简述：

• 模型梯队：claude-3-haiku、claude-3-sonnet、claude-3-opus

• VL模型：claude-3-sonnet、claude-3-opus支持图像输入

• Function calling、system prompt、（通过function calling模拟json mode）

• claude-3系列目前提供200k context，输出最大4k，未来会扩展到1M context

最小规模的claude-3-haiku有明显为简单任务进行特化，我对此评价很高。

2.3、Google

https://ai.google.dev/models/gemini

Google自从Gemini 1.0 Pro发布之后，终于感觉是上道了。不过Gemini Ultra迟迟没有公开。

API特性简述：

• 模型梯队：gemini-1.0-pro、gemini-1.5-pro（preview中）

• VL模型：gemini-1.0-pro-vision

• Function calling

• gemini-1.0-pro提供30k+2k输出 context、gemini-1.5-pro提供1M+8k输出 context

• 微调API：提供gemini-1.0-pro的微调

• 知识库API：Corpus https://ai.google.dev/api/rest/v1beta/corpora

Google的Gemini 1.5 Pro是全球最早发布1M context能力的厂家之一。

从Gemini 1.0开始，Google的LLM发布速度明显变快了，不过Gemini Ultra发布难产的阴霾仍然存在。

2.4、Mistral

https://docs.mistral.ai/api/

Mistral凭借着SMoE模型的开源，以及Mistral Large模型，成功进入第一梯队。

API特性简述：

• 模型梯队：mistral-small、mistral-medium、mistral-large

• Function calling https://docs.mistral.ai/guides/function-calling/

3、国内第一梯队

3.1、智谱 GLM

https://open.bigmodel.cn/dev/api#language

1月发布的GLM-4是目前国内比较接近于GPT-4能力的模型了，并且对于OpenAI在文本模态各方面的跟进是目前国内最全面和最快的。

API特性简述：

• 模型梯队：GLM-3-Turbo、GLM-4

• VL模型：GLM-4V

• Function calling、RAG、web search插件、System prompt

• GLM-4支持128k context，输出4k，GLM-3-Turbo也是128k context

3.2、阿里巴巴 通义千问

https://help.aliyun.com/zh/dashscope/developer-reference/api-details

阿里的qwen系列的开源模型是国内目前最活跃的，而且各方对其开源模型的效果都比较认可，qwen-72B是国内开源模型中唯一获得OpenAI对标认可的模型。qwen的闭源模型也是很活跃的。

API特性简述：

• 模型梯队：qwen-turbo、qwen-plus、qwen-max

• VL模型：qwen-vl-plus、qwen-vl-max

• 语音识别模型：qwen-audio-turbo

• Function calling、支持实时搜索，json mode，system prompt

• 默认是6k+1.5k输出 context，并提供30-32k左右的长上下文特化版本。

• 微调API：提供qwen-turbo和一些开源模型的微调

3.3、百度 ERNIE

https://cloud.baidu.com/doc/WENXINWORKSHOP/s/clntwmv7t

自从百度在2023年10月发布了ERNIE 4.0之后，是国内最早宣称对标GPT4的，就再无大的动静。从文档上来看还有新的ERNIE Speed系列模型推出，也实现了128k context，但宣传上再无大的动静。让人感觉已经在逐步掉队。

API特性简述：

• 模型梯队：ERNIE 3.5、ERNIE 4.0、ERNIE Speed、ERNIE Lite、ERNIE Tiny等，定位上感觉有些混乱。

• ERNIE 4.0支持：function calling，system prompt，支持实时搜索（带citation），json mode。

• ERNIE 4.0支持5k+2k输出 context，ERNIE Speed-128k特化版支持128k context

• 微调API：提供ERNIE-Speed、ERNIE-Lite、ERNIE-Tiny系列和一些开源模型的微调

4、国内剩余的活跃的玩家

4.1、Minimax abab

https://api.minimax.chat/document/guides/chat-model/pro/api?id=6569c85948bc7b684b30377e

Minimax在1.16号刚发布了abab6

• 模型梯队：abab5.5s-chat、abab5.5-chat、abab6-chat

• 语音合成：T2A、T2A Pro、T2A Large、T2A Stream

• system prompt，角色扮演的细节指定，function calling，支持实时搜索，json mode，知识库检索、raw_glyph 输出格式控制。

• abab5.5s-chat支持8k context，abab5.5-chat支持16k context，abab6-chat支持32k context

• 类似OpenAI的Assistants API

• 微调API：似乎只支持abab5.5s-chat

Minimax是从特化角色扮演类需求切入的。

4.2、Moonshot

https://platform.moonshot.cn/docs

Moonshot在10月首发，内测了很久后终于在2024.2公开了API。在3月发布了1M context的chatbot内测，没有发布到API的时间消息。

• 模型梯队：v1

• 支持system prompt和文件RAG

4.3、字节跳动 Skylark

https://www.volcengine.com/docs/82379/1133189

字节在基座LLM上一直都没有什么宣传，不过在产品方面还是比较活跃的。

• 模型梯队：Skylark2-lite、Skylark2-pro-turbo、Skylark2-pro、Skylark2-pro-character。

• Skylark2-pro有32k context特化版本，其他一般是4k-8k。

• 火山引擎上有独立的语音合成和语音识别服务。https://www.volcengine.com/docs/6561/0

• 微调API：skylark lite/plus/pro

Skylark系列各模型的效果很少看到有人测试，具体不详。

4.4、讯飞 星火

https://www.xfyun.cn/doc/spark/Web.html

距离本系列上期更新没有变化。

讯飞在1.30发布了V3.5版本。

• 模型梯队，V1.5、V3.0、V3.5，但价格上V3.0-V3.5定价是一样的。

• VL模型：疑似V3.0及以后的模型都支持图像输入。

• V2.0-V3.5：8k context window，支持一些固定种类的实时信息插件

• V3.0开始支持function calling（但官方文档建议在3.5版本上使用function calling）

• V3.5支持system prompt

• 微调API：V1.5和V3.0

V2.0版本看起来已经从模型梯队中剔除，V3.0版本应该也会被废弃。

4.5、阶跃星辰

https://platform.stepfun.com/docs/Chat/chat-completion-create

阶跃星辰之前一直蛰伏，直到2024年3月才开始公开宣传。Step1对标超过gpt-3.5-turbo

• 模型梯队：step-1-200k

• VL模型：Step-1V（尚未接入API）

• 200k context

4.6、百川智能 Baichuan

https://platform.baichuan-ai.com/docs/api

距离本系列上期更新没有变化。

百川智能在1.29发布了Baichuan3，但截至目前没看到Baichuan3的API放出。百川没有开放对个人的API。

• 模型梯队：Baichuan2-Turbo、Baichuan2-53B。长上下文特化版本Baichuan2-Turbo-192k

• 支持实时搜索，知识库检索（带citation）

• Baichuan2-Turbo的context window能力语焉不详

• 通过特化的Baichuan-character-*模型支持角色扮演

百川目前似乎已经进入蛰伏状态，再加上API方面没有敞开，在逐渐从API用户的视野中消失。

4.7、零一万物 Yi

https://platform.lingyiwanwu.com/

零一万物在2024年3月才开放API。

• 模型梯队：yi-34b-chat、yi-34b-chat-200k

• VL模型：yi-vl-plus

4.8、幻方 DeepSeek

https://platform.deepseek.com/docs

距离本系列上期更新没有变化。

• 模型梯队：deepseek-chat

• 16k context

5、功能维度总结

5.1、Function Calling

Function calling虽然可以用prompt进行模拟，但考虑到各种情况结果的处理和目前应用开发者的普遍能力情况，我建议应用开发者还是使用支持function calling的模型或至少支持json mode输出的模型。

目前来看，全球范围内第一梯队的各家都已经标配该功能，该功能的必要性已经是共识。

5.2、Long Context

足够大的context window是不少场景的刚需，如果只有2-4k context的LLM，不少任务要做的非常复杂甚至无法实现。

从各家情况来看，实现至少100k context的能力是未来留在第一梯队的特征之一。

有一些玩家已经开启了超长context能力的竞争（>1M token），这方面的应用价值和成本还有待观察。

5.3、多步推理和决策能力的改进

目前在各家LLM供应商侧还看不到任何征兆。LLM API之上的Agent框架中，也没有任何有希望落地的方案。

总体而言就是还不要指望。

5.4、追上GPT4成为第一梯队的标准

目前来看，想要能够保持在第一梯队中，至少要实现在效果上接近GPT4目前的能力。

6、本期总结

对比上一篇，已经有一些供应商已经被我列入不在活跃的范围。虽然旧玩家在逐步退出，但仍然有令人激动的新玩家带着它们的优秀作品入场。

不过整个生态还并没有成熟，我一直强调的function calling功能，直到本次整理才算是大家基本补齐。

突然会有这么多玩家开始打1M token context的牌是让我有些意外的，不过这条线离使用还有一些问题需要解决。

Sam Altman过去吹过的牛已经足够多了，从现在开始已经可以说不能轻信Altman了，我们怀念Ilya还在发声的日子。GPT-4.5的难产也说明了OpenAI并没有我们幻想的那么强。

不知道LLAMA3会从哪个方面进行突破，让我很好奇。

本期没有做太多展望性的讨论，因为这计划在另外的文章中进行，本文只是更新信息。

交流与合作

如果希望和我交流讨论，或参与相关的讨论群，或者建立合作，请私信联系，见 联系方式。

希望留言可以到知乎对应文章下留言。

本文于2024.4.6首发于微信公众号与知乎。

知乎链接 https://zhuanlan.zhihu.com/p/690945294