【2023.9】LLM商用API及feature快报
前言
之前曾说过我觉得2023年下半年会是商用API爆发的时点，现在截至到9月底，可以来review一下了。
国内主要商用LLM API
列举一下已经公开的主要商用LLM API服务
百度千帆 ernie
讯飞星火 spark
minimax abab5
智谱 ChatGLM，聆心智能 CharacterGLM
阿里 通义千问
百川
字节火山 Skylark
其他还有一些，不过可能大家关注就不多了。（欢迎评论区讨论）
简评
简易的搜索插件已经成为国内LLM的标配，除了火山以外全线支持。国内明显这种研发性价比高的feature上相对于国外就比较卷。
function calling能力目前仅 百度千帆 、Minimax支持
system prompt类似功能目前还仅有minimax和CharacterGLM支持。大家都不重视感觉有点奇怪。
CharacterGLM这个定位是要正面硬刚minimax主场，有戏可看了。
minimax的API功能真的多，可惜暂时还没有官方SDK
定价大多接近gpt-3.5-turbo，除了星火（被制裁了只能用别的硬件）比较贵。
商用LLM竞争简单展望
目前可以说主流玩家都已经到齐，到现在还没推出API的基座LLM炼丹团队到底能力如何已经开始被（我）怀疑。
定价上大家都比较接近，我觉得大多是瞄着gpt-3.5-turbo来定价的，不好意思比它贵太多。实际成本方面，应该是不赚钱的，全球都有人不断地感慨“为什么gpt-3.5-turbo这么便宜”。
某种意义上来说，现在就已经进入价格战前期了。
长期竞争上，如果主要feature拉不开差距，效果上也拉不开差距的竞品之间，最终都会导向价格和生态绑定竞争了。BBAT大厂可以亏钱把创业公司烧死，感觉已经可以预见竞争的惨烈。
效果到底能不能拉开差距呢？我觉得在第一梯队里大概是拉不开太多用户体感差距的。特别是很多实际使用场景还要经过上层策略的封装，最后能在客户上体现出的可感知效果差异可能就更小了。（第一梯队有哪些我也没有确信的答案，等待社区的进一步测试和认知吧。）
海外主要商用LLM API
简评一下Q3的变化：
OpenAI
0613的重大更新之后，主要是gpt-3.5-turbo微调。
期待后续大概会在Q4发布的feature
gpt-4-turbo
更长上下文支持
多模态相关
Claude
API已经可以通过AWS进行申请，可惜还是没有大量供应。
商用embedding API
以上国内LLM API一般也都提供了embedding的API，这方面大家可以留意下。
交流与合作
如果希望和我交流讨论，或参与相关的讨论群，或者建立合作，请私信联系，见 联系方式。
希望留言可以到知乎对应文章下留言。
本文于2023.9.27首发于微信公众号与知乎。
知乎链接 https://zhuanlan.zhihu.com/p/658804551