速度与效率的飞跃：硅基流动API实战体验

有大模型原厂的API，为何还需要一个像硅基流动 Siliconflow 这样的中间Hub层？

在大模型API上再套个API壳意义在哪里呢？

我想这也是大多数没有用过siliconflow的同学最常问的问题。

用了Siliconflow之后，发现它带来的好处至少有以下三点：

1️⃣ 🚀 无需自建服务，即享高性能模型API，如Meta-Llama-3.1-405B！

2️⃣ ⏱️ 原厂API速度升级，SiliconFlow优化模型响应，快人一步！

3️⃣ 🔑 统一接入多厂家API，一个key，配置一次，效率翻倍！

针对上述三点，以下分别提供实战配置示例，供大家参考

（默认你已在硅基流动 https://siliconflow.cn/ 上注册并获得key，复现时注意测试环境及参数） 

1. 如何在Dify里添加硅基流动的embedding模型

Dify添加siliconflow时，默认只有LLM模型可以添加，想要用embedding模型怎么办？

其实，siliconflow是有embedding模型的（https://docs.siliconflow.cn/reference/createembedding-1），而且限时免费（https://siliconflow.cn/zh-cn/pricing）：

如何添加呢？siliconflow官网上有篇文章可以参考（在dify中使用 SiliconCloud API (https://docs.siliconflow.cn/docs/use-siliconcloud-in-dify），但其中没有提及embedding模型，我们照葫芦画瓢试验一下。

• 测试环境：Dify 0.6.16 ，本地PC docker部署

添加步骤如下：

Dify中点击：设置——>模型供应商

默认情况下，添加siliconflow的API之后如上图，只有LLM。

我们可以用OpenAI-API-compatible添加siliconflow的embedding模型：

配置及测试步骤如下：

• 模型名称：BAAI/bge-large-zh-v1.5

• URL: https://api.siliconflow.cn/v1/ （注意： sliconflow网站上的embedding API URL是: https://api.siliconflow.cn/v1/embeddings , 但是填这个会报错404。）

添加好之后，可以把系统embedding设置改成刚刚添加的BGE：

• 测试：上传一个xlsx后缀的excel文件，不知是不是文件本身的问题，分段时遇到如下问题（看右上角）

同一个文件另存为csv文件再上传就好了。

p.s 我刚刚准备发这篇时，发现siliconflow更新了embedding模型，有bge-m3了✌️，希望后面reranker也尽快增加啊：

---

2. Siliconflow API与原厂API速度对比

• 测试环境：Dify 0.6.14 workflow ，aliyun docker部署
• 对比模型：Deepseek-v2-Chat 同一个节点，Prompt不变，只是更改了模型，参数不变，先看对比：

对比项	A: 硅基流动Deepseek-v2-chat API	B: Deepseek-v2-Chat 原厂API	A vs B
耗时 latency	2.85s	3.93s	- 27%
total tokens	1611	814	+98%

应该是得益于硬盘缓存（https://platform.deepseek.com/api-docs/zh-cn/news/news0802/）的加持，Deepseek原厂API的token消耗比硅基流动的API少了一半（这也和缓存命中率有关）。

但硅基流动Deepseek-v2-chat API在latency耗时上，依旧有27%的速度优势。

具体选哪个，大家可以在速度与成本上综合评估取舍。不过考虑到二者目前的价格（都是1元左右/百万tokens），我当然选快的😄 

希望后续硅基也能提供类似的硬盘缓存技术加持。

二者表现截图

• 硅基流动Deepseek-v2-chat API表现：

• Deepseek-v2-Chat 原厂API表现：

---

3 Chatbox中使用siliconflow API

觉得Dify部署麻烦，平时只是想用AI提升效率的也可以使用Chatbox这个神器，官方免费下载：https://chatboxai.app/zh

Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

安装完Chatbox，准备好siliconflow的key，我们就可以用多个模型API分别创建不同领域的AI助手，也可以轻松体验最新的大模型能力。

以 Meta-Llama-3.1-405B-Instruct 为例：

打开Chatbox设置，配置如下：

• 模式：OpenAI兼容

• 名称：meta-llama/Meta-Llama-3.1-405B-Instruct

• API域名：https://api.siliconflow.cn

• API路径：*留空

• API密钥：*填你的siliconflow key

• 模型：meta-llama/Meta-Llama-3.1-405B-Instruct

保存，点击“新对话”，特定模型设置选择刚才配置的模型（你可以在角色设定里预设系统提示词）：

保存之后就可以开心的体验405B大模型了：

结合不同的模型能力，用一个siliconflow的key，你可以在chatbox里创建各种角色的对话机器人，像什么日常的社交媒体文案撰写、多语种翻译、代码辅助，都可以在一个软件里搞定！