今天,硅基流动团队推出SiliconCloud分层限速方案,并开启公测(7月24日至7月31日),以此为用户提供更优质服务与使用体验。
以下是SiliconCloud新版限速方案的三大亮点:
新方案设置了六种用量级别的分层速率,通过RPM( Requests Per Minute ,每分钟请求次数)、TPM( Tokens Per Minute ,每分钟处理Token数)两大维度对模型进行速率限制分层,不同用量级别的用户根据实际API消费金额享有不同速率权益。API用量越大,用量级别越高, RPM和TPM越高。用户级别设定:平台当前根据用户账号月度消耗金额分为6种级别(用量级别0-5)。新用户注册后默认等级为用量级别0。级别变化:在用户账户的当月消耗金额达到下一级别标准后,平台会根据用户的用量情况自动升级到下一个用量级别。级别升级是实时的,新等级生效后拥有更高的速率。如果用户在最近三个月的实际月度消耗金额都低于当前等级的最低消耗,平台将在每月1日取前三个月账户月度消耗金额的最高金额,将用户的用量级别降至对应的等级。(请在“账户管理-速率限制”中查看账户当前的用量级别与限制速率详情。)速率限制与用户的用量级别、所使用的模型类别(免费或收费)以及模型参数大小相关,与密钥(API Key) 维度无关。
新方案将免费模型的RPM从100提升至1000,当前免费模型的TPM上限高达50000,如果需要使用更高的TPM,可进一步使用当前模型的收费版本。(免费/限时免费模型列表)
收费版模型按照用量付费,最高速率随着用量级别提升而增大。同一用量级别下,不同参数大小的模型最高速率不同。新方案将收费模型的RPM从100可提升至最高10000,TPM可提升至最高500万。
对于想直接享受更高级别速率的用户,平台也提供了通过充值一步到位的升级包,详情请查看文档(https://docs.siliconflow.cn/docs/rate-limits-upgrade-package-service)。注意:为了方便用户区分部分模型的免费版本和收费版本的模型,并保障兼容性。免费版命名按照原先模型命名规则命名;收费版命名是在模型前加上 "Pro/"。
以下为新方案测试步骤:
切换域名
请将原先域名api.siliconflow.cn替换成公测域名public-beta-api.siliconflow.cn进行测试。
开始测试
- 选择模型进行测试。用户可在测试期间体验收费版模型服务。如果你想体验收费版的小参数模型(如Qwen2(7B)、GLM4(9B)等),请在免费模型名称前加"Pro/"。
- 测试完成后,如果你的业务符合预期,请切换回原域名api.siliconflow.cn。
全量上线
- 平台预计在8月1日中午12:00在api.siliconflow.cn进行全量更新。
- api.siliconflow.cn全量更新上线后,公测域名 public-beta-api.siliconflow.cn 将于8月4日12:00后失效。请务必在此之前切换回原域名,以避免服务中断。
欢迎体验新版分层限速方案,期待你的反馈。方案详情请查看:https://docs.siliconflow.cn/docs/rate-limits-overview
开发生成式AI应用,减少响应时间
就用SiliconCloud