查看原文
其他

使用 SiliconCloud,免费使用最强开源大模型 Llama3.1-405b

真知浩见 真知浩见
2024-09-14

当国内还有人说开源是智商税的时候,Meta 什么都没说,只是发布了开源标杆 Llama3.1。三种不同参数规模,8b,70b,405b。

其中 405b 已经达到了最先进的闭源模型的水平。

开源模型,简单理解就是你可以把代码下载下来,在你自己的电脑上跑。但是受限于模型参数,普通的个人电脑,一般只能跑个 2b,或者 8b的模型。405b 的参数太大,个人电脑就不行了。

开源的好处,对其他厂商来说就是可以参考/复制/微调人家的模型,对个人用户来说,就是便宜。

怎样才能体验到 Llama3.1-405b?一些厂商会自己部署这些模型,然后提供给大家使用。

在 Llama3.1出来之后,我一直在等号称推理速度最快的 Groq 上 405b 模型,但到今天上边还只有 8b和 70b。

不过很快,国产厂商 SiliconCloud 就提供了这个 405b 的模型,不需要科学上网,就可以在官网注册、实名认证,然后利用里边的参数在你自己喜欢的客户端使用了。

下边会介绍一下如何在 SiliconCloud 获取相应参数,然后在 chatbox 客户端调用 llama3.1-405b,以及我认为的国产(最强)开源模型 deepseek;利用 sider 这个浏览器插件,随时总结、解释、翻译你选中的文本。

注册 SiliconCloud,获取 api key

先使用这个链接注册 SiliconCloud (https://cloud.siliconflow.cn?referrer=clxen2ebh0007od7x40h5ep7z), 你将会获赠 2000 万 token 额度(me,too)。个人使用,几个月都用不完。

之后,到「API 密钥」页面,点击「创建新 API 密钥」

然后,创建好的密钥会直接出现在列表里。点击前边的小眼睛,就会明文展示密钥,这时候就可以把密钥复制下来

然后,我们要去「文档」里获取 base_url和模型名称,以填在其他客户端里。

这里我直接列出来后边要用的两个模型名称:

  • 1

  • 2

base_url:https://api.siliconflow.cn
model name: deepseek-ai/DeepSeek-V2-Chat,meta-llama/Meta-Llama-3.1-405B-Instruct

注意,如果你想用 405b,目前需要实名认证,应该也是合规要求,在这里https://cloud.siliconflow.cn/account/authentication 认证一下就行。

在chatbox 里调用各种模型,完成各种任务

chatbox 是一个流行的大模型客户端,作者是一个腾讯的程序员,当初是为了自己使用方便开发的,结果后来越来越受欢迎。

可以去这里下载相应版本的客户端。https://chatboxai.app/zh#download

安装好之后是这样的:


然后我们去「设置」里 ,找到 OpenAI API来配置上边我们拿到的参数。因为 SiliconCloud的 api 跟 OpenAI 的是兼容的,所以这里用 OpenAI api来配置。

如下图所示:

  • 把第一个红框里的 API 密钥改成你自己刚生成的密钥。

  • API 域名就是我们刚才提供的 base_url:https://api.siliconflow.cn。

  • 「模型」那里点开往下拉,选择「自定义模型」

  • 然后在自定义模型名,那里输入meta-llama/Meta-Llama-3.1-405B-Instruct,或者deepseek-ai/DeepSeek-V2-Chat。这里是我用比较多的,想要尝试其他模型,只需要去这里找相应的 model 即可 https://docs.siliconflow.cn/reference/chat-completions-1


然后,就可以愉快地使用啦:

其他的一些使用细节,就可以自己再探索啦。

使用 sider,在浏览器中随时调用大模型

sider 是一个浏览器插件,使用起来非常方便,也是现在少有的可以使用你自己的 api key 来调用大模型的插件,毕竟这种方式他赚不到钱嘛。

有两种使用方式:

  • 一种是在浏览器中选中文本时出来弹窗,这里可以自定义你的提示词。我设的三个是:翻译,解释,总结。


  • 一种就是在侧边栏唤起,功能更全,可以聊天、写作、翻译、提问等等


sider的好处就是定制化能力强,可以用你自己的 api key,可以自己调整弹窗的提示词。

要怎么使用 sider呢?

如果你不想倒腾网络的问题,就需要使用微软的 edge 浏览器,然后在扩展里搜索 sider,就可以安装使用了。

我们需要配置一下,使用 SiliconCloud送我们的 2000 万 token.

点击右下角「设置」,进入通用配置页,选择"OpenAI API key",然后按照下边的图配置一下就好啦。我在这里配的是deepseek-v2-chat。

大模型的技术发展好像最近有些平静,应用上也没有啥好的 best practices。但在我们看不到的地方,很多技术人和产品人都在做各种各样的探索。像 SiliconCloud 这样的公司,也把个人接触最先进大模型的门槛降到了最低。我接触到的很多人,在工作中使用大模型也越来越多。

利用 SiliconCloud 提供的免费 token,再结合 chatbox 和 sider,你就可以在工作的各个场景中无缝调用大模型,随时随地问他问题,就像一个百科全书一样陪在身边。不管未来怎样,先用起来再说。

继续滑动看下一个
真知浩见
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存