当国内还有人说开源是智商税的时候,Meta 什么都没说,只是发布了开源标杆 Llama3.1。三种不同参数规模,8b,70b,405b。
其中 405b 已经达到了最先进的闭源模型的水平。
开源模型,简单理解就是你可以把代码下载下来,在你自己的电脑上跑。但是受限于模型参数,普通的个人电脑,一般只能跑个 2b,或者 8b的模型。405b 的参数太大,个人电脑就不行了。
开源的好处,对其他厂商来说就是可以参考/复制/微调人家的模型,对个人用户来说,就是便宜。
怎样才能体验到 Llama3.1-405b?一些厂商会自己部署这些模型,然后提供给大家使用。
在 Llama3.1出来之后,我一直在等号称推理速度最快的 Groq 上 405b 模型,但到今天上边还只有 8b和 70b。
不过很快,国产厂商 SiliconCloud 就提供了这个 405b 的模型,不需要科学上网,就可以在官网注册、实名认证,然后利用里边的参数在你自己喜欢的客户端使用了。
下边会介绍一下如何在 SiliconCloud 获取相应参数,然后在 chatbox 客户端调用 llama3.1-405b,以及我认为的国产(最强)开源模型 deepseek;利用 sider 这个浏览器插件,随时总结、解释、翻译你选中的文本。
注册 SiliconCloud,获取 api key
先使用这个链接注册 SiliconCloud (https://cloud.siliconflow.cn?referrer=clxen2ebh0007od7x40h5ep7z), 你将会获赠 2000 万 token 额度(me,too)。个人使用,几个月都用不完。
之后,到「API 密钥」页面,点击「创建新 API 密钥」
然后,创建好的密钥会直接出现在列表里。点击前边的小眼睛,就会明文展示密钥,这时候就可以把密钥复制下来
然后,我们要去「文档」里获取 base_url和模型名称,以填在其他客户端里。
这里我直接列出来后边要用的两个模型名称:
base_url:https://api.siliconflow.cn
model name: deepseek-ai/DeepSeek-V2-Chat,meta-llama/Meta-Llama-3.1-405B-Instruct
注意,如果你想用 405b,目前需要实名认证,应该也是合规要求,在这里https://cloud.siliconflow.cn/account/authentication 认证一下就行。
在chatbox 里调用各种模型,完成各种任务
chatbox 是一个流行的大模型客户端,作者是一个腾讯的程序员,当初是为了自己使用方便开发的,结果后来越来越受欢迎。
可以去这里下载相应版本的客户端。https://chatboxai.app/zh#download
安装好之后是这样的:
然后我们去「设置」里 ,找到 OpenAI API来配置上边我们拿到的参数。因为 SiliconCloud的 api 跟 OpenAI 的是兼容的,所以这里用 OpenAI api来配置。
如下图所示:
把第一个红框里的 API 密钥改成你自己刚生成的密钥。
API 域名就是我们刚才提供的 base_url:https://api.siliconflow.cn。
「模型」那里点开往下拉,选择「自定义模型」
然后在自定义模型名,那里输入meta-llama/Meta-Llama-3.1-405B-Instruct,或者deepseek-ai/DeepSeek-V2-Chat。这里是我用比较多的,想要尝试其他模型,只需要去这里找相应的 model 即可 https://docs.siliconflow.cn/reference/chat-completions-1
然后,就可以愉快地使用啦:
其他的一些使用细节,就可以自己再探索啦。
使用 sider,在浏览器中随时调用大模型
sider 是一个浏览器插件,使用起来非常方便,也是现在少有的可以使用你自己的 api key 来调用大模型的插件,毕竟这种方式他赚不到钱嘛。
有两种使用方式:
sider的好处就是定制化能力强,可以用你自己的 api key,可以自己调整弹窗的提示词。
要怎么使用 sider呢?
如果你不想倒腾网络的问题,就需要使用微软的 edge 浏览器,然后在扩展里搜索 sider,就可以安装使用了。
我们需要配置一下,使用 SiliconCloud送我们的 2000 万 token.
点击右下角「设置」,进入通用配置页,选择"OpenAI API key",然后按照下边的图配置一下就好啦。我在这里配的是deepseek-v2-chat。
大模型的技术发展好像最近有些平静,应用上也没有啥好的 best practices。但在我们看不到的地方,很多技术人和产品人都在做各种各样的探索。像 SiliconCloud 这样的公司,也把个人接触最先进大模型的门槛降到了最低。我接触到的很多人,在工作中使用大模型也越来越多。
利用 SiliconCloud 提供的免费 token,再结合 chatbox 和 sider,你就可以在工作的各个场景中无缝调用大模型,随时随地问他问题,就像一个百科全书一样陪在身边。不管未来怎样,先用起来再说。