【全网最细】从大语言模型到知识库、微信机器人的全本地部署教程，手把手教程，全程白嫖0付费，断网可用的丝滑体验！

hi~好久不见，今天为大家带来的是一篇全本地部署的教程。

从大语言模型、到知识库工作流平台、到微信机器人项目，全部本地部署并且串联起来，使你的微信机器人可以使用本地的大模型和知识库进行回复。

不谦虚的说，这应该是全网最详细的手把手教程。

我敢这么说，是因为在我自己部署的时候，遇到了几个问题，几乎翻遍了线上的所有教程，多是炫技，看似教学，实则引流，皮毛一堆，而没有一个讲关键点如何处理的。

本篇教程经过多次验证，大家可放心使用，如果遇到问题可在评论区反馈。

本篇文档较长，完整操作完成大约需要一个半小时，建议先点个关注或收藏，防止丢失

我们需要进行部署的有以下三大部分

1、本地部署大语言模型：Ollama+Qwen2:0.5b

2、本地部署知识库工具：FastGPT+OneAPI

3、本地微信机器人部署与接入：HOOK或COW API接入

---

一、部署大语言模型

①、下载并安装Ollama

1、点击进入https://ollama.com/download，根据你的电脑系统，下载Ollama

2、下载完成后，双击打开，点击“Install”

3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成

http://127.0.0.1:11434/

②、下载 qwen2:0.5b 模型（0.5b是为了方便测试，几乎任何电脑都可以跑起来，建议先试用这个模型。全部跑通后可以更换下载更大的模型）

1、

如果你是windows电脑，

• 点击win+R

• 输入cmd，点击回车

如果你是Mac电脑，

• 按下 Command（⌘）+ Space 键打开Spotlight搜索。

• 输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。

2、复制以下命令行，粘贴进入，点击回车：

ollama run qwen2:0.5b

3、回车后，会开始自动下载，等待完成

（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）

4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

③、安装Docker Desktop

1、点击去下载，根据你的系统进行选择。我是Windows系统，以这个为例

https://docs.docker.com/desktop/install/windows-install/

2、下载后，双击下载项目，出现下图，点击ok，开始加载文件。

3、点击“close and restart”重启电脑

4、重启后，点击：“Accept”

5、选择第二个即可，点击"Finish"

6、然后会进入Docker Desktop。此处完成。

本地语言模型部署完成，继续。

二、部署本地知识库：FastGPT+OneAPI

①、部署项目

1、在桌面 按住“shift”+鼠标右键，选择“在此处打开Powershell窗口”

2、在窗口中一行一行输入并回车：

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

3、等待上方命令执行完成，下载完成之后。不要关掉窗口

回到桌面，打开FastGPT文件夹，你会看到有两个文件

右键docker-compose.yml文件，选择打开方式-记事本打开

⚠️注意：这一步非常关键！

然后查找这一行：image: ghcr.io/songquanpeng/one-api:

把后缀改成v0.6.7

image: ghcr.io/songquanpeng/one-api:v0.6.7

改完之后保存关掉记事本。

回到命令行窗口中，继续在窗口中一行一行输入并回车：

# 启动容器
docker-compose up -d
# 等待10s，OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneap
docker restart oneapi

4、等待全部执行完成。命令窗口先不关

②、配置OneAPI

在浏览器中输入：http://localhost:3001

进入登录页，账号 root 密码 123456，点击登录.

2、点击【渠道】-点击【添加新的渠道】

3、类型选择Ollama，

名称：qwen2

模型：qwen2:0.5b

秘钥：sk-sky

代理：http://host.docker.internal:11434

4、点击提交，然后回到“渠道”会发现有了qwen2的一列。点击“测试” 如果弹出，测试成功，说明大模型调通了。

4、点击【令牌】  -  【添加新令牌】

  6、名称随意，时间设为永不过期、额度设为无限额度。点击【提交】

  7、点击【令牌】，会看到自己设置的。点击复制即可复制key。

  五、配置FastGPT

1、回到FastGPT文件夹里，依旧记事本打开“docker-compose.yml”文件，然后查找到 OPENAI_BASE_URL

Base url用这个：http://host.docker.internal:3001/v1

key：直接粘贴进去然后保存即可。

2、在打开config.json

根据图示修改完成，然后把下边的数值先改成1500左右。

3、回到命令窗口，在命令窗口中输入：

docker compose down

等待执行完成

4、在命令窗口中输入：

docker compose up -d

等待执行完成

在浏览器上输入：http://localhost:3000

账号root 密码1234，点击进入

设置好，别忘了点确定。

如果对话框测试有回复，那就是成功接入。

5、发布API，看图进行操作，然后创建一个key。

三、本地COW或Hook机器人

以下两个项目，COW和HOOK可任选其一，建议先选择COW跑通。

①COW教程

注意：本教程完成后，程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行，也就是电脑不能关。

以下教程以windows10系统为例

mac系统步骤也是一样，只是打开命令符的命令些许不同，直接把命令扔给大模型，转换成mac的命令就好了

安装环境

1、点击电脑“系统”，直接输入“cmd”，点击回车，打开命令窗口

2、在命令窗口中，粘贴入以下代码，确认是否有python

python --version

3、粘贴入以下代码，确认是否有pip

pip --version

4、两步命令输入完，核对一下

• 如果有的话，会如上图一样，分别显示出版本号。那么可以跳过“安装环境这一步，直接到“二、部署项目””

• 如果没有的话，会如下图所示，那么需要安装下边的步骤，一步一步安装。

5、先进行python的安装，我帮你把python的安装包已经下载好了，直接点击下载：

暂时无法在飞书文档外展示此内容，公众号回复“COW”获取下载地址即可

5.1  python安装步骤：

5.2 关闭窗口，再次运行那两行命令 会发现已经有了。

三、部署项目

6、下载COW机器人项目，也给你准备好了，直接下载，然后解压缩。

暂时无法在飞书文档外展示此内容

7、解压后，打开COW文件夹，

8、在空白处，shift+鼠标右键，点击“在此处打开Powershell窗口”

9、在Powershell窗口中，粘贴进入：

pip install -r requirements.txt

10、等待执行完成后，继续粘贴：

pip install -r requirements-optional.txt

12、上边的都执行完成后，关闭窗口。在当前目录下，找到config-template.json文件。如下图：

13、新生成的便是配置文件，右键-- 使用记事本 打开这个文件，我画红框的地方是需要修改的地方。

* 因为这个地方对格式和符合要求比较严格，如果是小白，建议你直接复制我下方的配置。

14、

• 删除新文件里的所有代码。

• 复制下边的代码，粘贴到文件里。

• 找到第4行，把fastgpt生成的key，粘贴到双引号里。

• 这也是你唯一需要修改的地方。修改完之后，点击保存，关闭文件。

{
"channel_type": "wx",   
"model": "qwen",
"open_ai_api_key": "fastgpt生成的key",
"open_ai_api_base": "http://localhost:3000/api/v1/chat/completions",
"text_to_image": "dall-e-3",
"voice_to_text": "openai",
"text_to_voice": "openai",
"proxy": "",
"hot_reload": true,
"single_chat_prefix": [""],
"single_chat_reply_prefix": "",
"group_chat_prefix": ["@bot"], 
"group_name_white_list": ["ALL_GROUP"],
"concurrency_in_session": 1,
"group_welcome_msg": "",
"speech_recognition": true,
"group_speech_recognition": false,
"voice_reply_voice": false,
"conversation_max_tokens": 2000,
"expires_in_seconds": 3600,
"character_desc": "",
"temperature": 0.5,
"subscribe_msg": "",
"use_linkai": false,
"linkai_api_key": "",
"linkai_app_code": ""
}

15、保存上述文件，然后在当前文件下，找到plugins/godcmd文件夹，复制config.json.template重命名为 config.json

16、双击config.json，进入后，设置下你的password和admin_users

可以设置为和我一样的，后边再改，点击保存后关闭。

17、重新回到chatgpt-on-wechat/这个文件路径下，空白处右键，打开Powershell里复制粘贴进入：

python app.py

然后将会弹出二维码，扫码登录即可。

18、注意：

（1）程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行。

（2）如果你发现突然不管用了，你可以点击一下窗口，然后点一下空格。因为在选中状态下，powershell窗口是不继续执行的。

（3）其他操作与服务器部署的操作一致。

②、部署Hook机器人

参考这个教程，在本地部署Hook机器人。

部署完成后，Hook机器人本地模型接入方法是：在配置，config.json时，在此处进行配置

OpneAi_Api就填这个地址: http://localhost:3000/api/v1/chat/completions

然后你登录微信机器人，进行对话，就通了

---

既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～我是梦飞，谢谢你看我的文章。

如果有问题需帮助或合作，公众号中回复：“微信”即可添加好友~

往期文章推荐：