Window本地搭建ChatGLM3-6B

1ChatGLM3介绍

1. ChatGLM3是基于GLM-130B的对话微调版本，继承了GLM-130B的语言理解和生成能力，并针对对话场景进行了专门的优化。
2. ChatGLM3可以生成流畅、有趣、有逻辑的对话，并且不会出现重复、跑题、无关等问题。它可以根据用户的输入和历史记录进行动态调整，保持对话的连贯性和一致性。
3. ChatGLM3具有执行各种工具调用的能力，比如搜索、翻译、计算、绘图等。用户只需要输入简单的指令或问题，就可以得到满意的答案或结果。它还可以根据用户的反馈进行自我纠错和学习，提高工具调用的准确性和效率。
4. ChatGLM3支持多种语言和多种模式，如中文、英文、日文等。用户可以通过设置选择自己喜欢的语言和模式，如平衡模式、创意模式、精确模式等。不同的模式会影响对话的风格和内容，让用户体验更加丰富和多样。
5. 最新版本的ChatGLM-turbo在AgentBench上已稍微超出GPT-3.5。在算力方面，ChatGLM3已支持多种国产硬件生态，如昇腾、海光DCU等。同时，ChatGLM3提供了更丰富的模型尺寸选项，如1.5B、3B等，以满足不同的边缘侧需求，支持在笔记本电脑、手机、汽车等设备上部署。

2ChatGLM3-6B

ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，它具有以下特性：

1. 强大的对话能力：ChatGLM3-6B 模型在保留了前两代模型对话流畅、部署门槛低等特性的基础上，进一步提升了对话生成的质量和效果。
2. 全新的模型架构：ChatGLM3-6B 引入了一些新的技术和架构，如采用了更多的注意力机制、更好的模型结构等，以提高模型的性能和效果。
3. 开源的双语模型：ChatGLM3-6B 是一个开源的双语模型，可以支持中英双语对话，具有广泛的应用场景和适用人群。
4. 灵活的部署方式：ChatGLM3-6B 支持多种部署方式，包括本地部署、云部署等，方便用户根据自己的需求进行选择和使用。
5. 丰富的应用场景：ChatGLM3-6B 可以广泛应用于智能客服、智能助手、在线教育、语音识别等领域，为用户提供智能化、高效化的服务和支持。总之，ChatGLM3-6B 是一款功能强大、效果优良、部署灵活、应用广泛的开源对话模型，为用户提供了智能化、高效化的对话解决方案。

3本地搭建ChatGLM3-6B

Part1获取ChatGLM3源码

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

Part2conda 创建虚拟环境

conda create -n glm3 python=3.10

Part3激活环境

conda activate glm3

Part4退出环境

conda deactivate

Part5下载依赖包

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

Part6模型下载。

在项目目录下可以直接粘贴模型文件，也可以从huggingface下载，下载方式见下面代码。大多数人可能因为网络问题下载速度慢，可以使用我提供的模型分享文件，回复12即可获取下载链接，需要使用天翼云，慢速下载。

模型文件可以直接解压到项目目录下

mkdir model && cd model
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/THUDM/chatglm3-6b-int4
git clone https://huggingface.co/THUDM/chatglm3-6b-32k
git clone https://huggingface.co/THUDM/chatglm3-6b-32k-int4

Part7使用ChatGLM3

ChatGLM3 提供了三种使用方式：命令行 Demo，网页版 Demo 和 API 部署；在启动模型之前，需要找到对应启动方式的 python 源码文件修改模型位置openai-api.py进行如下修改。

在项目目录下常见启动bat文件：

python.exe D:\BaiduNetdiskDownload\ChatGLM3-6B\ChatGLM3-main\openai_api_demo/openai_api.py
pause

模型下载

点击下面「公众号：NewTech精选」卡片，进入之后对话框发送关键词：12

往期推荐