工程落地实践｜国产大模型 ChatGLM2-6B 阿里云上部署成功

“ 之前尝试过在各种不同的云平台、云算力，部署清华大模型 ChatGLM2-6B，有失败有成功，但不是很理想。这次使用免费的阿里云机器学习GPU资源，终于成功了。”

01

—

本来以为今天的部署又要失败，却获得意外之喜，赶紧上来给朋友分享，同时记录一下过程。

之前的部署经历：

这次有朋友介绍阿里云也有机器学习PAI，其中交互式建模DSW，可以用来部署自己的模型和数据集。

先分享免费使用国产大模型 ChatGLM2-6B 对话的地址：

https://8a27eb15-4d03-47fe.gradio.live/

在服务器上面命令行测试模型对话：

Web 服务对话界面：

02

—

实践过程‍

1. 腾讯云部署失败。未找到相关的大模型的部署教程，从ECS云服务器的基础上开始部署，遇到很多大模型所需要的开发框架所需要的组件、资源的问题，坑无数，被折磨两天后，放弃了。 

2. AutoDL AI算力云成功部署。优点：有成熟的大模型 docker 镜像，有可访问的huggingface 镜像站，下载模型的数据集和权重方便。缺点：收费-按小时收费，GPU 资源 RTX A5000 (0/1040) 收费 1.13元/小时，一个月大约813元，费用不低。

3. Hugging face 的 space 成功部署。优点：有成熟的大模型 docker 镜像，本身提供空间可发布 Web 网站，以便用户访问。缺点：国内访问困难，也是 GPU 资源收费。

4. 早些时候，试过阿里云部署，因为无法访问放在 Hugging face 上的数据和权重。提过工单询问，就是国内的国情使然，而且没有国内镜像站，建议下载后再上传到服务器。

   这次实在没有选择了，自古华山一条路，迄今黄河百汇成。

   再试试能不能解决模型和权重文件的问题。

   ‍

5. 从 Hugging face 下载七个1个多G的模型文件，和其他必要的文件。再从控制台上传到机器学习的空间上，总是失败，文件太大了。

6. 再试方案：下载到本地，再上传到 Github - 因为阿里云可以访问。结果告知，上传 Github 超过100M的文件需要使用 Git-lfs （Large File Storge,即大文件存储），而且限制最多存储 1G 空间。这思路不行。

7. 阿里技术支持小哥说用 OSS（Object Storage Service，对象存储服务），把文件传到 OSS 上。之后可以用两种方法来访问 oss 的文件：1. 在程序中添加读取 oss 上文件的代码；2. 用 ossutils 下载文件到机器学习的服务器空间。

8. 那就开动吧，开通 OSS 对象存储服务，再上传模型权重文件到OSS。

9. 根据帮助教程，安装 ossutils，生成账号的访问权限 key，填到 ossutils 配置中，再拷贝刚才上传文件。这过程遇到两个坑：

   1. key 不对，解决这个问题我就直接使用了全局的账号。

   2. 拷贝时的链接地址不能用 oss 控制台界面的https 地址，问了支持小哥，需要用 oss:// 协议地址。

10. 最后总算是大功告成。使用地址：(已变）

    https://0b6b7c84-16c7-469c.gradio.live/

11. 安装完之后，才发现国内清华云盘上有模型权重文件，地址见下方资源部分。如果能早点知道国内的地址，也许就可以直接从服务器上下载这几个大文件，不用上面折腾这么一大圈了。

12. 阿里云的 GPU 目前免费提供三个月的试用。
    

03

—

相关教程、资源

【官方教程】

ChatGLM2-6B 部署与微调

https://www.bilibili.com/video/BV1D94y1i7Qp

视频中的 PPT 文件下载：

链接: https://pan.baidu.com/s/1T5vBCAPG2ahrI_H2jKnihw?pwd=mwmr 提取码: mwmr 

ChatGLM 的 Prompt 工程实践，真实案例详解

https://www.bilibili.com/video/BV1ic411c7gE

ChatGLM 模型权重清华云盘地址（全版本）

https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/

04

—

专家知识库

预告：在成功部署 ChatGPT 模型的基础上，用咱们国产的大模型 ChatGLM ，以及 LangChain 开源框架（围绕大语言模型构建的框架，可用于聊天机器人、生成式问答 (GQA)、摘要等）搭建“个人专属知识库”。

您可以上传自己感兴趣的文章、资料到这个知识库中。之后，大模型就可以根据这些个人资料，利用其强大的推理能力，回答您提出的相关问题。

例如：收集某位喜欢的公众号或博主的文章，上传到自己的知识库。当您对这些内容有任何疑问时，知识库就可以为您提供解答。这就像拥有一个私人的、基于自身兴趣的问答专家！

还有更多可发掘的场景，希望这个新产品可以帮助朋友们获取更加个性化的知识服务。

---

最近关注的朋友越来越多，还有朋友问用 ChatGPT 能做什么？学了AI感觉没有地方可以用。AI 对我真的有红利吗？国内能不能用啊？

考虑到各种朋友们的问题，我联合了两位大咖，共同开发设计了：《AI启航实用变现手册》，提供各类AI工具使用教程及变现方法和路径。

同时还在筹备知识星球的建设，以及赠送给会员的福利AI产品：不用魔法，体验AI 智能聊天，AI 绘画，保证学会工具的使用后，可以上手实际操作。

我们的目标解决朋友们 AI 学习中的四个核心问题：信息差，认知差，执行差，人脉差。

手册初稿含两方面的内容：一、如何利用AI去提升效率；二、用AI变现指南。

变现部分是实际实打实的操作记录和赚钱过程拆解，初版就共15万字，内容将来还会持续更新，将来还会带领朋友们进行实际的操作。

这个是抖音的一个视频，上线一两天，23.8万的播放。

手册涵盖了目前市面上最全、最新的教程，价值 ¥199 元，

现开始阶段优惠， ¥39.9元。3天内不满意，可以无条件退款。后面随内容更新和销售增加，逐步恢复原价。

喜欢手册的朋友，也可以推荐给朋友，设置了分销比例45%，推荐两册，就相当于白得手册。

点下面👇二维码，长按识别，就可以购买了。

买了手册的朋友，加我微信 foghuang，拉你进AI学习交流群。

可以加入技术琐话读者群，请后台回复：读者群

技术琐话 

以分布式设计、架构、体系思想为基础，兼论研发相关的点点滴滴，不限于代码、质量体系和研发管理。