查看原文
其他

复旦版 ChatGPT 正式开源,太强了!!

点击关注👉 AI实战 2023-04-26

关注 AI 实战,开启智能生活!

推荐阅读:

用上 ChatGPT 啦,打破你的认知!

Spring + OpenAI 生成图像,真香!Spring Boot + ChatGPT 项目实战来了!

来源:机器之心

开源版的 Moss 真的来了。

项目地址:https://github.com/OpenLMLab/MOSS

MOSS 是一个支持中英双语和多种插件的开源对话语言模型,但参数数量比 ChatGPT 少得多。在 v0.0.2 之后,团队持续对其进行调整,推出了 MOSS v0.0.3,也就是目前开源的版本。相比于早期版本,功能也实现了多项更新。

最初的测试中,MOSS 的基础功能与 ChatGPT 类似,可以按照用户输入的指令完成各类自然语言处理任务,包括文本生成、文本摘要、翻译、代码生成、闲聊等等。

开放内测后,团队继续加大中文语料的预训练:「截止目前,MOSS 003 的基座语言模型已经在 100B 中文 token 上进行了训练,总训练 token 数量达到 700B,其中还包含约 300B 代码。」

在开放内测后,我们也收集了一些用户数据,我们发现真实中文世界的用户意图和 OpenAI InstructGPT 论文中披露的 user prompt 分布有较大差异(这不仅与用户来自的国家差异有关,也跟产品上线时间有关,早期产品采集的数据中存在大量对抗性和测试性输入),于是我们以这部分真实数据作为 seed 重新生成了约 110 万常规对话数据,涵盖更细粒度的 helpfulness 数据和更广泛的 harmlessness 数据。
内容来源:https://www.zhihu.com/question/596908242/answer/2994534005

目前,团队已将 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三个模型上传到 HuggingFace。后续,还有三个模型将会开源。


根据项目主页介绍,moss-moon 系列模型具有 160 亿参数,在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。

团队同时表示,由于模型参数量较小和自回归生成范式,MOSS 仍然可能生成包含事实性错误的误导性回复或包含偏见 / 歧视的有害内容,请谨慎鉴别和使用 MOSS 生成的内容,请勿将 MOSS 生成的有害内容传播至互联网。

现在 ChatGPT 官方已经关闭注册了,加入我们的知识星球,免费送一个 ChatGPT 账号,我也只有最后不到 100 个,送完即止。


新增能力

在 MOSS v0.0.3 中,团队加入了多项新能力。

团队构造了约 30 万插件增强的对话数据,包含搜索引擎、文生图、计算器、方程求解等。关于插件版 MOSS 如何使用,后续团队将在 GitHub 公布。

MOSS v0.0.3 现已引入使用多种插件的能力。

下图展示了调用搜索引擎的能力:



下图展示了调用方程求解器的能力:


下图展示了从文本生成图片的能力:


项目作者孙天祥补充说,MOSS 003 支持启用插件的能力是通过 meta instruction 来控制,类似 gpt-3.5-turbo 里的 system prompt。「因为是模型控制的,所以并不能保证 100% 控制率,以及还存在一些多选插件时调用不准、插件互相打架的缺陷,我们正在尽快开发新的模型来缓解这些问题。」

下载安装
下载本仓库内容至本地 / 远程服务器:
git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS
创建 conda 环境:
conda create --name moss python=3.8conda activate moss
安装依赖:
pip install -r requirements.txt
其中 torch 和 transformers 版本不建议低于推荐版本。
根据协议,开源的 MOSS 可用于商业用途:


此外,开发者也可通过 API 调用 MOSS 服务,团队将根据当前服务压力考虑通过 API 接口形式提供服务,接口格式可参考:https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

目前,已有开发者根据开源内容进行而创,比如通过 VideoChat 进行视频问答。

VideoChat 是一款多功能视频问答工具,结合了动作识别、视觉字幕和 StableLM 的功能。该工具可为视频中的任何对象和动作生成密集的描述性字幕,提供一系列语言风格以满足不同的用户偏好。它支持用户进行不同长度、情绪、语言真实性的对话。


项目地址:https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS
最后宣传下我的 ChatGPT 知识星球,R哥最近 ChatGPT 玩疯了,用它写文章、生成代码、做表格、写 PPT、写文案、做面试题,效率提升了 N 倍。
建议尽快上车,现在上手成本是越来越高了。。
加入星球福利:

1、加入即送一个超难注册的 ChatGPT 账号,个人独享,目前官方已经关闭注册,一号难求,我也只有最后不到 100 个了,送完即止。

加入星球会持续送账号,但是账号注册成本一直在增加,星球也会涨价,早加入就是优势。

2、不割韭菜,R哥是实实在在分享东西。星球分享了大量 ChatGPT 学习资料 还输出了 40+ 篇保姆级教程持续更新中,涉及方方面面,真正的高质量知识星球。

以上早已值回票价,光一个账号就值几十块!
目前还是优惠价,快扫码加入吧:
1000 人后正式涨价啦,早就是优势!
ChatGPT 不会替代你,但掌握它的人会!

👇 点击阅读原文,即可加入星球!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存