元象通用大模型XVERSE-13B发布Chat版本

元象多语言通用大模型 XVERSE-13B 自 8 月 7 日开源以来广受关注，为促进大模型在垂直领域和特定任务的应用，方便开发者快速高效地定制化调优，元象宣布推出 XVERSE-13B-Chat 版，继续开源，并可免费商用。

 开源信息 

Hugging Face：

https://huggingface.co/xverse/XVERSE-13B-Chat

Github：https://github.com/xverse-ai/XVERSE-13B

联系邮箱：[e-mail]

XVERSE-13B 是同尺寸中效果最好的多语言大模型系列，性能超越 Llama-2-13B、Baichuan-13B-Chat 等国内外开源代表（图一），凭借高性能、全开源、可商用等优势，是国产替代和中文应用的更佳选择。

图一：XVERSE-13B 系列使用 five shot 方法测试 

在各项中英文权威测评中持续领先

此次 Chat 版通过底座指令精调（Supervised Fine-tuning，简称 SFT ），使大模型在语言理解和生成上更加精准流畅，基础性能显著提升，比如 MMLU英文（+9%）、 AGIEval 中英（+17%）、GAOKAO-En 英文（+21%）等数据集效果优异。它还补齐了多个指令场景能力，用途更广，包括角色扮演、知识问答、文本生成、编程、数学解答和安全性等。

  多场景示例

角色扮演

知识问答

文本生成

语言理解

安全性

  使用教程

环境安装

1. 下载本仓库：

git clone https://github.com/xverse-ai/XVERSE-13B 
cd XVERSE-13B

2. 使用 pip 安装依赖：

pip install -r requirements.txt

Transformers 加载方式

可通过以下代码加载 Chat 版对话：

>>>import torch
>>> from transformers import AutoTokenizer, AutoModelForCausalLM
>>> from transformers.generation.utils import GenerationConfig
>>> model_path ="xverse/XVERSE-13B-Chat"
>>> tokenizer = AutoTokenizer.from_pretrained(model_path)
>>> model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')
>>> model.generation_config = GenerationConfig.from_pretrained(model_path)
>>> model = model.eval()
>>>history=[{"role":"user", "content":"1955年谁是美国总统？他是什么党派？"}]
>>> response = model.chat(tokenizer, history)
>>> print(response)
1955年,美国总统是德怀特·D·艾森豪威尔。他所属的党派是共和党。
>>> history.append({"role":"assistant", "content": response})
>>> history.append({"role":"user", "content":"他任职了多少年"})
>>> response = model.chat(tokenizer, history)
>>> print(response)
德怀特·D·艾森豪威尔在1953年至1961年间担任美国总统,所以他一共任职了8年。

通过以下代码启动一个web server，在浏览器输入访问地址后，可使用 Chat 版对话：

python chat_demo.py --port='port' --model_path='/path/to/model/' --tokenizer_path='/path/to/tokenizer/'

  模型量化

支持 INT8 和 INT4 类型量化，可以大幅降低模型加载所需显存。

INT8 量化：

model = AutoModelForCausalLM.from_pretrained("xverse/XVERSE-13B-Chat", torch_dtype=torch.bfloat16, trust_remote_code=True) 
model = model.quantize(8).cuda()

INT4 量化：

model = AutoModelForCausalLM.from_pretrained("xverse/XVERSE-13B-Chat", torch_dtype=torch.bfloat16, trust_remote_code=True)model = model.quantize(4).cuda()

Chat 版在不同量化等级下，模型显存占用及 MMLU 准确率：

加入元象大模型团队

简历发送至：[e-mail]

商业合作

请微信添加：muyixuanlin

媒体沟通

请联系：万琳 [e-mail]

 关于我们 

元象 XVERSE 于 2021 年初在深圳成立，是国内领先的 AI 与 3D 技术服务公司，致力于打造 AI 驱动的 3D 内容生产与消费一站式平台，愿景为“定义你的世界”。

元象累计融资金额超过 1.6 亿美元，投资机构包括腾讯、高榕资本、五源资本、高瓴创投、红杉中国、淡马锡和CPE源峰等。元象创始人姚星是前腾讯副总裁和腾讯 AI Lab 创始人、国家科技部新一代人工智能战略咨询委员会成员。

在 3D 与 AI 技术领域，元象拥有深厚积累与完整布局（见下图），已自主研发出行业引领性的“端云协同” 3D 互动技术，开创零门槛（轻）、一站式（快）、高品质（美）全新 3D 体验；还开源百亿参数多语言通用大模型，为同尺寸效果最佳，并可免费商用，旨在推动大模型国产可替代与行业应用发展。

文本	语音	‍图片	3D场	3D人	3D物
					物体生成
	歌声合成
				手势生成

元象已为多家龙头企业提供一站式技术服务，包括：澳门大三巴、南京大报恩寺、腾讯音乐、央视、一汽大众、阿迪达斯、邮储银行等。

官网：www.XVERSE.cn

官微：元象 XVERSE