开源！免费！可商用！超过 LLAMA2，媲美 GPT3.5，Mixtral-8x7B 横空出世！附：三个使用平台

你好，我是清风徐来

这是微信公众号“浩瀚的苍穹”《ChatGPT ，从入门到精通》 第 152 篇原创文章。

目前，全球AI的天花板还是GPT4 turbo。GPT4.5 上市的传闻沸沸扬扬，一篇OpenAI 最新论文《由弱到强的泛化能力》，也在宣传相对弱小的人群可以控制比自己强大的智能体的主张。

但是在开源商用领域，GPT4的成本还是太高！GPT4.5成本是GPT4的六倍的传闻更是让人觉得商业AI用不起！

大家都在寻找可以商用的开源免费AI！

现在最火的开源大语言模型当属 Mixtral-8x7B 了

在多个第三方测试中，它性能接近 GPT3.5，免费开源，部署成本还低，在企业本地化部署 AI 系统领域，有很广阔的前景

今天就来讲讲这个模型，并附上三个免费体验平台

一、常识

1、什么是 LLM(大语言模型)

LLM（Large Language Model，大型语言模型），

LLM 是 AI 技术的一个组成部分，体现了人工智能在理解和生成自然语言方面的能力。

想象一下，LLM 像是一个超级聪明的图书馆管理员。这位管理员阅读了成千上万本书、文章和网页，学到了很多知识。当你问他一个问题时，他会根据他读过的所有内容来给你答案。

具体来说，LLM 是一种计算机程序，它使用了特别的算法（就像数学中的公式）来理解和生成语言。这意味着它可以读懂你写的话，然后像人一样回答你。它能写文章、诗歌，甚至还能帮你编故事或者解答问题。

所以，LLM 就像是一个装满了书籍知识的大脑，可以用来回答问题、写作，或者做其他跟语言有关的事情。

普通的 LLM，如 GPT3.5，你和它只能用文字交流；多模 LLM，如 GPT4,Gemini，你输入文字提出要求，它可以文字、音频、图片、视频来回复你。

2、什么是开源软件

今天介绍的 Mixtral-8x7B 就是一个开源 LLM，而大家熟知的 ChatGPT 就是一个闭源 LLM，

开源 = 开源软件的源代码（就是构成软件的基本指令和程序的代码）是公开的，通常是免费的，

闭源软件则相反。

3、什么是专家 LLM 模型

答：指拥有某个特定领域（比如医学）内专家的知识和经验的 LLM。

GPT 是通用大模型，啥都懂，在每个领域都能达到 80 分的水准；而专家模型，比如医学专家模型，医学能达到 90 分，物理、化学领域是个小白。

想象一下，有一个非常聪明的医生，他对治疗各种疾病了如指掌。如果我们能把这位医生的知识和经验放进电脑里，那么电脑就能在医生不在的时候帮助病人。专家模型就是这样一种电脑程序。

专家模型通常包括两个主要部分：

知识库：这部分包含了特定领域内的详细知识和规则。就像那位医生的所有医学知识一样，这些知识被编码进电脑系统中。

推理引擎：这部分是程序的“大脑”，它使用知识库中的信息来解决问题和作出决策。它类似于医生在面对病人时的思考过程。

专家模型的主要目标是模仿人类专家的决策过程，提供高质量的决策支持，尤其在那些需要深厚专业知识的领域。这些系统可以帮助非专家做出更加专业和准确的决策，或在专家不可用时提供辅助。

通用 LLM，加上专家 LLM 模型，就如虎添翼

4、什么是 MOE

"混合专家"（Mixture of Experts, MOE）是一种机器学习模型，它结合了多个专家系统的决策来解决复杂问题。在这个模型中，“专家”通常是指一组不同的模型或算法，每个都专门处理某个特定的任务或数据子集。

混合专家模型是一种高级的机器学习方法，通过组合多个专家的知识和能力来提高整体性能和适应性。达到 1+1>2 的效果

传说，GPT4 也是 用了这个架构

5、什么是"B“

答：B 是一个计量单位，1B=10 亿

在人工智能和机器学习领域，当我们提到模型的“7B”、“111B”或“166B”这样的术语时，这些数字指的是模型的“参数数量”。

参数是模型用于学习和做出预测的变量，数量越多通常意味着模型更复杂，能够学习更多的信息。

6、什么是令牌（Token）？

答：在 AI 领域，“令牌”（Token）是一个基本概念。令牌通常指的是文本数据中的一个基本单位，它可以是一个词、一个字符，或者任何其他定义的文本片段。

例如，句子 "I love apples" 可以被令牌化为 ["I", "love", "apples"]，每个单词成为一个令牌。

7、什么是 LLM 支持的“上下文”

答：上下文指 AI 能记住的，你和它对话的全部内容。记得越多，处理能力就越大！

常见 GPT3.5，4K ; GPT3.5 1106 版，16K；LLMA2 32K;GPT4 turbo：128K!

比如，国产 AI 之光“月之暗面”能记住一整部茅台年报，GPT4 TURBO 能同时记住茅台+五粮液 两部年报.

二、Mixtral-8x7B 模型简介

1、开发公司

Mistral 是一家总部位于巴黎的初创公司，于七个月前由 Meta 和谷歌的研究人员创立。

该公司最近完成了备受瞩目的 A 轮融资，筹集了 3.85 亿欧元，按照今天的汇率折合为 4.15 亿美元。

Mistral AI 专注于人工智能领域，其 Mixtral 8x7B 专家混合模型在业内备受关注。该公司的成立和发展显示了其在人工智能领域的实力和潜力。

2、概述

Mixtral-8x7B 是 Mistral AI 公司 推出的一款新型人工智能模型

允许第三方免费使用和商用！8 个 7b 的专家模型进行混合；参数量为 46.7B，速度与成本相当于 12.9B 的模型。但推理速度是 llama2 的 6 倍；32k 上下文；英法意德西支持

代码 40% vs 67% （GPT4）；数学 28.7% vs 52.9%（GPT4）

• 架构特点

Mixtral-8x7B 使用了混合专家（MoE）框架，包含 8 个专家，每个专家拥有 111B 参数，加上 55B 共享注意力参数，总计每个模型 166B 参数。这种设计提高了 AI 处理的效率和专注度。

当用户提出问题时，每个令牌（注意，不是每句，一句会有多个令牌），系统会自动分配两个相关的专家进行分析。

另外 ，7B ≠ 全部参数数量，而是在处理具体问题时实际使用的参数数量，并不是模型所有部分总和的参数数量。

这样的设计可以使模型在保持高参数数量的同时，还能有效控制计算成本和响应时间。

• 性能表现

该模型在许多基准测试中的表现超越了 LLaMA 2 70B（之前排名第一的开源 LLM），并与 GPT-3.5 相媲美。

特别是在 MBPP 任务（评测 LLM 的 1000 个 python 问题），其成功率高达 60.7%，与 GPT-3.5 表现相当。

在它之前，开源 LLM 排第一的 LLMA2 ，对战 GPT3.5,也只有 35%的胜率！

• 多语言支持

支持多种语言，包括英语、法语、意大利语、德语和西班牙语，非常适合全球开发者社区和需要语言多样性的应用。

目前暂不支持中文答复，你用中文提问，它用英文回复

• 处理大型上下文

Mixtral 能够有效处理高达 32,000（即 32K）个令牌的大型上下文。

• 开源，允许免费商用

该模型是开源的，采用 Apache 2.0 许可证

它可以通过提供的磁力链接直接下载，也可以在 Mistral AI 平台、Perplexity Labs、Hugging Face 等平台上访问

• 减少幻觉和偏见

Mixtral 在 TruthfulQA/BBQ/BOLD 基准测试中表现出减少幻觉和偏见的改进 ，开发者和研究人员可以轻松访问。

指令优化：Mistral AI 同时发布了针对指令遵循进行优化的 Mixtral 8x7B Instruct，该模型在相关基准测试中得分高 。

1B = 10 亿，7B = 70 亿参数。对 LLM，7B 参数属于小参数

三、在线使用

1、perplexity 网站

• 网址：https://labs.perplexity.ai

• 界面：右下角选择“Mixtral-8x7B ”

提问：There are 10 birds in a tree, a hunter shoots and kills one, how many birds are left?

问它今天日期

2、vercel 网站

• 网址：sdk.vercel.ai

• 界面：进入后可指定两个 AI 回答同一个问题

3、huggingface 网站

• 网址：huggingface.co/chat

• 界面：HuggingFace Chat 也提供了 Mistral 8x7B 试用，还有几个其他开源大语言模型可以选择

四、本地部署

1、部署

如果有想在本地运行 Mixtral 8x7B ，可以使用 Ollama 或者 LM Studio， Ollama 目前只支持 Mac，而 LM Studio 还支持 Windows 和 Linux。

• LM Studio：https://lmstudio.ai

• Ollama：https://ollama.ai/library/dolphin-mixtral

https://lmstudio.ai/

选择下载：

对GPU要求不高，但是比较耗内存，大概需要消耗 40G

-另外，支持 API！

如果你有台服务器，完全可以把它当做 OPEN AI 服务器来使用！

有机会再给大家具体演示安装过程！

2、免限制版本

已经有人基于它微调了一个完全无审查无防护的版本 dolphin-2.5-mixtral-8x7

模型下载地址：

• https://huggingface.co/ehartford/dolphin-2.5-mixtral-8x7b

dolphin-2.5-mixtral-8x7 是第一个完全未经审查的开源模型，在 Mistral MoE 模型上进行了微调。

它将响应所有用户提示，而不是判断！

它不会将道德强加给你，并且会浮现出任何……

再也不用担心：“作为一个 AI 助手，

Mixtral-8x7B 开源，可免费商用！同时硬件需求较低，性能达到 GPT3.5！相信不久，还会接近 4.0，为开源商业 AI 提供了非常好的支持和想象空间！

好啦，今天就分享到这里！

如果你确实上网不方便，可以用国内直联 GPT4

欢迎加入VIP学习群！加入方法：加入知识星球后，可见入群方法：

跟着大家，每天分享最新 ChatGPT 实用干货！

不懂就问，言多必得！