实测在Mac上使用Ollama与AI对话的过程 - 模型选择、安装、集成使用记，从Mixtral8x7b到Yi-34B-Chat

超火AI模型：Mistral AI的Mixtral-8x7B

最近，Mistral AI发布了一款名为mixtral-8x7b的新模型。这个模型很火，据lmsys发布的排行榜，和GPT3.5能力相当。

Dolphin-2.5-Mixtral-8x7B的推出

Eric Hartford在mixtral-8x7b基础上微调推出了dolphin-2.5-mixtral-8x7b，这个模型非常聪明，擅长编程，且不受限制。它将响应所有用户提示，而不是判断。它不会将道德强加给你，并且会显示可用的所有信息。

在Mac上安装Dolphin-2.5-Mixtral-8x7B

以下以Mac电脑为例，演示通过Ollama来安装dolphin-2.5-mixtral-8x7b。

Ollama建议安装电脑需要48G+内存。

Eric Hartford建议32G以上。

Ollama github地址：

https://github.com/jmorganca/ollama

安装模型很简单

• 下载Ollama安装包并安装打开。
  
• 终端运行ollama run <你选择的模型>。
• 安装好后，就可以直接对话了。

Ollama还链接了很多UI和插件，使用起来很方便。

Ollama关于这个模型的地址：

https://ollama.ai/library/dolphin-mixtral/tags

运行中的挑战与解决方案

我的电脑是M1 max 32G，一开始我运行8x7b-v2.5-q4_K_M，

ollama run dolphin-mixtral:8x7b-v2.5-q4_K_M

报错，显示：Error: llama runner process has terminated

我输入：cat ~/.ollama/logs/server.log，将log发给GPT，原来是内存不足。

后我该为运行 ollama run dolphin-mixtral:8x7b-v2.5-q3_K_M

这次运行成功了。

客户端Ollamac的体验

我在ollama的github仓库里找到了一个客户端Ollamac

github地址：https://github.com/kevinhermawan/Ollamac

下载安装后，就可以选择模型，直接对话了。

这里，模型出现了幻觉。

我还测了英文写邮件，回答问题，英文下回答还行，中文试了下，会生成奇怪的内容。

要不是我用过together ai网上的mixtral:8x7b，可能要对mixtral:8x7b失望，我觉得可能是我下载的模型太小了，精度不够。

模型在运行过程中，约占我电脑20G的内存。

Yi-34B-Chat的发现与体验

回到文章开头，不知道大家是否注意到，我特意标出了Yi-34B-Chat，这个评分也很高，而且据之前的媒体消息，这款对中文支持比较好，01.ai的公众号发布了下图。

此外，01.ai公众号引用李立鸿这段话：

我很好奇，于是下载安装了Yi-34B-Chat。

Ollama地址：https://www.ollama.ai/library/yi/tags

生成速度如视频，和电脑配置有很大关系，此外，如果输入文本较长，它的反应就会慢些。

初步体验，Yi-34B-Chat推理、写作中文输出能力都不错，比我用过的Grok、Mixtral-8x7B-Instruct-v0.1要好很多。Yi-34B还有一个能处理高达40万汉字的超长文本版本，支持200K的超长上下文，为那些需要在更长的上下文中进行微调的开发者打开了新的大门。

前文提到的Eric Hartford使用Yi-34B-200k来训练其他模型。

集成应用与快捷操作

我还将Ollama集成到Raycast，设定快捷键就可以快速激发了。

插件请在Raycast商店里搜索。

Ollamac里每开一个新对话，是可以选择不同模型的。

探索更多模型

我还下载体验了ollama run llava:13b，效果只能说还行。

地址：
https://ollama.ai/library/llava/tags

在我尝试了从Mixtral-8x7b到Yi-34B-ChatAI模型之后，深刻感受到了AI技术的强大与多样性。

我建议Mac用户试试Ollama平台，不仅可以本地运行多种模型，还能根据需要对模型进行个性化微调，以适应特定任务。

让我们一起期待着AI未来会带给我们的更多惊喜。

推荐阅读：与AI相关的创新体验