之前我介绍过Ollama实测在Mac上使用Ollama与AI对话的过程、Ollama 现在支持安装微软发布的Phi-2模型,现在Ollama又有新模型了。
今天介绍2个新模型和Ollama Web UI。
由NOUS Research提供的强大的34B模型,擅长科学讨论和编码任务。它基于 Yi 34B 型号。模型地址:https://ollama.ai/library/nous-hermes2/tags
请根据自己电脑内存大小来选择,如果是32G内的Mac,建议选择20G内的Nous Hermes 2 模型。
它是基于 Microsoft Research 的 2.7B 模型的未经审查模型。模型地址:https://ollama.ai/library/dolphin-phi/tagsPhi-2运行所占内存比较少,8G的Mac也可以跑起来。
仓库地址:https://github.com/ollama-webui/ollama-webuiOllama Web UI:用于聊天交互的用户友好的 Web 界面它长得和ChatGPT很像,可以很快上手,而且可以搜索历史记录,经过使用,我觉得它比我之前使用的Ollamac(一款用于与Ollama交互的MacOS应用程序)要好用。
Ollama Web UI有很多优点,以下几点很吸引我。1. 使用 Docker 无缝安装(Docker 从官网下载安装即可,安装后打开)
如果 Ollama 托管在你的本地计算机上并且可通过 http://127.0.0.1:11434/ 访问,请运行以下命令:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
Ollama Web UI 现在应该托管在 http://localhost:3000 上,并且可以通过 LAN(或网络)进行访问。
5. 支持直接从 Web UI 上传 GGUF 文件,轻松创建 Ollama 模型。简化的流程,可选择从你的计算机上传或从 Hugging Face 下载 GGUF 文件。6. 它还轻松集成 OpenAI 兼容 API,与 Ollama 模型进行多功能对话。自定义 API 基本 URL 以链接到 LMStudio、Mistral、OpenRouter 等。
在这个例子,微调过的dolphin-phi:2.7b回答明显比phi2:2.7b-chat要丰富(虽然都不对),我在之前的文章里介绍过phi2的局限-对指令的不可靠响应:模型尚未经过指令微调。上文的例子里,phi:2.7b-chat-v2-fp16比dolphin-phi:2.7b-v2.6-q8_0 大了近1倍,但是就这个例子来说,生成效果不如后者。推荐阅读:与AI相关的创新体验
AI实践之路:详解Gemini Pro API在Google Colab和本地Python中的应用策略
实测在Mac上使用Ollama与AI对话的过程 - 模型选择、安装、集成使用记,从Mixtral8x7b到Yi-34B-Chat
掌握微软Phi-2模型:从深入解析到实际安装流程
深度使用GPTs的分享——授人以鱼不如授人以渔