查看原文
其他

Ollama上线 Nous Hermes 2 与 Dolphin Phi 2.6 模型及 Ollama Web UI 体验分享

思辨view kate人不错 2024-05-19

之前我介绍过Ollama实测在Mac上使用Ollama与AI对话的过程Ollama 现在支持安装微软发布的Phi-2模型,现在Ollama又有新模型了。

今天介绍2个新模型和Ollama Web UI

模型一:Nous Hermes 2
由NOUS Research提供的强大的34B模型,擅长科学讨论和编码任务。它基于 Yi 34B 型号。
模型地址:https://ollama.ai/library/nous-hermes2/tags
请根据自己电脑内存大小来选择,如果是32G内的Mac,建议选择20G内的Nous Hermes 2 模型。
模型二:Dolphin Phi 2.6
它是基于 Microsoft Research 的 2.7B 模型的未经审查模型。
模型地址:https://ollama.ai/library/dolphin-phi/tags
Phi-2运行所占内存比较少,8G的Mac也可以跑起来。
接下来,介绍下Ollama Web UI
仓库地址:https://github.com/ollama-webui/ollama-webui
Ollama Web UI:用于聊天交互的用户友好的 Web 界面
它长得和ChatGPT很像,可以很快上手,而且可以搜索历史记录,经过使用,我觉得它比我之前使用的Ollamac(一款用于与Ollama交互的MacOS应用程序)要好用。
Ollama Web UI有很多优点,以下几点很吸引我。
1. 使用 Docker 无缝安装(Docker 从官网下载安装即可,安装后打开)
如果 Ollama 托管在你的本地计算机上并且可通过 http://127.0.0.1:11434/ 访问,请运行以下命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

Ollama Web UI 现在应该托管在 http://localhost:3000 上,并且可以通过 LAN(或网络)进行访问。

2. 使用高级参数进行微调控制
3. 代码语法突出显示
4. 直接从 Web UI 轻松下载或删除模型。
5. 支持直接从 Web UI 上传 GGUF 文件,轻松创建 Ollama 模型。简化的流程,可选择从你的计算机上传或从 Hugging Face 下载 GGUF 文件。
6. 它还轻松集成 OpenAI 兼容 API,与 Ollama 模型进行多功能对话。自定义 API 基本 URL 以链接到 LMStudio、Mistral、OpenRouter 等。
添加API KEY后就可以选择GPT了。
7. 对话多个模型

在这个例子,微调过的dolphin-phi:2.7b回答明显比phi2:2.7b-chat要丰富(虽然都不对),我在之前的文章里介绍过phi2的局限-对指令的不可靠响应:模型尚未经过指令微调。上文的例子里,phi:2.7b-chat-v2-fp16比dolphin-phi:2.7b-v2.6-q8_0 大了近1倍,但是就这个例子来说,生成效果不如后者。

推荐阅读:与AI相关的创新体验

AI实践之路:详解Gemini Pro API在Google Colab和本地Python中的应用策略

实测在Mac上使用Ollama与AI对话的过程 - 模型选择、安装、集成使用记,从Mixtral8x7b到Yi-34B-Chat

掌握微软Phi-2模型:从深入解析到实际安装流程

深度使用GPTs的分享——授人以鱼不如授人以渔

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存