其他
Jan:一款简洁界面的本地AI桌面应用
最近用了好几款本地大模型快速安装的软件,之前介绍了Ollama、LM Studio,今天介绍下Jan。
https://jan.ai/
https://github.com/janhq/jan
Jan支持Mac M1/ M2/ M3、Mac (Intel)、Windows、Linux系统。
除了本地模型,它也支持OpenAI API。
它支持的本地模型还特别少,而且单个模型还只支持一种规格,但架不住它颜值高。官方介绍1月会支持更多的模型。
等不及的伙伴们,可以通过它的导入功能导入模型。
https://jan.ai/guides/using-models/import-manually/
它也像 LM Studio附带了一个内置的API服务器,可以作为OpenAI的API的本地替代品。
对比Ollama、LM Studio,Jan比Ollama多了对话UI,内置API服务器,比LM Studio少模型,但是界面要好看很多。
对话体验
Mistral Instruct 7B Q4模型在我Mac M1 Max 32G的电脑上的运行生成速度20-30token/s。
可设置参数如下
Jan还在开发中,它的文档功能做得不错。
如果有伙伴只是想简单体验下本地大模型,强烈推荐Jan,好看可用。
了解更多模型内容,请看这里:
Chatbot UI 2.0 发布,支持Ollama、Gemini、Perplexity、OpenAI、Claude
Ollama 现在支持安装微软发布的Phi-2模型,附安装流程
Ollama上线 Nous Hermes 2 与 Dolphin Phi 2.6 模型及 Ollama Web UI 体验分享
LM Studio-简化安装和使用开源大模型 | OpenAI API 文字转语音本地运行程序分享