HuggingChat 发布 iOS 版、ChatGPT 模型更新、SD3 API 发布

HuggingChat

HuggingChat 推出 iOS 应用，与网页版类似（HuggingChat Web^[1]），可在设置中切换多款模型。直接在 AppStore 中搜索 HuggingChat 下载安装即可（注：需要使用海外 Apple 账号）， 或访问此链接：https://apps.apple.com/us/app/huggingchat/id6476778843。

在设置中可以切换以下开源模型：

• CohereForAI/c4ai-command-r-plus：C4AI Command R+ 是由 Cohere^[2] 和 Cohere For AI （是一个非营利性的研究实验室，致力于解决复杂的机器学习问题。支持探索未知领域的基础研究，并致力于为机器学习研究创造更多的进入点）开发的开放权重研究型大模型，具有 1040 亿参数和 128K 的上下文长度，支持多语言（英语、法语、西班牙语、意大利语、德语、巴西葡萄牙语、日语、韩语、阿拉伯语和简体中文）。该模型具备高级功能，如检索增强生成（RAG：Retrieval Augmented Generation）和多步骤工具使用，适用于推理、总结和问答等多种用途。此外，C4AI Command R+ 需遵守 CC-BY-NC 许可证和可接受使用政策，模型提供非量化版本 c4ai-command-r-plus^[3] 和量化版本 c4ai-command-r-plus-4bit^[4]。

• HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1：Zephyr 141B-A39B 是由 Argilla^[5]、KAIST^[6] 和 Hugging Face 共同开发的最新语言模型，是对 Mixtral-8x22B-v0.1^[7] 的一次精调。该模型采用了比率偏好优化（ORPO：Odds Ratio Preference Optimization^[8]）算法进行训练，不需要 SFT 步骤即可达到高效计算（在 4 个节点的 8 x H100s 上运行了 1.3 小时，涉及 7000 个实例）。它是一个混合专家（MoE：Mixture of Experts）模型，具有 1410 亿总参数和 390 亿活跃参数，主要语言为英语，许可证为 Apache 2.0。此模型主要针对合成、多轮偏好数据集 distilabel-capybara-dpo-7k-binarized^[9] 进行微调，能在聊天基准测试（如 MT Bench^[10] 和 IFEval^[11]）上表现出色，使用 LightEval^[12] 评估套件得到的评分与技术报告或开放 LLM 排行榜（🤗 Open LLM Leaderboard^[13]）上的分数可能有所不同，因为评分使用了模型相应的聊天模板来模拟真实世界的使用场景。

• mistralai/Mixtral-8x7B-Instruct-v0.1：Mixtral 8x7B 是由 Mistral AI^[14] 开发的高效稀疏混合专家模型（SMoE：sparse mixture of experts），具有开放的权重和 46.7B 的总参数，专为高性能和低成本推理设计，每个 token 使用 12.9B 参数。它支持多种语言，包括英语、法语、德语、意大利语和西班牙语，表现出色于代码生成和指令遵循任务，在多个基准测试中超越了 Llama 2 70B 和 GPT3.5。此模型在 Apache 2.0 许可下提供。

• google/gemma-1.1-7b-it：Gemma-1.1-7B-IT 是 Google 发布的 Gemma^[15] 模型系列中的一个更新版本，采用 RLHF（Reinforcement Learning from Human Feedback）方法进行训练，显著提升了模型在质量、编码能力、事实性、指令遵循以及多轮对话质量方面的表现。此外，此版本修复了多轮对话中的错误，并改进了模型响应的起始方式。Gemma-1.1-7B-IT 适合用于多种文本生成任务，如问答、摘要和推理，特别适用于资源有限的环境。

• NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO：它是 Nous Research 基于 Mixtral 8x7B MoE LLM 开发的新旗舰模型，使用由 GPT-4 生成的超过 1,000,000 条数据和其他高质量开放数据集进行训练，实现了在多种任务上的领先表现。此外，该模型提供了 SFT + DPO （Nous-Hermes-2-Mixtral-8x7B-DPO^[16]）和仅限 SFT（Nous-Hermes-2-Mixtral-8x7B-SFT^[17]）两个版本，以满足不同用户的需求。

• mistralai/Mistral-7B-Instruct-v0.2：Mistral-7B-Instruct-v0.2^[18] 是 Mistral AI 开发的先进语言模型，具有 7.3 亿参数，上下文窗口扩展至 32k（v1 为 8k）和精调的 Rope Theta 参数（设定为 1e6），实现了显著的性能提升。此模型还去除了滑动窗口注意力，以提高处理效率和推理速度，使其在自然语言处理和编程任务等多种应用中表现出色。此外，作为指令调整变体，它在遵循指令和完成任务方面的表现优于其他同类模型，非常适合用于聊天机器人、虚拟助手和面向任务的对话系统等。

📌 HuggingFaceH4

HuggingFace H4 是一个团队，专注于让语言模型变得有帮助（helpful）、诚实（honest）、无害（harmless），并富有人情味（huggy）🤗 。

OpenAI

ChatGPT 新增模型

ChatGPT 又更新了，模型多了一个 “Dynamic：Optimized for speed and intelligence”，而且支持在单个对话中切换模型重新回答。对我来说， GPT-4 一直够用，感觉这个功能有点鸡肋 😅。如果 GPT-4 不够用的朋友可以尝试用 GPT-3.5 处理日常问题，关键问题用 GPT-4 进行优化。

批处理 API

批处理 API 允许用户通过上传包含批量请求的文件来进行摘要、翻译和图像分类等异步任务，用户可以在 24 小时内收到处理结果，并享受 API 使用费用的 50% 折扣。这种方式旨在通过提高处理速率限制和降低成本来优化大规模数据处理。了解更多：Batch API^[19]

# 创建批处理
POST https://api.openai.com/v1/batches

# 检索批处理
GET https://api.openai.com/v1/batches/{batch_id}

# 取消批处理
POST https://api.openai.com/v1/batches/{batch_id}/cancel

# 批处理列表
GET https://api.openai.com/v1/batches

# ...

API 助手 v2

助手 API (v2) 是 OpenAI 提供的一个强大的开发工具，允许开发者在应用程序中轻松集成 AI 助手功能。v2 版提供了改进的第三方工具功能调用，并加强了对代码解释器和文件搜索工具的支持。开发者可以通过 OpenAI 的助手游乐场或拥有 OpenAI API 账户的任何人访问此 API。

其重要特性包括增加文件处理能力至每个助手最多可管理 10,000 个文件，并优化了数据检索流程。文件搜索功能经过优化，能更有效地从文件中提取数据，并支持定制文件解析和内容嵌入的参数。API 还为文件和代码解释服务提供了明确的定价模式，并承诺在文件解析、分块和嵌入后的向量存储大小基础上收费。

安全性方面，OpenAI 承诺不使用客户数据训练模型，并允许用户随时删除其数据。此外，API 支持 JSON 模式和流式传输，但不管理第三方功能调用。当前，DALL-E 功能不通过此 API 提供。对于遇到服务器错误的情况，OpenAI 建议调整提示设置或联系其帮助中心。对于想要从旧版迁移到新版的用户，OpenAI 提供了详细的迁移指南。了解更多：Assistants API (v2) FAQ^[20]

SD 3 API

Stable Diffusion 3 和 Stable Diffusion 3 Turbo 是最新推出的图像生成模型，现已在 Stability AI 开发者平台 API 上提供。这些模型在字体设计和遵循提示的准确性方面与 DALL-E 3、Midjourney v6 等最先进的文本到图像系统相匹敌或优越，得益于其多模态扩散变换器（MMDiT：Multimodal Diffusion Transformer）架构，该架构通过采用独立的图像和语言表示权重集来提高文本理解和拼写能力。

Stable Diffusion 3 也展示了对开放生成 AI 的承诺，未来将允许 Stability AI 会员自托管模型权重。为确保可靠性和高性能，Stability AI 与 Fireworks AI^[21] 合作，后者是一家提供企业级 API 解决方案的平台，保证了高达 99.9% 的服务可用性。此外，该模型还重视安全和负责任的 AI 实践，通过与专家合作持续改进，并防止其被滥用。

了解更多：Stable Diffusion 3 API Now Available^[22]

‍关注「浮之静」，发送 “ai” 进技术交流群

References

[1]

HuggingChat Web: https://huggingface.co/chat

[2]

Cohere: https://cohere.com

[3]

c4ai-command-r-plus: https://huggingface.co/CohereForAI/c4ai-command-r-plus

[4]

c4ai-command-r-plus-4bit: https://huggingface.co/CohereForAI/c4ai-command-r-plus-4bit

[5]

Argilla: https://argilla.io

[6]

KAIST: https://huggingface.co/kaist-ai

[7]

Mixtral-8x22B-v0.1: https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1

[8]

Odds Ratio Preference Optimization: https://arxiv.org/abs/2403.07691

[9]

distilabel-capybara-dpo-7k-binarized: https://huggingface.co/datasets/argilla/distilabel-capybara-dpo-7k-binarized

[10]

MT Bench: https://huggingface.co/spaces/lmsys/mt-bench

[11]

IFEval: https://arxiv.org/abs/2311.07911

[12]

LightEval: https://github.com/huggingface/lighteval

[13]

🤗 Open LLM Leaderboard: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

[14]

Mistral AI: https://mistral.ai

[15]

Gemma: https://ai.google.dev/gemma/docs

[16]

Nous-Hermes-2-Mixtral-8x7B-DPO: https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO

[17]

Nous-Hermes-2-Mixtral-8x7B-SFT: https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-SFT

[18]

Mistral-7B-Instruct-v0.2: https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2

[19]

Batch API: https://platform.openai.com/docs/api-reference/batch

[20]

Assistants API (v2) FAQ: https://help.openai.com/en/articles/8550641-assistants-api-v2-faq

[21]

Fireworks AI: https://fireworks.ai/models

[22]

Stable Diffusion 3 API Now Available: https://stability.ai/news/stable-diffusion-3-api