WWDC24 Day2 与 AI 相关的内容

接着昨天WWDC24 Day1的AI内容，今天看看Day2提到了哪些AI 相关的技术或者产品。

辅助编程

• Code Completion
• Swift Assist

硬件基础

设备端的机器学习（On-device ML）主要依赖于苹果的硬件支持：

统一内存（unified memory），CPU、GPU 和神经引擎（Neural Engine）中的机器学习加速器（ML accelerators），构建了高效且低延迟的推理能力。

Vision

• 文本提取
• 人脸检测
• 身体姿态识别

Translation

• 简单的 UI
• 灵活的 APISwift Assist
• 高效的批处理

CreateML

用自己的数据来训练模型

• 目标追踪
• 数据源探索
• 时间序列模型

在设备上运行模型

可以在本地运行从 HuggingFace 上下载的各种模型：Whisper、Stable Diffusion、Mistral、LLama、Falcon、CLIP、Qwen、OpenELM。

1. 训练（在 macOS 上即可训练）
2. 准备（使用 Core ML 工具）
3. 集成（使用 Core ML）

研究贡献

MLX

MLX 是一个类似 NumPy 的数组框架，旨在在 Apple Silicon 上实现高效且灵活的机器学习，由苹果机器学习研究团队推出。

CoreNet

CoreNet 是一个深度神经网络工具包，允许研究人员和工程师训练标准和新型的小规模和大规模模型，用于各种任务，包括基础模型（如 CLIP 和 LLM）、对象分类、对象检测和语义分割。

OpenELM

OpenELM 是一个高效的语言模型家族，具有开放的训练和推理框架。OpenELM 使用分层缩放策略，在 Transformer 模型的每一层中高效分配参数，从而提高准确性。例如，在大约十亿参数预算下，OpenELM 的准确率比 OLMo 提高了 2.36%，同时需要 2 倍更少的预训练数据。

更多的研究贡献可以在https://machinelearning.apple.com/ 查看。