苹果 AI 揭秘：自研大模型会怎么用，和 OpenAI 是怎么合作的？

WWDC 之后，关于苹果的自研大模型，以及苹果和 OpenAI 合作的细节，我们似乎所知甚少。

腾讯科技的记者在 WWDC 及相关圆桌结束之后，注意到两份重要的资料：

一份资料是苹果在官网低调发布的大模型技术文档，其中有很多值得深挖的细节。

原文链接：https://machinelearning.apple.com/research/introducing-apple-foundation-models

另外一份是主题演讲之后举办的一个不起眼的闭门对谈内容，对话的两个人是「苹果公司的软件工程高级副总裁雷格-费德里吉（Craig Federighi）和苹果公司机器学习和人工智能战略高级副总裁约翰-吉安南德雷亚（John Giannandrea），他们二位都直接向 CEO 库克汇报。对话的内容包括为何与 OpenAI 合作以及如何保护隐私等。

本文围绕这两份资料，试图抽丝剥茧地探究一下，苹果的「大模型竞争力」究竟怎样，OpenAI 在苹果智能中究竟发挥了哪些作用。

以及，未来硬件厂商在落地AI 时，可能会走一条什么样的端侧+云端的道路。

重点有两个：

• 苹果自研大模型的能力很强；3B 小模型打平其他主流 7B 模型，云端大模型与 GPT-4 Turbo 持平。

• OpenAI 并没有为 Apple Intelligence 提供支持，两者完全独立。Apple Intelligence 完全由 Apple 自研模型提供支持。

文章编译自「腾讯科技」，部分观点引自「共识粉碎机」。

01 

苹果自研模型能力很强

首先是信息逐渐清晰：有两个在发布会上并没说明的信息，在发布会后逐渐清晰化。

苹果低调发布了自研模型：不仅有端侧的小模型，还有云端大模型

在 Keynote 上，苹果一直在讲拥有了 AI 能力的端侧设备，能带给用户多么神奇的应用体验。但是这些模型到底是谁家的？哪些是苹果自研的，哪些是和 OpenAI 合作的？虽然承诺了隐私安全，但是究竟具体如何保障？马斯克连发推怒怼苹果如果集成了 OpenAI，将在公司禁用苹果。但是苹果整场主题演讲下来，我们都没找到明确答案。

直到发布会后，它发布了一篇技术博客，并在 State of Union 上公布了它会在苹果设备上用的模型细节：端和云模型，都是苹果自己开发的。

自研大模型赶上 GPT4

具体来看，苹果设备上的端侧模型是一个 30 亿参数（3B）的小模型，云上模型具体参数苹果没有公布。这两个模型的性能都相当能打。

3B 级小模型和主流几个 7B 级模型能力上苹果都能基本胜出（胜出+平手概率>50%)。而其云端模型则直接打到了 GPT-4 Turbo 级（胜出+平手概率 58.3%）。

这一发布可能才是整个苹果这波更新里最大的核弹：苹果自研出了 GPT4 级大模型，而且一出场就已经成熟到可以直接接入苹果的软硬件体系内了。

这意味着之前对苹果模型能力的质疑完全不成立。苹果现在不用依靠外部模型公司就能构建出自己内部闭环的 AI 系统。这是除了谷歌之外的其他手机厂商当下完全无法做到的。

这就是苹果把 OpenAI 只列为之一，而且是作为外部调用的模型之一的底气。

端侧小模型强优化

另外说说端侧模型，在发布会上苹果强调大多数 Apple Intelligents 的操作都会在端侧模型上完成。但在发布会后所有人几乎都在质疑，一个 3B 大小的模型是不是能真的完成发布会上展示的那些功能。

首先，3B 大小的端侧模型落地其实已经很不容易了。

看看苹果的竞品们的表现吧：谷歌在去年 12 月首次把其端侧模型 Gemnini Nano 部署到旗舰手机 Pixel 8 Pro 上，它的参数大小不过是 1.8B，而且能力非常局限。三星 S24 在端侧也用的是 Gemnini Nano。要知道 Pixel 8 Pro 具有 12G 内存，直到今年 5 月谷歌刚刚才能让 8G 内存的 Pixel 8 和 8a 也跑上这个 1.8B 的模型，还要下个月才能真正升级部署。而其他手机厂商部署的端侧模型基本上都是在 1B 级别的参数规模。

而苹果做到了让自己 8G 内存的 iPhone 15 Pro 跑起来一个 3B 参数的模型。这工程能力就甩出竞争对手一个身位。

在这之前，苹果已经为此做足了准备，在去年 12 月引起轰动的论文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》里，苹果就提出了解决小内存运行大模型的方法，使用窗口化（Windowing）以及行列捆绑（Row-Column Bundling）两项关键技术，来最小化数据传输和最大化闪存吞吐量。

在这次的技术文档中，苹果还提到了他们在模型框架中用上了分组注意力查询（grouped-query-attention）和 LoRA 适应器框架。这两项技术一个避免重复映射，一个可以压缩推理过程，都可以有效降低内存占用和推理成本。

另外，为了保证 AI 模型的运作不至于大幅降低手机功耗，苹果还配上了功耗分析工具 Talaria，及时优化功耗。

在这一系列操作之下，3B 模型的端侧部署才成为了可能。

其次，在这篇技术博客里，苹果也展示了他们如何去保障小模型的交付能力：不全能，但对具体任务做了加强。

具体来讲，苹果在基础模型上加了很多微调的适配器。适配器是叠加在通用基础模型上的小型模型权重集合。它们可以动态加载和交换，使基础模型能够根据当前任务实时进行针对性特殊化处理。苹果智能包含一系列适配器，针对应急判断，总结，邮件回复等诸多发布会上上的功能都进行了精细调优。

因此，至少端侧模型可以较好的完成基本的摘要、写邮件等最常见的工作。或者说，当下的大多数场景，包括自动回复、改写、语法检查、Summary 都用端侧的小模型跑。

综合来看，苹果在这次发布会上所展示出来的综合模型能力基本可以说是远超预期。从大模型到小模型都一跃进入了第一梯队。

只有新旗舰才能用上的AI，可能引发新的换机潮

另一个消息也很重要：虽然 iOS18 系统升级可以适用于 iPhoneX 以上的所有机型，但苹果的 AI 功能只能适用在 iPhone 15 Pro 及以上机型，其它终端需要 M1 芯片以上的能力。这意味为了能用上 AI，用户可能必须要进行一波换机潮。

这其实也不是苹果有意卡老用户。端侧大模型的运行瓶颈一方面是算力，一方面是内存。对苹果来说，算力问题可能反倒不是那么棘手。本次 Apple Intelligent 下放的产品从 M1 开始。M1 芯片负责 AI 推理的 NPU 能力其实还比不上 A16，但也足够处理苹果端侧模型的推理需求了。那 iPhone14 Pro 乃至 iPhone 15 为什么不行？还是因为内存不够。

因为在模型进行推理过程中需要占用很大的运行内存（DRAM），较小的内存会严重拖慢推理速度甚至无法完成推理。因此 iPhone 15 Pro 及以上的苹果手机才有的 8G 内存，可能就是当下经过一系列优化的 3B 端侧模型所需的最小内存数。

但这件事本身也有着优化的空间。昨天上交大发布的 PowerInfer2 手机推理框架就提出了进一步减小内存占用的方法。GeminiNano 下放到 Pixel 8 也说明了谷歌也在做一样的努力。

但内存需求小了，还有 7B，14B 的模型排队等着上端。长远来看，机还是不得不换。毕竟只有更大的端侧模型才能带来更多让用户买单的体验魔法。

02 

OpenAI 没有为苹果 AI 

提供专有支持

既然苹果自研的大模型能力如此强大，为何还要和 OpenAI 合作？

苹果公司的软件工程高级副总裁克雷格-费德里吉（Craig Federighi）和约翰-吉安南德雷亚（John Giannandrea）在 Keynote 之后的闭门对话环节揭示了这个细节，腾讯科技在 WWDC 现场的同事发回了这场对话的内容记录。「现有的拥有丰富公共信息的大语言模型，如 ChatGPT，也有其用途。这些非常大的前沿模型有一些用户很喜欢的有趣功能，我们将其集成到我们的体验中可以使用户体验更丰富。」

考虑到这一点，Apple 在 WWDC 官宣了与 OpenAI 合作，在其平台上提供更强大的 AI 服务。然而，值得注意的是，OpenAI 的ChatGPT并没有为 Apple Intelligence 提供支持，两者完全独立。Apple Intelligence 完全由 Apple 自研模型提供支持。

这就意味着，虽然 Apple 在 WWDC 现场官宣了和 OpenAI 的合作，但是这种合作并不是如外界猜测的，集成入苹果系统中的。这种合作更像是和第三方大模型公司合作的一个范式，Federighi 解释说 Apple 与 OpenAI 合作是因为 GPT-4o 目前是最好的 LLM，但 Apple 可能会在未来与其他 LLM 提供商合作，允许用户选择外部 LLM 提供商。SamAltman 的态度也很暧昧，一向高调的他，在「如此重要」的合作达成之后，仅仅发布了一条推特。

图注：传言 Sam Altman 去了 Apple Park，但是并没有上台的机会

根据 Federighi 所说，Apple Intelligence 被设计为高度个性化的智能，需要利用个人设备上的数据，如照片、联系人、消息和电子邮件等，执行任务。当用户有更复杂的 AI 请求时，OpenAI 的 ChatGPT 可以发挥作用。例如，某人可以使用他们的 Mac 或 iPhone 向 ChatGPT 发送查询，如果他们希望 ChatGPT 为他们编写电影剧本。

而且，Apple 在设计其与 ChatGPT 的集成时也采取了隐私优先的思维。未经用户许可，任何用户数据都不会发送到 OpenAI。在任何请求发送到 ChatGPT 处理之前，用户必须首先手动允许。「例如，我是医生，我可能希望将来引入一个医疗模型；我是律师，我可能有一个专为法律工作精炼的模型，我想将其引入我的个人设备中。「苹果认为这最终是将是对用户在个人智能方面所做工作的很好补充。」

• PCC 是苹果的 private 节点，这个主要是通过加密、IP 隐藏、无状态化、收紧特权权限、环境加固实现的，涉及个人隐私的数据（如个人生活照片、Message 和邮件）通过加密进去了就不会再去外部环境了。

• 而 GPT-4o 不会部署到 PCC 节点里面（OpenAI 不会把模型给 APPLE），所以 GPT-4o 只能处理非 Personalized 处理后的数据和相关的 request。编排层是 PCC 和手机端联动模式（如果纯放在云端加密传输，延迟增加，用户体验不好，所以放在终端可能性大）。

• 要保证和大模型交互端到端的隐私数据安全，尽最大可能保证被攻击面的缩小，整体来看苹果这套 PCC 的方案非常复杂复杂，涉及到芯片、软件、云端、终端整套的硬件、软件的安全方案，还要考虑到最后的用户体验的优化，对于其他手机厂商来说复刻出来非常有难度。

摘引自文章《AI 观察 20240613：苹果，小模型批发时代》

简单总结：

• 目前来看 Apple 大概率没有付钱给 OpenAI，在现有的调用模式来看，GPT4o 应该也不在 Private Computing。

• 整个的合作形式，相当于 Apple 给 ChatGPT 开了一级入口，Apple 免费用 ChatGPT 的用量。

• ChatGPT 得到了近似于预装的机会，未来有升级到付费版的可能。

• 如果苹果 11 亿 DAU 里面，有 2 亿 DAU 是 ChatGPT 付费版用户，那相当于 OpenAI 获取 500 亿流水，苹果抽成 100 亿，然后 Azure 拿到 200 亿的 GPU 租金。

通过与 OpenAI 的合作探路，未来苹果是否会像今天打造 APP 生态一样，继续在 Apple 的设备上引入百花齐放的模型，为用户提供无比个性化和智能化的体验？这些还是未知数，我们拭目以待。

03 

未来的 AI 端侧设备，

苹果有先天的生态优势

虽然苹果在 WWDC 上展示的这些应用场景看起来并没有多么神奇，但是不得不说，这些确实是用户实际应用中比较好的落地场景。比如 iPadOS 上笔记学习的功能，计算器全屏识别的功能，iOS 上 Genemoji 的能力等等，既有趣又有用。都是做应用，但是苹果显然做的更讨巧，更容易被用户深度的感知到。

在发布会后的一些直播讨论中，怒喵科技创始人李楠就表示：「苹果的端侧模型具有系统级别的权限和数据访问能力。如果你问苹果真的在 AI 能力上做到了什么？它是全行业第一个真正把手机本地的 API 与端侧模型无缝衔接的，并且是全行业第一个真正把用户个人数据拿给端侧模型进行 fine-tuning 的。别的端侧模型也想做这事儿，但是他们拿不到这些数据的访问权限。苹果的端侧 AI 的核心技术能力一定会越来越强大。」

这种强大的本源力量来源于苹果独特的生态体系，这是安卓希望做而难以做到的，而苹果可能是短时间内，能打通所有硬件终端设备 AI 体验和流转的，唯一的一家公司。

这无疑是苹果这么多年立足于科技行业顶端不曾跌落的重要的护城河。他们拥有极其坚实的生态壁垒，这不单单是产品和系统之间的，包括底层的芯片和开发工具，苹果都可以做到完全的统一。

这帮助苹果在端侧 AI 时代，即便是后来者，也能提供前人无法实现的 AI 生态，甚至他们能提供更多的 AI 应用生态场景，比如此次 WWDC24 上，苹果就展示了包括 AI 生成 emoji、AI 驱动的数学备忘录等等让人眼前一亮的功能，这相对于很多厂商还只在宣传 AI 抠图能力相比，显然会更加有吸引力。

「我们希望人工智能不是取代我们的用户，而是增强他们的能力"。克雷格-费德里吉在圆桌对话中谈到苹果对于 AI 的看法，「这与我们之前看到的人工智能都不尽相同」。

04 

如何保证数据安全，

是苹果未来一直要面对的

和 OpenAI 的关系确定之后，随之而来的问题是「苹果如何将已存在的用户数据交给第三方，完成 AI 生成内容的同时，保证它们的安全」。

这对于苹果来说极其重要。

作为今年 WWDC 最重要的产品，克雷格-费德里吉在发布Apple Intelligence 的时候，用了很重的篇幅去试图告诉用户，Apple Intelligence 所打造的这种「端+私有云」对组合方式，是多么的安全。苹果通过系统级的安全芯片加密，以及完全封闭的传输路径，去保证这一点……

苹果在主题演讲中着重提及了这部分的流程，他们在系统中增加了一个开关，所有输出到 GPT-4o 的内容，都一定是用户主动发起确认的内容。

同时克雷格也在圆桌上表示苹果处理用户需求的过程，如果要上云，他们拥有一套独立的加密算法，用户数据脱敏，处理之后数据会随即销毁，苹果对于这个过程中的数据是完全无法干预的。

苹果希望通过这样的方式方法，去告诉用户这足够安全。甚至他们还找到了一些独立的安全研究人员，开放给他们Apple Intelligence 的服务器，引入第三方去帮助他们证明用户数据的安全是不会被泄露的。

但这依然没能消除外界对于隐私数据安全外泄的担忧，尤其是在 Siri 接入到 GPT-4o 之后，用户数据如何脱敏、如何在苹果-OpenAI-苹果的这条传输路径中不走错路口等等问题，都一股脑的抛向了苹果。

面壁智能首席研究员韩旭在和腾讯科技的解读直播中也表示了担忧，他认为只要数据从苹果传给了第三方，无论是 OpenAI 的 GPT 还是 Google 的 Gemini，苹果可能都将会失去对于数据安全的控制权，这确实会对苹果的隐私安全提出新的挑战。

但好消息是，这并不是苹果第一次面临这样的问题。

苹果在选择搜索供应商的时候，曾经陷入过类似的讨论。当苹果将 Google 确认为 iPhone 默认的（海外）搜索引擎时，曾经就被质疑如何保证用户的隐私数据不被泄露。库克在接受外媒专访时，阐述的内容和如今他们选择 OpenAI 出奇的一致。

苹果选择 Google，库克表示谷歌在搜索引擎这一方面是做的最好的。

苹果选择 OpenAI，克雷格也表示目前 OpenAI 是苹果最好的选择。

库克在谈及搜索引擎时，表示苹果也在其中融入了很多的控制选项，如在 Safari 浏览器中开发了隐私浏览模式，并配有智能防跟踪器等，来为用户提供全方面的帮助。

而克雷格在谈及 AI 时，更多的还只聊到了他们在端侧+私有云的加密策略，但对于 OpenAI 的部分，显然还没有透露更多。

或许可以预见，在未来的很长一段时间里，苹果都会无数次的证明，自己的 AI 策略是安全的，包括自己的和第三方的，这对于苹果这家公司来说，是红线。

---

更多阅读

转载原创文章请添加微信：founderparker