苹果AI划时代登场：整合GPT-4o、Siri全面进化、每个系统都能用
文 / 郝博阳 赵阳
凌晨的WWDC上，苹果全部6大系统更新，还配上了40分钟的AI计划图。全程干货满满，信息点多得人都有点喘不过气来。
提起近几年的WWDC，你都能想到什么？除了作为one more thing登场的Vision Pro以外，能让人记起的实在是不多。锁屏自定义、OCR文字识别、Widget组件登场——iOS的更新逐渐成了一系列小升级的集合。它们都看起来挺酷，但用处挺少，就像2022年的灵动岛。
不仅iOS陷入了这样的困境，安卓系统也是。在今年5月的I/O大会上，连谷歌自己都坦诚说近几年实在没什么变化——底层技术没有大的发展，系统产品上也就只能止于“雕花”。
但现在，新的可能横扫一切科技产品的技术革新总算来了。我们也因此看到了这一场号称iOS”史上最大更新“的发布会。
除了过瘾以外，在这次发布会上，你才真的感觉AI时代来了。
谷歌和微软夹击下，在AI策略上一直处于被动的苹果，凭借着其对系统的深入理解在这次WWDC上甚至带来了一丝反超的意味。
小到图像、相册、以及备忘录，邮件，大到Siri系统的革新，AI带来的改变几乎无处不在。苹果试图将这一新获得的能力，最大化的运用在它已有的系统之内。
下面我们就来看看，苹果到底是如何将AI带进它的系统里去的。
6大OS齐更新，AI润物无声
苹果先快速梳理了一下6大OS的更新，其新功能里那些复杂的理解、推测，信息整合处处都透出了AI的影子。
visionOS 2
首先登场的是备受关注的VisionPro最新系统：visionOS 2。Vision Pro团队负责人Mike Rockwell表示，在过去的时间里，Vision Pro和visionOS为广大用户的娱乐、工作和协作，解锁了众多新可能。而开发者们，也从Vision Pro里汲取了更多的灵感，这在其他平台上是无法实现的。
Mike Rockwell介绍称，截至目前，已有2000多款专为Vision Pro打造的应用程序，而兼容iPhone和iPad的应用也已超过150万个。
本次全新升级的visionOS 2带来了空间照片功能。现在通过AI计算分析，visionOS 2就可以把图库中的所有2D图像转化成空间3D实景尺寸的图像。
除此以外，visionOS 2整体的交互也有所升级，提供了更多快捷手势，让你只需点击即可导航到主屏幕，并且你还可以翻转手以调出控制中心、通知、Mac虚拟现实器等常用功能。据悉，今年晚些时候，这个Mac虚拟现实器功能还将拥有更高的分辨率、更大的尺寸。它甚至能进一步延展成环绕的超宽屏，宽度相当于两台4K显示器并排摆放。
不仅如此，visionOS 2还新添加了旅程模式，让你在旅途中更好的享受大屏观看电影或工作体验。
刚才提到，在过去一年里，visionOS上有2000多款应用为Vsion Pro专门打造。为了更多更好的应用不断涌现，苹果在开发者端还提供了更多API，包括制作TabletopKit和可以加载企业软件的API，为企业工作和App的创作的提供了更好工具。
而为了提升其空间视频的制作，苹果还与Cannon联合，推出全新的EOS R7镜头可用于拍摄空间视频，并给Vemeo、 Final cut提供空间视频剪辑能力。此外，苹果沉浸式视频（180 度 8K 格式）与 Blackmagic 和 达芬奇达成新合作，由后两者提供更专业的拍摄和调色的工具。有了这些工具，红牛正在制作沉浸式体育系列节目，它们也会在苹果TV上登陆。
苹果宣布，Vision Pro会新向8个国家和地区发售，首先是中国大陆、日本和新加坡，发售日期为6月28日。其次是澳大利亚、加拿大、法国、德国和英国，发售日期为7月12日。
iOS 18
除了visionOS 2和Vision Pro在国内发售的消息以外，苹果在WWDC上也正式公布了iOS 18。全新的iOS 18对控制中心、照片、隐私控制等方面进行全面优化。
苹果的软件副总裁 Craig Federighi 展示了iOS 18的一系列更新。首先是可定制的主屏幕，可以让你自由地将应用程序图标放置在你想要的任何位置。例如，你现在可以把喜爱的墙纸、应用程序和各种小组件添加到主屏幕中。而且，苹果还带来了全新的深色外观模式，来匹配你想要的桌面色调和风格。
此外，苹果还对控制中心进行了升级，你现在不仅能够在多个控件之间滑动，而且苹果还面向开发者推出了新的控制API，可以把你认为最重要的功能在最显著的位置展示，甚至你可以在锁屏状态下，将相机和手电筒换成其他功能。
在安全隐私方面，iOS 18现在可以单独锁定某一个应用，让它需要通过验证才能打开，在一定程度上增强了隐私保护。而且，如果你有哪个应用程序不想被别人知道，现在你可以把它藏起来，放到一个新的带锁的隐藏APP文件夹里。
全新的iOS 18还可以在信息回复中更加更多的表情符号，并且将有粗体、下划线、删除线和斜体的新格式展示。
对于日常大家常用的照片功能来说，为了与 Android 上的 Google Photos 进行强有力的竞争，苹果对iOS 18 中的照片应用进行了大规模的优化。其中，就包括人脸识别分类、照片集置顶等一系列快捷访问功能。苹果将人工智能引入到了照片应用，让你能够使用自然语言搜索照片。当然，你还可以清理图片背景中的物体，类似于“路人消除”的功能。
此外，苹果还在iPhone 中增加了卫星通信，在没有无线局域网或蜂窝网络的情况下，允许通过卫星进行信息发送。
在支付方面，为了进一步帮你替换实体钱包，苹果推出了Tap to Cash功能。这是一种快捷又私密的Apple Cash转账方式，无需共享电话号码或电子邮件地址。有了Tap to Cash，只需将你们两个的手机靠近即可完成支付。
另外，iOS 18还有一项重要的更新：苹果宣布支持 RCS ，确认它将随 iOS 18一起推出。不过，除此之外，苹果并未透露任何其他细节。
macOS
在WWDC24上，苹果正式公布了macOS 15 Sequoia，其中包括Apple Intelligence、iPhone 镜像、跨平台密码应用程序等等。开发者测试版现已发布，公开测试版将于 7 月发布，完整版将于 2024 年秋季发布。
苹果介绍称，macOS Sequoia包含有Apple Intelligence，这是一套适用于iPhone、iPad和iOS 的AI功能。比如，苹果在WWDC上演示的写作功能。它可以总结电子邮件和其他应用程序中的文本，并自动进行电子邮件的撰写和回复。而且有了Apple Intelligence，Siri现在也可以通过语音提取上下文信息进行回复。
苹果宣布，Apple Intelligence 将于“今年夏天”与Sequoia测试版一起推出，但是想要设备拥有这一功能需要M1或更高版本的处理器。
另外，全新的macOS 15 Sequoia中还拥有iPhone镜像（iPhone Mirroring）功能，可让你通过Mac来控制你的手机。在演示中我们看到，通过iPhone Mirroring，你的iPhone屏幕可以完全镜像到Mac上，并且你可以通过触摸板，像操作手机一样来滑动屏幕，甚至可以通过Mac键盘在手机上进行打字。
本次Safari也迎来了更新，新功能包括使用机器学习来检测和总结页面上的重点信息，生成摘要和目录。而且，它还为页面视频内容提供了画中画模式。
macOS 15 Sequoia还新增一个跨平台的Passwords应用，可以存储多种新类型的帐户信息，包括Wi-Fi密码、密钥、验证码和共享密码等等。它将在iOS、iPad、Mac、visionOS和Windows上使用。
tvOS
WWDC24中，苹果还宣布对tvOS进行了优化，为你观看电视带来了全新的体验。
苹果介绍称，Apple TV+引入了一项全新功能InSight。它可以让你在观看Apple Originals节目或影片时，只需在遥控器上向下轻扫就会实时显示演员及其角色名称。而且，如果你对正在播放的歌曲感兴趣，你也可以快速查看曲目并将其添加到Apple Music播放列表中。
音频方面，tvOS的增强对话功能可利用机器学习技术来提高人声清晰度，确保演员的对白始终听得清楚，而且字幕也会智能添加，当你暂停或回放事，它会自动弹出字幕。目前，这个全新的增强对话功能可以适用于电视、音响以及AirPods和其他蓝牙设备。
此外，搭载了全新tvOS的Apple TV还新增21：9宽银幕模式，可以截取Apple TV剧集中的精彩画面做屏保。
除了在电视上对音频的优化以外，苹果还把新的音频技术应用到了AirPods和游戏上。
在易用性方面，苹果表示，未来你所使用的AirPods在配合Siri应用时将更加简单方便——免提体验丝滑又顺畅。比如当你在公交车上不方便开口回应Siri时，有了新的音频功能，只需要你稍微点点头或摇摇头，AirPods就知道你要做什么。
另外，AirPods还加入了全新的语音突显功能，可以在各种嘈杂的环境下，消除周围的背景噪音，清晰的接听电话。
值得一提的是，AirPods进一步对空间音频进行了优化，号称可以带给你前所未有的沉浸感，提升游戏体验。
苹果表示，这个升级后的空间音频技术，将在腾讯游戏和EA联合出品的Need for Speed Mobile首批加入，并于今年秋季推出。
watchOS
在WWDC24中，苹果还带来了全新的watchOS 11。在运动、健康监测以及智能应用方面再次升级。
在运动方面，watchOS 11加入了全新的训练负荷功能。训练负荷功能可以通过你的训练强度和时长，配合心率、配速和高度这些热量值数据，结合年龄、体重等个人数据，通过新的算法自动将传感器数据，转为对你训练的耗能评分。打分从1-10，看你是否真的竭尽了全力。充分了解自己、了解自己的运动强度——苹果称，这是watchOS 11中帮助你保持活力的新方式。
此外，苹果还带来了全新的Vitals App。这款应用可以通过你历史以往的心率、睡眠呼吸频率以及手腕温度等信息的对比，判断你当前的身体状况，只要有不合格的指标超出，你就会马上得到提醒。
在全新的watchOS 11中，苹果针对智能叠放功能也进行了升级。苹果称，它会变得更加智能，各种小组件能在你需要时自动出现，比如快下雨时会有降水预测小组件来提醒你、出国旅行时会有翻译小组件在旁协助。
而且，智能叠放功能还增加了类似“报平安”的新功能。比如，当你和朋友聚会后，让你的朋友知道你已经安全到家；当你外出夜跑时，可以给你的朋友同步的信息等等。
还有一个比较有趣的是，现在新的watchOS 11还能帮你找到最适合你表盘的照片了。通过机器学习，系统能够通过面部表情、画面美感以及构图等等，智能的识别、评估和精选出最佳照片用于你的表盘设置。显然，这对于选择困难症的你来说，可能是一个不错的功能。
iPadOS
本次iPadOS 18升级涵盖了iOS中的主要更新，包括个性化设置，自定义控制中心和照片重温功能。
本次升级中最重磅的就是iPadOS对App的重新布局，现在iPad里的应用都按照App名+浮动标签栏的模式展示，在其中你可以调节你想用的功能/内容。而且在进入内容后，标签栏也可以变成侧边栏。
同播共享（SharePlay）更新，可以远程控制家人的系统，还可以把自己在iPad上的展示涂鸦分享给家人。
苹果还带来了新的计算器升级，添加了Math Note系统。可以利用Pencel直接手写数学算式，然后直接帮助你计算出结果，甚至能帮你计算复杂公式，并且可以理解所有不等式里的变量变化。还可以给出对应的函数图像。
MathNote写出的内容可以直接同步到新的备忘录里。
除此以外，笔记还推出了新功能Samrt Script，它将利用强大的“设备端机器学习风格”让手写更好、更流畅、更直、更清晰。写字不好看再也不用愁。用户可以将文本粘贴到手写笔记中，它会显示在你的手写内容中。它还可以更好地识别你的笔记意图，支持手写内容的拼写检查、文本换行和复制粘贴。比如你可以通过划掉直接删除你的笔记，还可以随意变化笔记中位置，为新的笔记腾出空间。
苹果的大计划亮相：Apple Intelligence
路线图公布，隐私成重点
在介绍苹果Apple Intelligence之前，库克先讲了苹果使用AI的原则“我们希望带来的结果能展现出我们产品的核心原则，它必须足够强大，能在各种要紧事上帮到你，也必须直观易用，还要深度整合到产品的使用体验中。更重要的是，它必须能懂你，并以你的个人情境为基础，比如日常安排、人际关系、沟通交流等。另外，它必须从设计之初就注重隐私保护。“
接着库克总结道：“所有这些加在一起，就不止人工智能那么简单，这就是个性化智能，也是Apple接下来的重要一步。”
苹果高级副总裁Craig表示Apple Intelligence这项智能技术的真正独特之处是能理解你的个人情境。它根据你的个人数据，你现在打开的页面等背景，调用多种Agent能力理解你的需求，并完成你的目标。比如当你说想去为你家人接机时，它可以同时调用邮件里，航班资讯等一系列信息，并调出地图告诉你怎么去想去的地方。苹果将之命名为个人情景感知。
这不禁让人想到了微软前几天公布的回忆（Recall）功能，它引发了大家对于隐私的极大焦虑。但对于苹果来讲，这似乎不是什么问题。它提供了两种解决方案，首先是能在端内运行的大模型功能就会仅通过端侧AI运行，苹果只在端内收集信息而不会传送到云端。大多数AI功能都可以完全在端侧完成，这主要是苹果的超强芯片的功劳。深度集成的生成模型需要巨大的处理能力。
其次，如果是复杂到非要用云端模型的话，其云端模型都不可以不经你同意就存储相关信息。为了保证你的云端使用和信息安全，苹果还打造了私人云端计算。这些模型都会在他们使用 Apple Silicon 专门创建的服务器上运行，因此也拥有极强的隐私保护功能。在这里你的数据绝不会被长期储存，它只用于完成其云端的大模型计算步骤。在运作过程中，其加密方式将云锁定到您的手机。
然而马斯克表示：根本不信。接了OpenAI，隐私就没戏。
他还进一步表示，在他的公司，集成OpenAI的苹果将被禁用。
Graig还表示，Apple Intelligence另一个深刻影响，就是它能跨多个app执行操作，而且它所需工具的各种资源就在你口袋里常用app中，Apple Intelligence能取用这些工具。这正是AI的下一步，作为智能体的AI。而其载体就是Siri。这估计就是苹果灰质计划（Grey Matter Project）的关键。
Siri的新纪元
与之前传言的Siri已死不同，苹果官方给出的数据时，它现在一天内会收到高达15亿次的调用需求。
而新的Siri将更自然，更相关，更个人化。它会和系统进行更深入的整合。
这种结合首先出现在其出场方式上。现在它被唤醒后出来的不再是那个气泡，而是一圈围绕屏幕的光晕。
而且它也终于可以记住上下文对话了。对同一件事你不用再反复提及，说代词就好。
对于那些不方便说话的场景，Siri现在支持打字了！比如说，当你感觉危险时，你可以用它悄悄报警了。
作为最基础的大模型能力，Siri现在可以作为一个知识库应用，但暂时只能回答你对苹果功能的疑问。
除了以上这些变化之外，其他的Siri升级都需要等到明年之后。但这些升级看起来都相当让人期待。
明年苹果将带来Siri的屏幕内感知功能，它可以看到屏幕上发生的事情。比如你的朋友向你发送了他们的地址，你只需说“将此地址添加到联系人卡片”，它就会执行此操作。
Siri 将成为一个可以采取行动的智能体，它可以调用各种App内的功能，比如找到照片，调节照片。还可以跨应用使用。
通过之前提到的个人情景感知。Siri也会通过你的个人信息更好的理解和处理你的需求。
而Siri调用应用的能力来自于苹果的App Intents框架，它让App能定义Siri、快捷指令，以及其他系统体验的一系列操作。而开发者可借助App Intents架构定义他们App中的各种操作。
介绍Siri新功能的Kelsey Peterson表示，这次WWDC将会是Siri的新纪元。
AI在应用端邮箱功能
苹果邮箱现在加入了Rewrite 功能，能帮你智能生成文本的多个版本，并让你从中选择。你可以选择语气，格式。语气上可以让他更正式，更清晰。格式上你甚至可以把邀请改成一首诗。它还能只改你选择的一部分，而非全部。
Apple intelligence还提供了总结，邮件的智能回复功能。现在他会自动总结你的邮件，你在邮箱里看到的就是最重要的总结。而且它还会把最近最重要的临期事件邮件自动放在最上方。
这项功能在短信里也一样，它会把那些亟待处理的问题放在最上面的地方。
图像能力
Genmoji，可以在设备端用键盘创造最应景的Emojii。还可以在多个被选中选择。你还可以直接用照片形成Emoji，并将它放进你的对话里。
Image Playground，与过往复杂的文生图软件不同，它更私人化，会根据对话建议你生成图像的几个关键词，比如你最近对话的朋友。而且你也不用费心想Prompt，用几个词生成图像的预览。Image Playground 可在各种应用程序中使用，还有一个专用的 Image Playground 应用程序。还有一个供第三方开发人员使用的 API。
比如备忘录里的新增的Image Wand，就是通过接入Image Playgrund把草图直接转化成更完整图像。在这里你用Pencil画的草图加上一些关键词，就可以生成新的更完整的图像。
相册
首先苹果补齐了其他安卓手机都有的魔力笔刷功能，即用生成式AI更改照片。
苹果还利用AI提升了搜索能力，现在你可以用自然语言来找具体的照片。更进一步，你甚至可以在一个视频里找到特定的段落。
苹果还展示了一项非常有趣的延展功能：回忆相册。还可以摘取与你需求相关的照片，自动组合成一个影片，形成关于这件事所有回忆的相册视频。连音乐都不用你挑，而是AI直接从Apple Music里选择最搭配的音乐。
除此以外，Notes 和 Phone 应用程序也增加了新的 AI 录音和转录功能。
官宣OpenAI合作，但并不是对方的唯一
苹果还正式宣布了与OpenAI的合作。Siri可以直接调用ChatGPT，你可以利用Siri和它对答。在应用中，也可以直接调出ChatGPT，Apple对模型和应用本身进行了很好的融合，让ChatGPT的产出，如大纲，文章能直接显示在应用中。用户可在iOS系统中免费直接调用ChatGPT，且不用创建账户。若用户已有账户，可以进行关联。ChatGPT的融合会在今年稍后上线。但ChatGPT不会是唯一一个和苹果合作的大模型公司，苹果表示，它准备整合多个AI外部模型，避免用户需要在不同App间切来切去。
开发者用得上的AI才有价值
Apple Intellengence 的效果如何可能最终还是要看开发者社区的发掘。为了让开发者更好的使用这项功能。苹果以全新API和框架更新了SDK，例如，开发者可以将Image Playground加入自己的app，添几行代码就行了。Xcode也融合了人工智能能力，帮助开发者更好的在Swift上开发App。
总之， AI这回在苹果的系统里，基本上做到了无处不在。
结语
在AI风起云涌一年半之后，苹果总算赶上了这班车。
看似好像晚了点，但也许是刚好。
在它之前，已经有很多安卓系手机厂商尝鲜过了AI。在海外，谷歌去年10月份就公布了第一代AI手机Pixel 8和其对应的AI系统Android 14；三星今年一月份则打出了AI for All的口号，S24里塞满了新AI的功能。国内的手机厂商更甚，只要是叫得上名的，华为，小米，OPPO，vivo，不论哪家都被AI赋了能。
但仔细拆解下来，他们不过是把大语言模型塞进了手机，让它作为Chatbot去做总结，翻译之类它擅长之事。再试着把其中的生成能力融合进一些程序之中。这固然是AI很重要的一个应用方向，但对于手机来讲，这只是功能，而非革命。
甚至这些功能中的很多都像近几年iOS的更新一样，噱头大过实用性。
但正如库克所说，能带来改变的AI必须足够强大，能在各种要紧事上帮到你，也必须直观易用，还要深度整合到产品的使用体验中。
苹果其实在努力朝这个方向前进。
虽然现在苹果的AI功能与竞品大体相似，但一些比竞品深一步的设计确实是画龙点睛。比如说苹果在各个环节都提到的智能排序信息体系，它可以把最重要和最紧急需处理的消息优先在锁屏或应用场景上排序给你。像马上需回复的邮件，天气预报里一小时后的大雨都可以让你第一时间看到并处理，贴心如斯。
在它与应用的融合中，许多点看得出来是真需求，而非炫技。比如Smart Script，能实现手写内容的简单擦除、移位，这是利用AI解决掉过往用户体验中痛点。在其图像生成应用Image Playground中，为了给一般用户降门槛，它不需要完整的Prompt，只需要关键词就能生成。它甚至会根据你最近的对话给出关键词建议，懂到你心里。
另外，苹果在AI上还寄出了它的传统杀手锏：隐私保护。
苹果对此无所不用其极，甚至用上了私人云计算的服务确保你在利用AI时的隐私安全。这毫无疑问属于后发优势，在微软的Recall 被黑客轻松破解翻车之后，AI使用方面的隐私安全越来越成为人们的核心关切。苹果在此处的强调非常及时。
最后，苹果给AI应用落地画出的路线图也比对手要清晰。它想让AI系统“能懂你，并以你的个人情境为基础。“苹果计划利用你的所有端侧个人信息来让AI真正成为一个了解你的个人助手，而非一个与你无关的问答工具。这才是端侧融合的真正意义，也是用户想要的和他们真正相关，有用的AI。而苹果希望能达成的利用AI在多程序间联动应用的目标，更是智能硬件的下一个道标。
因为对AI和其他所有智能硬件来讲。一个更底层的革命，是以AI为中介，让他作为一个全能的Agent型助理，改变我们与应用的关系。
这正是苹果打算赋予Siri的新使命。
和Siri当年一样，这条路，它是第一个走的。虽然这一切可能都要在明年才得以实现，但这确实是我们想要的，明确的AI未来。
有很多人认为苹果这种以AI为中介的系统会让苹果的App Store生态崩溃。但其实并不会。因为只要AI还需要调动App来完成工作，那App的遴选，推荐和使用还是要经过苹果。设备和系统本身才是App Store的围墙。
这一步步的改进，其实很冒险。比如有些功能从现场演示看还是过于理想化，比如更改邮件排序，这是之前邮件软件都不敢做的事情。如果出了垃圾邮件被前排放置的情况，其对苹果的影响应该不亚于谷歌那些丑闻。
而能处理困难问题，跨应用的Agent需要更大的算力和更好的模型。这个画了的饼要能实现，找到效果、需求、成本间的平衡才是最重要的。
因此下一代智能设备的舞台，苹果还能不能唱主角。决定的因素可能在6月，而不是9月。
但从今天苹果的表现来看似乎还相对比较让人放心。
后来居上的故事，谷歌没演出来，苹果也许能演好。
从这次之后的WWDC，终于又一次让人真正期待起来了。