有视觉记忆的Agent、大变身的搜索、更强的AI全家桶和大一统的Gemini｜现场围观Google I/O的绝地反击
邮箱｜wangzhaoyang@pingwest.com
邮箱｜JessicaZhang@pingwest.com
今年的Google Shoreline圆形剧场 ，弥漫着一种前所未有的角斗场般的气息。
前一天OpenAI用GPT-4o和全新的ChatGPT把全世界掀翻，而Google要在今年甚至最近几年最重要的一场Google I/O上做何应对，似乎成了唯一的主题。
事实上，据OpenAI的人士透露，GPT-4o是一个至少两年前就已经开始开发的模型，而硅谷AI圈子之小，互通有无之频繁，其实不仅OpenAI有机会故意选在Google的大会前狙击Google，后者同样也会对此有所预期。
所以，当Pichai走上舞台中央时，一场反狙击开始了。
在这场持续两小时的发布中，Google有攻有守。
它对自己的看家业务搜索做了最彻底的一次AI化改造，还再次全面更新了Gemini模型家族。
守住OpenAI们猛攻的方向，同时发起进攻。
一方面很有火药味的发布了效果超过Sora的模型Veo，并且是可以立刻申请体验的产品；另外还展示了与GPT-4o 相似的语音视觉交互功能Gemini Live，同时，还更进一步推出了比OpenAI等对手更激进的AI智能体Project Astra。
以下为现场实录。
Gemini，Gemini，还是Gemini
当Google CEO Sundar Pichai走上台，在他的前几分钟讲话里，Gemini的频率甚至超过了Google这个词。
Gemini是去年Google I/O上正式推出的最核心的模型，而一年以后，Google已经用它完成了对自己内部的“大一统”。模型是Gemini，智能助手是Gemini，Android的核心是Gemini。甚至，Pichai都不叫自己Googler了，他们叫：
Geminier。
而当天大会上Gemini模型首先进行了更新。此前几个月，Gemini 1.5的长文本版本以预览版本推出，今天它正式对所有人发布。此前的Gemini 1.5版本上下文长度为100万token。而Pichai似乎轻描淡写的公布：
新版本长度再次刷新，达到200万token。
现场的开发者爆发出当天的第一阵欢呼。
“我们正式进入了Gemini时代。”Pichai直入主题说。目前有超过1500万开发者在使用Gemini做开发。而Gemini最近三个月时间达到了100万订阅用户。
关于Gemini的具体信息，自然是由Deepmind的CEO Demis Hassabis来讲。这也是这位传奇人物第一次Google I/O演讲。
在他的演讲中，第一个发布是Gemini 1.5 flash。这是一个针对端侧的模型，同样有100万和200万token的版本。这似乎指向了Google接下来对端侧的野心。
“我们总有很多模型同时在训练，我们会用我们最强的模型来帮助小模型。”
而对于此前推出的单独版本的Gemini App，Google也做了更新，推出了更高级别的订阅服务Gemini Advanced。也就是对标ChatGPT Plus的最高级别服务。
在这个服务里，一个新的功能看起来正是对昨天ChatGPT的更新的回应——Gemini Live。你可以在Gemini里实时无延迟地打电话来与AI互动，也就是GPT-4o昨天做的事情。遗憾的是这部分只是一带而过，看起来Google更多是想说，哪怕晚一天，也要告诉世界，不是只有你能做。
不过现场似乎对此略显失望，人们显然希望看到更多针尖对麦芒的发布。
有视觉记忆的AI Agent
于是，大的来了。
一个充满野心的AI Agent。
面对OpenAI的进攻，不能只是防守。Google也需要一些更加激进的东西来反击。这个东西就是Project Astra。这是一个还在研发中的AI Agent，而Pichai形容Google的梦想一直就是做出一个强大的AI Agent。
Google Deepmind CEO Hassabis亲自上台，讲解和展示了Astra的一个原型的运作视频。
在展示中，一开始一切都和我们见过的AI Agent差不多，可以通过用户打开的摄像头识别物体，与用户实时语音交互。而惊人的一刻在最后到来，当用户带着Astra走了一大圈后，突然提出一个此前没有涉及到的问题：
“你记得我把眼镜放哪了么？”
这是此前没有询问的问题，但摄像头扫过的时候Astra曾“看”到过他的眼镜，而AI Agent居然以视觉的形式记录了下来。
“你的眼镜在桌上苹果旁边。”Astra回答道。
这让现场一阵惊呼，也是此次发布会上最长的一次掌声。
此外，Google还明显针对Sora做了一次进攻。发布了一款全新的视觉模型，Voe。这是Google过往许多视觉模型的集大成者，也可以看作Sora逼迫下的一次内部资源整合。
在Voe的展示中，用户可以通过点击扩展，而继续增加视频生成的时长，这让它可以超过了Sora一开始的1分钟，并且可以保持一致性。
Google还着重展示了他们开发这些产品过程里与艺术家的合作。似乎也在隔空喊话那些对Sora不满的艺术家，来这里来这里，我更好。
终于对搜索下手：Google搜索最大的一次改造
除了对OpenAI的进攻的反应，人们也关心一件事：Google的搜索改造得怎么样了。
Google什么时候对搜索下手，是所有人期待的那个重要时刻。OpenAI此前的烟雾弹，Perplexity不停地碰瓷，都让Google一直显得太过安静。而这一次终于有了最大的一次更新和变化。
当数亿美国用户今天打开Google时，他们将看到近几年最大变化的Google。
AI overview，也就是AI生成的搜索答案总结，会出现在所有人的搜索框下。
而且，这个总结并不是一个固定的模版，而是根据你的问题进行调整。
比如，Google可以根据你的问题帮你做规划。这时候在搜索框下，会显示正在进行的步骤，然后在Overview里展示给你不同卡片，把需要的信息整理出来提供给你。
Google表示这是必须有强大的实时搜索才能做的，言外之意，那些没有搜索能力基础的公司，就别来碰瓷了。
而搜索的改造也只是个开始，它看起来很像是要变成Google激发用户AI需求的一个超级入口。
比如Google展示了一个场景，当用户哪怕不知道自己该具体问什么的时候，Google也可以给你推荐，与你做头脑风暴。而此时这个搜索的界面也进一步完全变成了另一个样子。像是不同卡片的信息流，每一个都可以进一步操作。
“Google会替你Google。”这是Pichai对此的定义。
更进一步，Google还展示了一个用实时视频对话来搜索的功能。而这也是全场进行了半小时后的第一次Live demo的环节。
当你买了一台唱片播放器，但你对此毫无了解，它出了播放问题，但你不知道问题到底在哪里的时候，你可以直接打开摄像头拍摄并询问。
而Google直接给出了AI整理的答案和解决建议。
“这就是Gemeni时代的搜索。”Pichai说。现场掌声再次响起。
对全家桶的AI能力进一步改造升级
Google I/O上的保留节目是对全家桶的新功能展示。而Gemini时代来了，这些全家桶也自然要更新。
Pichai在当天展示的第一个应用案例，是“Ask Photo”。9年前，Google Photo发布。每天有60亿的照片视频上传。Gemini让AI编辑更简单。
你现在可以ask photo，与照片进行对话。比如，你可以问Photo app，“我的汽车牌照是多少”。然后Gemini就在照片里寻找出来你的车告诉你答案。
或者你可以询问Photo，“我女儿是什么时候学会游泳的”，然后还可以进一步询问，“她的进步是怎样的”。Photo都可以把对应的照片和视频给你展示出来。这对于每天都抱着手机看自己宝贝孩子成长历程的人们来说，实在是太有用了。
这个功能的展示也让全场一阵欢呼。
此外Workspace也有了很多新功能，Google还展示了一个基于多模态能力的教学工具，你可以用语音提出教学要求，比如“给我一个用篮球解释力学原理的案例”，Motion就会自动用很自然的语音讲出来。
另一个让现场观众眼前一亮的功能，是Android对Gemnini的使用。现场展示的一个live demo中，一个诈骗电话打来，像我们经常遇到的电话那样，在一通义正严辞的提醒后，对方要求你把钱转到一个安全的账户。
而就在这句话说出来时，Gemini被激发了，直接弹出一个警告框，阻止了电话的继续进行。
全场响起可能是当天第二长的一次欢呼。
在发布会的最后，Pichai做最后总结时开玩笑说，肯定有人在数，我今天说了多少次AI。
“不用数了，Gemini数完了。”
然后大屏幕显示120。
“我说了这么多次AI。”
然后Gemini又加了1，变成了121。
现场都笑了。
很明显，Google依然正在一个整合资源的过程里。无论是对全家桶的能力提升，还是对搜索的改造，背后都是一个逻辑，要把Google这么多年积累下来的能力和资源用起来，由Gemini来做唯一的大脑，改造一切，守住并继续抢夺新的用户。
Google不会轻易下牌桌，AI大战会继续进行下去。
以下为当天Google I/O上各种发布的更多信息：
（1）Gemini 1.5 Flash ：更快、更经济的轻量化推理模型
为了满足用户对低延迟和低成本的需求，谷歌首先带来轻量化模型Gemini 1.5 Flash。它专为大规模服务设计，速度更快、成本低至0.35美元每百万tokens。
尽管1.5 Flash体积小巧，仍实现了100万个标记的长上下文窗口，开发人员还能注册尝试200万个标记。此外，它在跨大量信息的多模态推理方面表现出色，适用于摘要、聊天应用、图像和视频字幕、长文档和表格的数据提取等多种任务。
这种强大性能来源于“蒸馏”技术，该技术将1.5 Pro中最重要的知识和技能转移到更小、更高效的模型中。从今天起，超过200个国家的用户都可以在Google AI Studio和Vertex AI中使用Gemini 1.5 Flash。
（2） Gemini 1.5 Pro 迎来重大升级：200万上下文、更强大的推理和理解能力
今天起，Google最先进的多模态大模型Gemini 1.5 Pro 将在 Gemini Advanced 中直接供消费者使用100万标记上下文窗口，并在私人预览中扩展到 200 万标记。这使得Gemini 1.5 Pro能处理更更大量的复杂信息，生成更准确、更细致的输出。
同时，通过数据和算法改进，增强了模型的代码生成、逻辑推理和规划、多轮对话以及音频和图像理解能力。升级后的Gemini 1.5 Pro在MMMU、AI2D、MathVista、ChartQA、DocVQA、InfographicVQA和EgoSchema等多项公共基准测试中取得了显著改进，在多项图像和视频理解基准测试中也实现了最先进性能。
此外Gemini 1.5 Pro还能够遵循越来越复杂和细微的指示，包括指定产品级行为的指示，如角色、格式和风格等。谷歌也在 Gemini API 和 Google AI Studio 中增加了音频理解，支持跨图像和音频进行推理。
用户可以通过 Gemini Advanced 订阅服务体验最新的Gemini 1.5 Pro，支持超过150个国家的35种语言。
(3) 首个AI Agent产品Project Astra
Hassabis表示，Project Astra旨在像人类一样理解和响应复杂的动态世界，记住所见所闻以理解上下文并采取行动。同时，它需要主动、可教和个性化，使用户能够自然地与之交流，无延迟。
其挑战之一是将响应时间缩短到对话级别，这是一个困难的工程难题。Astra基于Gemini和其他特定任务模型，通过持续编码视频帧、将视频和语音输入结合到事件时间线上，并缓存信息以便高效回忆，从而更快地处理信息。
“基于 Gemini 模型，我们开发了能够高效调用视频帧和语音输入的代理，并增强了其语调范围，使其更好地理解上下文并快速响应。” Hassabis补充道。
未来，用户就可以通过手机或眼镜拥有一个专家级别助手。今年晚些时候，这些功能将出现在Gemini应用程序等Google产品中，如Gemini应用程序。
媒体生成工具
（4）Veo：比Sora更强的视觉模型
Veo能够生成超过一分钟的高质量1080p视频，涵盖多种电影和视觉风格。据介绍，Veo具备高级的自然语言和视觉语义理解能力，能准确呈现细节并捕捉情感基调。它理解“延时摄影”等电影术语，提供高度创作控制，生成的镜头中人、动物和物体的运动非常真实。
Google已邀请电影制片人和创作者试用Veo，并根据他们的反馈改进技术。Veo基于Google多年生成视频模型的工作，如GQN、DVD-GAN、Imagen-Video等，结合新技术提高质量和分辨率。Veo将作为VideoFX的私人预览提供给特定创作者，所有人可申请注册候补名单，未来可能直接引入YouTube Shorts。
（5）Imagen 3发布，文生图模型升级
Imagen 3是Google最高质量的文本到图像生成模型。它能生成细节丰富、栩栩如生的图像，视觉干扰明显少于之前的模型。并且能更好地理解自然语言和提示背后的意图，结合长提示中的细微细节，掌握多种风格。它还是迄今为止Google最好的文字渲染模型，使生成个性化生日祝福和演示文稿标题页成为可能。
从今天起，Imagen 3将作为ImageFX中的私人预览提供给特定创作者，用户可以注册加入候补名单。很快，Imagen 3也将在Vertex AI上提供。
此外，Google还设计并构建了音乐AI工具Music AI Sandbox，旨在为创意打开新的天地，让人们从零开始创作新的器乐部分并以新的方式转换声音。
（6）AI搜索
Gemini时代的搜索正在全面改变搜索的呈现方式、服务体验和广告方式。首先，美国用户将体验到近年来最大的交互界面变动。搜索框下方的信息会先呈现一个AI生成的概览，据Google透露，用户已通过搜索实验室数十亿次使用AI概览。这一功能增加了搜索频率，并提高了用户对搜索结果的满意度。本周，数亿用户将可使用AI概览，预计到年底覆盖超过十亿人。
搜索也不再是“一次性”的服务，而是一个AI智能体的入口。用户提出复杂问题后，AI会将其分解为小模块，提供准确的答案和建议，还可以根据问题和搜索结果为你拟定计划。例如，用户可以搜索“创建一个易于准备的3天餐计划”，获得来自网络的各种食谱，并能提出进一步需求和修改建议使答案更个性化，再快速将餐点计划导出到Docs或Gmail，“一条龙”式服务极大提升了搜索的实用性和便捷性。
此外，AI不仅提供答案，还能主动帮助用户寻找灵感并进行头脑风暴，创建AI组织的结果页面。未来，Google还会推出视频AI搜索功能。
这种改动也对广告产生了影响。Google表示，通过AI概览，用户会访问更多样化的网站，以解决更复杂的问题。AI概览中包含的链接获得的点击次数比传统网页列表更多。随着这一体验的扩展，Google将继续专注于为出版商和创作者带来有价值的流量，广告仍会出现在专用位置，并清晰标注以区分有机和赞助结果。
——从回答、计划、需求定制到组织和视频搜索，Google都会替你完成，而你需要做的只有提问。
（7）TPU
十多年来，Google一直在开发专用的AI硬件——Tensor Processing Units（TPU）。今天大会上展示的Gemini 1.5 Flash、Imagen 3和Gemma 2.0这些创新模型都是在TPU上训练和部署的。今天，谷歌也推出自己迄今为止性能最高、能效最优的第六代TPU——Trillium。
Trillium TPUs提供比TPU v5e高4.7倍的峰值计算性能，同时将高带宽内存（HBM）和芯片间互连（ICI）带宽翻倍。配备第三代SparseCore加速器，能更快地训练基础模型并降低延迟和成本。其能效比TPU v5e提高67%以上，是最可持续的TPU。它也可以在单个集群中扩展到256个TPU，并通过多切片技术和Titanium IPU扩展到数百个集群，构建大规模的超级计算机。
多项技术突破使得Trillium TPUs能够大幅提升AI工作负载训练和服务性能，处理更大模型，提升计算能力，改进大模型训练和服务性能。
（8）Gemini on Android
Google此次也在安卓平台上推出一系列全新AI功能，将搜索和智能服务提升到一个新的水平。此前，"Circle to Search"允许用户无需切换应用即可搜索，现在起它还可以作为学习伴侣，解答数学题、图表等复杂问题。目前这一功能已在超过1亿台安卓设备上提供，预计到年底这一数字将翻倍。
在与朋友的信息对话中，用户可以随时召唤Gemini生成图片，针对YouTube教程视频或较长的PDF文档提出特定问题，Gemini会在几秒钟内提供解答，就像把数据中心装进了口袋。
端侧模型上，接入具备多模态能力的Gemini Nano。用户可以询问照片信息或获取关于服装搭配的意见。Gemini Nano还将集成到Android Studio中，为开发者提供助力。此外，当收到不明诈骗电话时，AI系统还会自动发出警报，提示用户可能存在诈骗风险。
总之，Gemini正在将AI融入所有安卓平台的服务和应用中，为用户带来更加智能和便捷的使用体验。