谷歌CEO Sundar Pichai开场就指出，过去一年，AI成为热议话题，有了生成式AI，我们将迈出下一步。他说，要让AI对人人都有帮助，通过AI增加知识，提升学习能力、创造力、生产力，让他人能创新，负责任地创造和配置。
在本届 I/O 开发者大会上，最亮眼的产品要数谷歌发布的最新大语言模型（LLM）PaLM 2。PaLM 2 是⼀种基于 Transformer 的模型，使⽤类似于 UL2 的混合⽬标进⾏训练。
谷歌于 2022 年 4 月首次宣布推出 PaLM 模型。PaLM 的应用在这一年取得了很大的进展，今年 3 月，该公司推出了一款适用于 PaLM 的 API 以及一系列人工智能企业工具，帮助企业“通过简单的自然语言提示生成文本、图像、代码、视频、音频等”。这次大会上，Pichai 宣布推出 PaLM 2 预览版本，改进了数学、代码、推理、多语言翻译和自然语言生成等等能力，我们摘取其中几个亮点看一下：谷歌声称，PaLM 2 是一种最先进的语言模型，具有改进的多语言、推理和编码功能。PaLM 2 在所有数据集上都优于 PaLM，并取得了与 GPT-4 竞争的结果。之前的大型预训练语言模型通常使用以英语文本为主的数据集，谷歌设计了一个更多语言和多样化的预训练混合模型，扩展到数百种语言和领域（例如编程语言、数学和并行多语言文档）。更大的模型可以处理更多不同的非英语数据集，而不会导致英语语言理解性能的下降，并应用重复数据删除来减少记忆。PaLM 2 在多语言文本方面接受了更多的训练，涵盖 100 多种语言，显著提高了其在多种语言中理解、生成和翻译细微差别文本（包括成语、诗歌和谜语）的能力。根据基准测试，对于具有思维链 prompt 或自洽性的 MATH、GSM8K 和 MGSM 基准评估，PaLM 2 的部分结果超越了 GPT-4。PaLM 2 还通过了“精通”级别的高级语言能力考试。其中，PaLM 2 的日语水平达到了 A 级，而 PaLM 是 F 级。PaLM 2 的法语水平达到了 C1 级。PaLM 2 和 PaLM 在最新的专业语⾔能⼒考试中的表现不仅如此，PaLM 2 还了解重要的语言细微差别。在一篇描述 PaLM 2 功能的研究论文中，谷歌工程师声称该系统的语言熟练程度“足以教授该语言”，并指出这是由于其训练数据中非英语文本更为普遍。PaLM 2 的广泛数据集包括科学论文和包含数学表达式的网页，因此它还展示了逻辑、常识推理和数学方面的改进能力。
PaLM 2 还改进了对编写和调试代码的支持。该模型使用 20 种编程语言进行了训练，包括 JavaScript 和 Python 等流行语言，还包括 Prolog、Verilog 和 Fortran 等语言。PaLM 2 构成了 Codey 的基础，Codey 是谷歌用于编码和调试的专业模型，它也作为其代码完成和生成服务的一部分推出。代码语⾔模型是当今最具经济意义和被⼴泛部署的 LLM 之⼀。为了在开发⼈员⼯作流程中进⾏低延迟、⾼吞吐量部署，谷歌通过在扩展的、代码密集型、多语⾔的数据混合上继续训练 PaLM 2-S 模型，构建了⼀个⼩型的、特定于编码的 PaLM 2 模型，谷歌将⽣成的模型称为 PaLM 2-S* 。PaLM 2-S* 在大量公开可用的源代码数据集上进行了预训练。它擅长 Python 和 JavaScript 等流行的编程语言，但也可以生成 Prolog、Fortran 和 Verilog 等语言的专用代码。PaLM 2-S在除了两种语言之外的所有语言上都优于 PaLM，同时在像 Julia 和 Haskell 这样的低资源语言上几乎没有下降。例如，PaLM 2-S在 Haskell 上比更大的 PaLM-Coder-540B 提高了 6.3 倍，在 Julia 上提高了 4.7 倍。值得注意的是，Java、JavaScript 和 TypeScript 的性能实际上比原始语言 Python 更高。PaLM 2 可以跨编程和自然语言生成代码和自然语言。大会上，Pichai 还展示了在修改代码 Bug 后，PaLM 2 给出的韩语评论。谷歌内部已经有超过 70 个产品团队正在使用 PaLM 2 构建产品，包括分别针对安全知识和医疗知识微调而成的 Sec-PaLM 和 Med-PaLM 2。其中，Sec-PaLM 是专注于安全用例的版本，使用 AI 帮助分析和解释具有潜在恶意脚本的行为，并检测哪些脚本对个人或组织构成威胁。Med-PaLM 2 是基于健康数据训练的版本，可以轻松通过美国医学执照考试，达到“专家”水平。03赋能 Android 14 新操作系统，AI帮你回短信I/O 大会上，谷歌还展示了下一代移动操作系统 Android 14 的新能力。Magic Compose 将于今年夏天在谷歌的默认短信应用 Message 中推出测试版，它是一种基于 AI 生成模型的工具，让你在回短信的时候根据聊天内容获得大量提示。它会学习你的说话方式，你也可以让自己的回复内容看起来有不同的语气，或者用莎士比亚的风格来写。谷歌还使用生成式 AI 来帮你制作独一无二的手机壁纸，和 AI 画图一样使用语言提示完成：你可以 AI 建议的提示来描述你的最终创意愿景，这要归功于谷歌的文本到图像扩散模型。在该功能上，谷歌使用了公共领域的训练数据，应该可以保证系统不会创建受版权保护的图像。04对标GPT4，多模态支持，多集成工具，多国家开放在谷歌内部，PaLM 2 已经被用于支持 25 种功能和产品，包括该公司的实验性聊天机器人 Bard。Bard 在图像功能、编码功能和应用程序集成等方面都做了大幅更新。另外，在未来谷歌还计划集成的应用还包括 Sheets、Slides、Calendar、Keep、Tasks、Maps、Photos、Messages、Flights、YouTube、YT Music、Google Images、Imagen、OpenTable、Replit，以及 Adobe 的 Firefly。Bard 将更加直观地响应用户问题。比如对于“新奥尔良有哪些必看景点？”之类的问题，除了文本之外，用户还将看到丰富的图片视觉效果。用户还可以在自己的要求中附加图像和文本：最后，微软 5 月 4 日宣布公司旗下基于 ChatGPT-4 的 Bing Chat 功能面向所有用户开放后，谷歌在本次大会上也宣布，Bard 将向 180 多个国家和地区开放，其他更多国家和地区也将陆续开放。Bard 现在有日语和韩语版本，谷歌表示很快就会支持 40 种语言。这对产品的全球化将起到巨大的推动作用！随着新模型 PaLM 2 的引入，全系列工具的 AI 化升级，谷歌在大语言模型的应用上可谓来到了和微软同一个身位，甚至还再次领先了。在 I/O 大会进行的同时，谷歌的股价也大涨了 5%。但现在真的可以说 Bard 能和 ChatGPT 媲美了吗？让我们拭目以待！