DeepMind CEO 最新《纽约时报》专访：AGI 将使能源变得廉价甚至免费，货币性质也将发生转变
Google DeepMind CEO Demis Hassabis 近期参加了《纽约时报》的对谈，Demis 谈论了 Google 最新的 AI 突破、构建 AGI 以及在计算机可以完成每项工作的世界中会发生什么？
此外，Demis 还表示， AI 设计的药物和治疗方法可以治愈真正可怕的疾病，距离实现这一目标只有几年的时间。他认为，能源变得免费或廉价，从而导致货币性质的变化。
以下为这次对谈的全部内容：
Demis，在过去的几周里，除了 Gemini 1.5 Pro 之外，我们还看到了一堆新模型，现在又出现了两个叫做 Gemma 的模型，到底发生了什么？
我们一直很忙，非常忙。我不确定我们每周都会发布新产品，但目前看来似乎是这样。因此，让我为你解释一下。显然，我们有我们的 Gemini 模型，我们的主要模型 Gemini 1.0 ，去年 12 月开启了 Gemini 时代。当然，上周我们宣布了 1.5 版本，即新一代的 Gemini 。最后，我们今天宣布了 Gemma ，这是开源的，轻量级的开源最佳模型，适用于开放模型、开放权重模型。
PS：本号也开启了付费订阅专栏 🦄，内容涵盖一线投资人以及海外独角兽公司 CXO 的最新洞察与对谈，欢迎订阅 👉：硅谷顶级 Solo VC 最新 AI 洞察：开源模型助力应用层解锁新用例，单个基础模型玩家很难同时做好产品与分销......
我觉得有些人可能还在努力理解为什么会有这么多不同的模型。通常当我们了解 AI 时，我们往往倾向于将 AI 视为一种渐进改进的东西。你能谈谈为什么 Google 和 DeepMind 会同时致力于许多不同的模型吗？
是的，因为我们一直有，我们的核心团队一直是基础研究。因此，我们进行了大量的基础研究，涉及各种不同的创新、各种不同的方向。这意味着在任何时候，我们都在建立主要模型的主要轨道，也就是核心的 Gemini 模型，但也有许多更多的探索性项目正在进行中。
当这些探索性项目产生一些结果时，我们将其融入到主要分支中，直接融入到 Gemini 的下一版本中。这就是为什么你会看到像 1.5 这样的东西，紧随 1.0 之后发布。因为我们已经在同时进行下一个版本的工作了，我们有多个团队，每个团队都在不同的时间尺度上工作，彼此交替着。这就是你如何获得持续不断的进步。我希望这对我们来说是一种新的常态，以这种高速度进行交付。当然，我还是很负责任的，时刻牢记安全问题。
我想问问你最新的一次重大发布，就是 Gemini 1.5 Pro 。我关注和交流的人中，最激动的功能是一个非常长的上下文窗口。我之前听说的最长的上下文窗口来自 Claude Anthropic 模型，可以处理多达 200000 个 token ，基本上是 20 万个单词或单词片段。你们的新 Gemini Pro 1.5 模型可以处理多达 100 万个 token ，是之前的五倍。你能解释一下这意味着什么？为什么这是一件大事吗？
是的，长上下文非常重要，你可以把它想象成模型的工作内存，它一次能记住和处理多少数据？而且，你拥有的上下文越长，准确性也越重要。从这个长上下文中召回东西的准确性也很重要。你可以考虑一下从长上下文中召回东西的准确性。更多的数据和上下文可以考虑。
100 万意味着你可以处理大量的书籍，整个电影，许多音频内容，整个代码库。因此，如果你有一个非常短的上下文窗口，只有十万这样的水平，那么你只能拥有它的片段。你无法让模型推理或检索你感兴趣的整个语料库。因此，它实际上为许多新的用例提供了可能性，这些用例是使用较小上下文无法实现的。实际上，我们在研究中对其进行了测试，测试了 1000 万个 token 。
在研究中，我从 AI 研究人员那里听到的一件事是，这些大型上下文窗口的问题在于它们的计算成本非常高昂。比如，如果你在上传整部电影或生物学教科书之类的东西，并且你要询问相关问题。需要更多的处理能力来处理所有这些内容并做出响应。而且如果很多人都在这样做，成本就会很快累积起来。那么， Google DeepMind 是否想出了一些聪明的创新来使这些庞大的上下文窗口更有效率呢？还是 Google 只是承担了所有这些额外计算的成本呢？
这是一个全新的创新，因为你不能没有一些新的创新就拥有那么长的上下文，但是这仍然是计算上非常昂贵的。因此，我们正在努力进行优化。上传数据的初始处理需要，可能需要几分钟，如果你使用整个上下文窗口的话。但是如果你想想，这就好比是，一两分钟内观看整部电影或阅读《战争与和平》。要能够回答任何关于它的问题。
然后我们要确保的是，一旦你上传了它并且它被处理了，它已经阅读了文档或处理了视频或音频，那么随后的问题和回答这些问题应该更快。这就是我们目前正在努力的方向。优化它，我们非常有信心可以将其降低到，几秒钟的级别。
你说你们已经测试了 1000 万个 token，效果如何？这感觉上已经非常接近成为现实了吗？
在我们的测试中效果非常好，由于这些计算成本的原因，它实际上还不太实用。但是从准确性和它的能力来看，效果非常好。
我是指上周或上上周 ChatGPT发布了这个记忆功能。基本上只是一个小小的便笺，可以记住关于你的一些事实。如果你能创建一个版本，它可以记住关于你的 1000 万个 token ，它可能就能知道你的整个生活了。它可能会成为一个非常好的助手。
Gemini 能做到哪些 Bard 或之前 Google 语言模型做不到的事情？
Gemini 和 1.5 特别之处在于它是 Gemini 的本土多模型特性。我们从一开始就设计它，以应对任何类型的输入，文本、图像、代码、视频。然后如果你将其与长上下文结合起来，你会看到它的潜力。比如你可以想象，你正在听一场整场的演讲，但有一个你想了解的重要概念，你想直接跳转到那里。
另一个有趣的用例是现在我们可以将整个代码库放入上下文窗口中。这对于培训新程序员非常有用。假设，一个新的工程师在星期一开始工作。通常情况下，你必须浏览这数十万行代码，然后你要问专家这个函数在哪里？你需要去向代码库的专家咨询。
但是现在，你实际上可以将 Gemini 视为一种编码助手，以这种有趣的方式使用。它会返回一些关于代码重要部分的摘要，然后让你开始。这种能力非常有帮助，它使你的日常工作流程更加高效。我非常期待看到当 Gemini 被整合到工作空间等工作流程中时，它将如何运作。未来的工作流程是什么样的？我们只是刚刚触及到了它的表面。
你刚刚发布的新型轻量级开源模型 Gemma 系列。似乎现在 AI 领域最具争议的话题之一是是否通过开源发布基础模型，还是将其保密。
到目前为止， Google 一直将其基础模型保密。为什么现在要开源？以及你如何看待通过开源使基础模型可用增加了风险和它们被恶意使用的能力这一批评。
我自己其实公开谈论过这个问题很多次。其中一个主要的担忧是，一般来说，开源和开放科学、开放研究显然是有益的。但是对于 AGI 和 AI 技术来说，问题是这种强大的 AGI 技术因为它是通用的，一旦你把它放出去，坏人就有可能重新利用它来进行有害行为。
一旦你开源了某些东西，你就没有真正的回旋余地可以收回了。不像 API 访问或者其他什么的，如果最终出现了一些之前没考虑到的有害用例，你可以立即中止访问。这意味着，对于安全性、健壮性和责任性，放这些东西的门槛必须更高。
随着我们接近 AGI ，它们将拥有越来越强大的能力。因此，人们必须对它们可能被坏人重新利用的可能性更加谨慎。我没有听到一个好的论点，比如说，对于开源的极端主义者，现在有很多这样的人，其中一些人可能是我在学术界的同事。对于滥用和坏人访问的问题，什么是答案？我们必须更多地考虑这些问题，因为这些系统变得越来越强大。
为什么 Gemma 不会给你带来这种担忧呢？
当然，因为你会注意到， Gemma 只是提供了轻量级的版本。因此，它们相对来说比较小。实际上，更小的尺寸对开发人员来说更有用。因为一般来说，个别开发人员、学术界或小团队都希望能够在他们的笔记本电脑上快速运行这些模型等等。
因此，它针对的是这个。而且因为它们不是前沿模型。它们是小规模的模型，我们觉得对于这样尺寸的模型，它们的能力经过了很好的测试。我们非常清楚它们的能力，没有与这样大小的模型相关的大风险。
我想问的一个我们最近在节目中谈论过的话题是 AI 聊天机器人中的个性，以及聊天机器人应该具有多少个性或创作者是否允许他们具有多少个性。一些模型，包括最初的 Bing Sydney，已经因为个性太多而受到批评，因为它们显得令人不安、威胁性或者骚扰用户。其他模型则因为太无聊，回答老套的问题，不太有用而受到批评。那么你们是如何校准 Gemini 的个性，可以这么说，在这个谱系上它属于什么位置？
这是一个非常有趣的问题。这是整个行业和领域中正在进行的持续的辩论。我的猜想是，最终个性化将会是答案，人们将会个人决定有一些基本的模型，具有基本的行为，然后你可以选择加入，你有一个个性助手，它会以某种方式行为。我猜这才是最终会发生的事情。
因为通用模型的问题是，你无法满足所有的约束条件。有时，你希望 Gemini 非常简洁。只给我要点，给我事实。其他时候，你希望它非常善辩和有创造性。目前，我们还在非常初级的阶段，我们还在处理这些基础通用模型。
我想问另一个相关的问题，就是关于个性和提示如何响应我们的问题。这周有人注意到，在向 Gemini 要求创建一个白人男性时，它似乎不愿意这样做，或者如果你试图描述历史人物，它似乎也不想这样做，或者会以历史上不准确的方式做。我理解周围的所有敏感问题，但我很好奇你对这些批评有什么看法，以及你如何努力在做一些不会引起深层冒犯的事情与同时又做一些历史上准确的事情之间取得平衡。
我刚刚在昨天意识到这一点，当它开始在社交媒体上出现时。这是这些细微差别的一个很好的例子。历史的准确性，绝对是我们想要的。因此，我们需要解决这个问题，而不是说当你有一个通用提示时，显然是通用的事情。
如果你说，给我选择，画一个遛狗的人的图片，或者医院里的一名护士的图片之类的。你会想要一个通用的描述。但是对于其他的，历史事件或历史人物，那么也许应该更狭窄一些。
因此，这是一个有趣的反馈。这也是为什么我们必须在现实世界中测试一些东西的原因，一旦你将它测试在现实世界中，一些问题就会变得显而易见。是的，我们会关注这个问题。正如我所说的，我们会根据反馈不断改进我们的模型。
去年当 Google Brain 和 DeepMind 宣布合并， DeepMind 的重点可能会转向对 Google 短期内有益和有用的事物，而不是这些更长期的，基础研究项目。从那以后已经快一年了，这种短期利益与也许长期的 AI 进步之间的紧张关系有没有改变你的工作？
我实际上会说，你所提到的这个第一年进展得非常好。我们觉得这是合适的时机的一个原因，从研究人员的角度来看，可能让我们回到五年或六年前吧？当我们做 AlphaGo 之类的事情时。
我们在 AI 领域是非常探索性的，就像什么是实现 AGI 的正确方法？需要哪些突破？什么样的事情应该下注一样。在那种情况下，你想要做各种各样的事情，那是非常探索性的阶段。
在过去的两三年中，已经变得清楚了一些主要的组成部分是什么。正如我之前提到的，我们仍然需要新的创新，你刚刚看到了我们的 1.5 版本，有了长上下文，会需要很多类似这样的新创新。
因此，基础研究仍然像以往一样重要。但现在还有这个大的工程轨道，它是利用已知技术进行扩展和利用，将它们推向极限。这需要大规模的创造性工程，从硬件方面到数据中心的规模和效率等等。
现在之所以时机合适，原因之一是如果在 5、6 年前让我制作一些 AI 强大的产品，我们必须要构建完全不同的 AI。与为特定产品做一些特殊的、为特定产品所需的定制 AI 相比，那将需要一种定制的、手工制作的 AI。实际上会有两种不同的事情要做，但是现在不是这样了。
对于产品来说，实际上现在最好的方法是使用通用的 AI 技术和系统，因为它们已经达到了一种复杂程度和能力的水平，它们实际上比任何特例的、硬编码的方法更好。因此，事实上，这已经趋于一致了。
你今天可以看到的是，研究路线和产品路线已经趋于一致了，所以现在我不必在这里为产品工作，我必须使用这种类型的 A，在这里没有什么对立或紧张关系。
第二件事是，如果这是真的，那么与基于现实应用的紧密反馈循环是非常有益的，这是你真正了解你的模型在做什么的方式。你可以有很多学术指标，但你真正的测试是当数百万用户使用你的产品时，他们是否发现它有用？他们是否觉得它有帮助？它对世界有益吗？你显然会通过这种方式得到大量的反馈。然后这导致了对基础模型的非常快速的改进。因此，我们现在处于的阶段非常令人兴奋。
在旧金山，人们对 AI 的情绪非常乐观。在 Google 内部显然也非常乐观，但在其他地方情况却不同。皮尤研究中心去年进行的一项调查发现，52%的美国人表示他们对 AI 的增加使用感到更担忧而不是兴奋，只有 10% 的人对此感到更兴奋而不是担忧。你认为是什么导致了公众情绪的下滑？你认为你能做些什么呢？
我不知道如何解释这类民意调查。这取决于你提出问题的方式。如果你以一种非常天真的方式提问，人们总是担心变化，或者是干扰。显然， AI 将带来巨大的变革。
我一直相信这一点，这就是为什么我一直致力于这个领域，我的整个职业生涯都在这个领域，我已经有20多年了。世界正在意识到我感觉到的，我自己和其他研究人员已经知道了几十年，如果这个工作的话，它将是史上最具纪念意义的事情。人们正在意识到这一点，但他们不知道如何与之互动，这对他们来说是非常新的。
我们作为一个领域需要做的事情实际上是提出具体的用例，这些用例显然是非常有益的。我们过去做的一些事情就是这样，我会指向 AlphaFold 。但是普通人可能还不知道那会产生什么影响，但是如果它导致了 AI 设计的药物和治疗真正可怕的疾病，我们离这个只有几年的时间。
显然，我们成立了同位素实验室，这是一个 Google 、 DeepMind 和 Alphabet 公司的分公司，我也是它的 CEO ，它的任务是首先将 AlphaFold 技术移植到化学和生物化学领域，实际上设计药物，使其与蛋白质结构的正确部位结合，当然，这些部位是 AlphaFold 预测的。
然后，我们刚刚与大型制药公司签署了重大协议，进行真正的药物项目。我预计在未来几年内，我们将在临床测试中拥有 AI 设计的药物，那将是一个令人惊叹的时刻。那时人们将真正开始在他们的日常生活中感受到这些益处，以一种真正的、令人难以置信的方式。
AlphaFold 是我听到的关于最佳 AI 技术用途的远大领域之一，但它也是一个有些不同寻常的问题，它恰好是AI应该解决的正确类型的问题，它有这些庞大的数据集和一堆不同的解决方案示例，模型可以用来学习正确形状的蛋白质应该是什么样子的，这是一种你可以把它扔给机器学习算法，它可以做得相当好的事情。你认为还有其他类似形状的问题存在，还是大部分低垂果已经被摘走了？
有很多这种类型的问题。我通常描述的方式，显然蛋白质折叠是这种类型的典型例子，想象一下科学中的任何问题，基本上都有一个巨大的组合搜索基础，庞大的可能性，远远超过你可以通过蛮力搜索的可能性。
让我们以化学空间为例，可能的化合物空间。有些人估计这是 10 的 50 次方，也就是可能创造的化合物的可能性。所以是一个真正巨大的可能性，所以通过手工方法做这个是不可行的。
如果你能建立一个化学模型，它理解在化学中什么是可行的，你可以使用它来进行搜索，在这个搜索中，你不搜索每一个可能性。你只搜索一小部分可能性，这些可能性是模型告诉你价值最高的。科学中有很多这样的事情。
举个例子。蛋白质折叠是一个，但找到一种没有副作用但确实与你想要的东西结合的药物化合物，对你的蛋白质或细菌。那是另一种。找到新的材料，比如我梦想中的室温超导体，价格便宜。
因此，这是我希望我们的系统能够解决的事情之一，或者说是最终的，最佳的电池设计。所有这些都可以以一种方式重新构想，使这些类型的工具和这些类型的方法非常有成效。
你认为我们是否接近看到 AI 能够治愈像阿尔茨海默病或癌症这样的重大疾病了吗？
我们非常接近。我想说，我们距离有第一个真正由 AI 设计的重大疾病，心血管疾病、癌症的药物还有几年时间。我们正在处理所有这些事情同位素。然后显然，还有临床试验，这些都必须发生。现在，这将成为瓶颈。
但肯定是将其引入临床试验，发现阶段，我想要，将其从几年缩短到几个月，甚至在某些时候可能是几周。
我想在未来几年内，如果我们没有一些针对非常重要疾病的药物的优秀候选者，开始进行临床试验，我会感到失望的。
我想把我们的谈话更多地转向 AI 的长期未来。在这次谈话中已经出现了几次的一个术语是 AGI ，即通用人工智能，这是一个如今经常被提到但没有太多具体性的术语。因此，我想我们应该从问你一个问题开始， AGI 对你意味着什么？
AGI 对我意味着一个通常具备能力的系统。从一开始，它应该能够完成人类可以完成的几乎任何认知任务。
当 AGI 出现时，假设它会出现，我们将如何知道？我们将如何认识到它？像你的一个工程师，假设一切按照你的计划进行，有一天会出现在你的办公室，对你说，Demis，我有这个东西，这是 AGI，你如何测试它？有没有一套你可以让它经历的测试，可以说服你，这是 AGI ？你会问它一个问题来确定它是否真的是 AGI 吗？当这个东西出现时，我们将如何知道？
是的，实际上我的其中一位联合创始人 Shane Legge，他整个博士学位都在测试和测量这些系统，它是如此通用，所以实际上这使得测试变得相当困难。你不能在一个特定的维度上测试它。它将必须是成千上万个测试的集合，并在各个方面表现良好，涵盖我们知道的人类大脑可以做的各种事情的所有空间。
顺便说一句，这是一个重要的，显然的，锚点是人类大脑是我们在宇宙中所知道的唯一的通用智能的存在证明，这就是为什么我最初既学习神经科学又学习计算机科学的原因。
显然，在 AI 的早期阶段，也是重要的是要得到神经科学的启发，为这些智能现象，它们是如何产生的？它们是什么样子的？这些系统需要做些什么才能表现出通用智能的迹象，我们与当前系统相比还有很长的路要走。
在许多方面，尽管它们在许多方面令人印象深刻，但它们在许多方面仍然不太好，所以还有很长的路要走。正如我之前所说，仍然需要很多突破。
那么你最好的猜测是，我们距离那种 AGI 还有多远？
作为一个领域，我们正在取得巨大的进步。我们正在用 Gemini 和那些类型的系统取得巨大的进步，它们将是 AGI 系统的重要组成部分。可能仅靠它们本身还不够，但肯定是一个关键的组成部分。我不会感到惊讶，如果在未来十年或更早的时候，我们看到接近那种能力的系统。
在过去的一年里，随着诸如语言模型等技术进入公众视野，你的时间表是否发生了变化？
有趣的是，我看了一下我们在 2010 年开始 DeepMind 时写的区域业务计划，我们在那个商业计划中提出了各种预测，包括计算和其他需要的发明。我们在其中提出了一个 20 年的时间表，我们实际上还是挺准时的。
那就是说我们还有六年时间，如果我数得没错的话。
大致是这样，但这并不意味着未来十年内我会感到惊讶，并不意味着它一定会发生，我只是不会感到惊讶。
你可以根据这一点推断出一些概率分布。存在很多不确定性，因为你不知道当前的技术是否会遇到瓶颈。如果遇到瓶颈，那么你将不得不发明一些诺贝尔级别的创新才能突破这个瓶颈。
目前，我们没有看到这样的情况，这是一个实证问题，这就是为什么我们确实在两方面都非常努力。我们想要将当前的想法、知识和技术扩展到最大程度，并且我们想要加倍努力进行我们的基础研究、创新研究和探索性研究，以找到对现有想法的改进，同时也思考，如果出现了瓶颈，那么应该怎么办？如果确实有瓶颈，那么答案会是什么？希望在我们遇到瓶颈的时候，我们已经有了一些关于如何克服它的想法。如果确实存在瓶颈，因为可能不会存在瓶颈。
你认为世界是否已经准备好迎接 AGI 的出现？如果我们只有六年的时间来为一个可以代替每个人工作的计算机做准备，那么我们现在应该做些什么？
这些辩论正在进行。因此，在过去几年里，这种疯狂是有点好处的，因为每个人都在谈论这个。聊天机器人在这方面是有用的，因为普通人可以以易于理解的方式与尖端 AI 互动。
AlphaFold ，你需要成为生物学家或蛋白质或医学研究专家才能真正理解它是什么。语言是不同的，我们每天都在使用语言，这是每个人都能理解的简单事情，进行这些辩论是好事，这将影响到社会中的每个人。
国际合作是一个问题。我希望能看到更多这样的合作。不幸的是，当前世界的地缘政治性质对此并不十分有利。因此，这是不幸的时机，因为某种国际合作将是非常重要的。
在我看来，这将是非常重要的。我很高兴看到多少国际领导人参与了去年秋天在英国举行的峰会，然后我们当然需要加快我们对安全防护措施、控制机制的研究。实际上我们需要在这个方向上做更多的工作。
还有哲学，我们从我们的系统中想要什么？还有伦理学，以及哲学上的问题，比如，我们希望我们的系统做些什么？它们应该具有什么价值观？这有点涉及到我们之前讨论的关于人物的问题。
实际上归根结底是价值观的问题。你希望你的系统代表什么？当然，重要的是谁制造了这些系统，以及他们处于什么样的文化和社会背景，西方的系统和中国正在构建系统。我是说，这里有很多复杂的因素。
你认为在 AGI 存在并且可以代表我们运行一切的世界中，人类将扮演什么样的角色？
这将在很多阶段发生。最初，我看到的是 AI 和下一代版本是这些令人难以置信的辅助工具，这是我们应该设计和制造它们的方式。因此，关于工具和生物体的辩论，有时你会听到这样的辩论 —— 我们应该坚定地，我站在工具的立场上，我们应该制造工具来协助，人类专家。
无论他们是科学家还是医生，无论是什么，都可以解放他们去做更高层次的概念性工作。今天我们的系统，也许它们可以帮助你处理数据或对医学图像进行某种分析，但是，它们还不足以自己进行诊断，应该有一个专家人类在其中。
这是下一个阶段，或者说将会是多少年或几十年的下一个阶段，也许我们会在这个过程中更好地理解这些系统，我们将能够弄清楚下一步要建造什么。以使它们能够进入下一个阶段。
社会必须适应我们在拥有 AI 系统的世界中的做事方式，它们能够为我们做很有用的事情。也许我们因此拥有丰富，因为我们解决了能源问题、物理学和材料设计等问题，应该有大量的惊人的好处。我们只需要确保这些好处在社会中得到平等分配，这样每个社会中的人都能受益。
一些在科幻书籍中写下的令人难以置信的事情可能是可能的，比如文化系列。这是自从我十几岁时就一直是我最喜欢的系列，描述了在 AI 系统的帮助下，宇宙中的最大程度的人类繁荣，帮助我们解决许多这些问题，这可能是一个令人惊叹的未来，而且面临着巨大的挑战。
我们今天作为社会所面临的挑战，气候、疾病、贫穷、许多这些问题，水资源获取，都可以通过使用这些 AI 工具带来的创新来帮助。
这是 AGI 方法的积极一面。还有一些让很多人担心的方面，包括AI安全人员、风险人员以及你自己曾经担心过的对人类产生重大威胁的存在。我要问你一个我们在这个节目中问过很多人的问题，那就是，你认为人类存在危险的概率是多少？
是的，我知道人们将这个问题与其联系起来。你知道我的诚实答案是这些事情？首先，实际上我发现在社交媒体上的很多辩论有点荒谬。你可以找到两派人，都是非常杰出的人。比如 Jeff Hinton 和 Yann LeCun，他们两人都是图灵奖得主。我非常了解他们。Yosha Benjo，这些都是最初在这个领域中的顶尖人物，他们彼此站在完全相反的立场上，对我来说表明实际上我们是不知道的，对于这种变革性技术，变革性到不知道。
因此，我不认为有人可以准确地，在这一点上将概率精确地放在上面是有点荒谬的，它绝对值得辩论，值得非常仔细地研究，因为即使这种概率被证明是非常小的。
在乐观的一端，我们仍然希望为此做好准备。我们不想等到 AGI 发生的前夕才意识到，也许我们应该更加努力地思考这个问题。我们应该现在为此做好准备，并且尽量准确地确定风险是什么？我们担心什么风险？是自我完善吗？是可控性吗？是价值观吗？是目标规定吗？所有这些都是研究问题，它们都是实证问题。
与化学、物理和生物等自然科学不同，你研究的现象已经存在于自然界中。你走出去，你研究，你试图解析和拆解发生的事情，但是工程科学的区别在于你必须首先创建一个值得研究的工件，然后你才能解构它。
直到最近，我会说，我们现在才有了一些令人感兴趣的AI系统，值得研究。我们现在已经拥有了这些系统，比如 Gemini 、 AlphaFold 等，我们应该加倍努力。我们显然正在 Google DeepMind 上努力，但整个领域应该加倍努力，分析技术，弄清楚对这些系统的理解远远超出我们对 AGI 的理解。
这并不是很长的时间，如果我们离 AGI 不到十年的时间，这些问题都是非常艰难的研究问题，它们很难，它们可能比构建这些系统所需的突破还要困难。
我们需要现在就开始，无论概率是多少，因为这肯定不是零，所以我不同意那些说这里没什么可看的人，我觉得那太荒谬了，他们是基于什么样的假设？就像 10 年、15 年前我们刚开始的时候一样。
我记得当时我在麻省理工学院做博士后研究，那时是传统 AI 方法、逻辑系统等的代表，我不会点名那些教授，但当时一些重量级的教授认为学习系统、这些深度学习、强化学习永远不会奏效，肯定是 100 年、300 年后才会奏效。我就在想，你怎么能在 300 年后的事情上放置零的概率呢？300 年前发生了什么，我们取得了什么成就，社会发生了什么？
这根本不是一个科学的论断，我们甚至没有足够深入地理解物理定律，以至于不能说事物是零，更不用说技术了，所以显然不是零。它的影响是巨大而深远的，我们都同意它会有巨大的影响，希望是积极的。
显然，这就是我们正在努力的原因。我一生都在这个领域工作，我们刚刚谈到过，科学、医学等，人类的繁荣，但我们必须确保一切进展顺利。
如果不是零，我们应该通过实证研究来调查它，并尽一切努力更好地理解它，实际上更加精确地了解它。未来，也许在 5 年后，我希望能给你一个更加精确的答案，并有证据支持，而不是像在 Twitter 上争吵，那对我们毫无用处。
我有一个较短期或更中期的担忧，在 AGI 统治我们之前，或者说在它将权力和财富极大地集中到少数几家公司手中之前，感觉好像这些好处并没有得到平等的分配。因此，我想知道你是否觉得在你的角色中，你能够确保这些好处更广泛地分配，或者说，这些技术确实存在将大量权力和财富集中的风险。
我觉得对这个问题有几个微妙的答案，这是一个复杂的问题。现在，建立最尖端模型需要很多资源，但你已经看到了，像 Gemma 这样的开源系统，我们今天也对此做出了贡献，变得非常强大。
对于很多日常使用案例来说，对于一个特定的产品或应用程序来说，这可能已经足够好了。开发者社区将会用这些模型创造出惊人的东西，即使是专有的模型也可以通过 API 访问，比如 Gemini 1.5 即将推出， 1.0 已经推出，包括 Ultra，你可以在这之上构建企业客户等。
这一切都在发生，这些模型有多个提供者，不只一家公司，都将在价格上竞争，你已经看到了，价格正在下降，似乎每天都在打折，所有这些对消费者、对日常用户以及对正在建立这些东西的公司和其他企业来说都是有好处的。
最后，这是个有趣的事情，我自己是一个谨慎的乐观主义者。事实是，当你谈到像 AI 这样具有变革性的东西时，这是正确的态度，我已经思考了很多年了，我看到一些更乐观的技术主义者，他们有时在 Twitter 上称呼自己，他们实际上并没有完全理解正在构建的东西的重要性。
如果他们理解了，谨慎乐观主义才是正确的，我会说，面对很多不确定性，显然有很多明显的了不起的事情可能会发生，比如治愈疾病等等，但对于这种变革性技术的发展方式的不确定性，谨慎乐观主义是唯一合理的方法，所以会有令人难以置信的事情发生。
我甚至不确定你是否能够想象到一个 AGI 到来，并且它帮助我们解决了许多重大的科学难题。我有时称它们为根本性难题，如果你想象一棵知识树，以及你想要解开的那些核心难题，这些难题将会解锁许多新的研究分支，AlphaFold 就是这样一个根本性难题。
你能想象到你能够用它解决核聚变问题，或者说室温超导体，或者优化电池，突然之间能源变得免费或廉价，这对资源有巨大的影响，因为你正在释放出更多的空间旅行，可能挖掘小行星变得可行，甚至突然间连货币的性质都改变了。
我不确定人们是否真正理解，我不知道公司的结构在那一点上甚至是否是正确的考虑，这就是国际间合作之所需的地方，政府等其他事物，以确保这些系统被管理在正确的方式上，并且被利用来造福于每个人。
很多 AI 实验室一直在探讨治理以及什么是最好的结构，以便 AGI 出现。你刚才提到了某种国际集体或合作的可能性来处理这个问题。但在整个行业中，像 OpenAI 就成立了一个非营利组织和一个营利子公司。Anthropic是一个公益公司。你正在做出略有不同的选择，就是试图在 Google 内部实现 AGI ，而 Google 是一家大型营利性公司，它有向股东赚钱的义务，你担心吗？随着我们接近 AGI ，你认为 Google 是否必须以某种方式改变其公司结构，以防止其他 AI 实验室担心的一些不良结果发生。
我觉得目前的结构对我们现在的技术来说是不错的。例如，我们在 2014 年与 Google 合作的一个原因是， Google 是由拉里和谢尔盖在他们的博士研究中做的一个研究项目，所以我觉得他们在方法上已经非常科学了，相比其他大公司。
对于我当时如何运营 DeepMind，以及我们如何运营 Google DeepMind 的科学方法，这是非常匹配的，这是我们在世界上发现事物的最好方法。从启蒙时代以来，它是无与伦比的强大，这创造了现代世界和现代世界的所有好处，所以我们必须加倍信任这种方法。
这将是我的方法，而不是其他方法，其他方法也非常有效，但不适合这种类型的技术，比如黑客式的增长心态，快速行动并摧毁一切，你有时会听到作为价值信条。显然，创造性、非凡的产品和进步是很重要的，但对于我们正在讨论的 AI 这种具有重大影响的技术来说，这种方法并不合适。
科学方法是更好的方法，而且 Google 是大公司中最科学的，它一直以来都有这种基因，我们试图将这种方法更多地融入其中，同时也对这些伦理关切持开放态度。
我们与他们合作的原因之一是，我们在 DeepMind 时就有自己的道德准则。你现在可以在 Google AI 原则中看到这一点，Google 是第一个公布他们的 AI 原则的大公司，它们公之于众，而且它们是从 DeepMind 的原始原则发展而来的。
我们在部署这些技术的方式和构建它的方式上非常负责任和深思熟虑，希望你可以看到我们采取的方法。有时这意味着我们在发布之前会花更多时间，因为我们试图确保我们充分理解到，到何种程度并不意味着我们永远不会犯错误，因为这是新技术，有时候正如我们之前谈过的，你需要直接来自用户和实验性发布的反馈是有用的。
这就是为什么我们进行分阶段发布的原因。就像现在 1.5 版、Pro版，它正在实验性发布中，我们可以得到早期反馈，这是正确的方法。
我对我们目前的状况感到非常满意。在 5 年、10 年内，随着我们接近 AGI ，我们将不得不看看，技术的发展以及世界在那个时候处于什么状态以及世界上的机构，如联合国等，我们与之互动很多。我们需要看看未来几年这些机构的参与和互动如何。
我想知道你对世界上目前最不容易被 AI 取代的工作有什么看法。你看到了有什么你认为，在接下来的五到十年里是一个安全的选择吗？
实际上，我和很多在电影、音乐、游戏等创意产业的创意朋友们交谈过。早些时候，我自己也从事过游戏设计，有某些类型的创意人士既热爱技术又热爱创意过程，他们将通过在这些工具之上运用他们的创造力，效果会大大增强。
无论这些生成式 AI 工具做什么，它们仍然需要创意输入来使它们做出有趣、有价值的事情。否则，它们只会对普通用户做一些平凡的事情，这对这些类型的创意人士来说是一种不可思议的乘数效应。
我有一个朋友是电影制片人，专门从事独立电影，他们现在正在创建完整的筹资演示文稿，以在戛纳电影节上筹资，之前他们可能只需要一两幅小小的艺术作品，然后资助者们就无法想象这部电影会是什么样子？但现在他们可以真正地展示给你看电影的感觉、外观等等，这意味着他们整个流程加速了，以便真正开始电影制作。
至于科学方面的事情，我梦想有一个科学助手可以为你总结一个领域的整体情况。显然在拥有这个之前我们需要更好地解决事实性等问题，我们正在努力解决这个问题。如果有了这个，那将是不可思议的，因为它会给我提供信息，让我能够建立新的联系或新的假设，然后去测试。
或者帮助医生进行复杂的诊断，医生工作非常繁忙，他们能够跟上最新的文献和最前沿的研究吗？我觉得这种科学助手或医疗助手工具可以帮助他们在治疗患者的同时做到这一点，全天候。我觉得有很多类似的事情，很多工作，可能今天被低估了，手工作业，体力劳动工作，诸如此类。
最后一个问题， Demis ，你对后 AGI 世界有什么个人计划？当 AI 出现并且它们不再需要人类来管理公司或参加播客时，你将如何度过你丰富的空闲时间？你会申请成为管道工或园丁之类的工作吗？你认为后 AGI 世界对 Demis 来说是什么样的？
我一直想用我的 AGI 工具来真正理解自然和物理学最深层次的问题，也就是现实的根本性质。我想有时间来思考这个问题，深思熟虑，也许乘坐一艘星舰旅行到阿尔法中心时代。
思考这些问题，沉思这些思想，也许进行一些极限运动，诸如此类的事情。我想我们会有很多非常令人兴奋的事情要做。我们只需要非常有创造力地去做。正如我所说的，有许多惊人的科幻书籍，讨论了这样的世界可能会是什么样子。如果我们做对了，这些都将是非常令人兴奋的。
通向 AGI 之路
2 月 29 日 19:00，飞书邀请到两位 AI 知识库创作者作客飞书直播间，与你一起探讨， AI 浪潮中，如何与飞书一起踏上「通向 AGI 之路」
Builders 招募