AI时代的智能研究：Hinton, Ilya, Demis 神级圆桌讨论

文：城主

【如需转载本文请保留出处公众号以及原文链接】

10月份，MIT的CBMM（The Center for Brains, Minds & Machines  "大脑、心智与机器中心"）举办了一次专题讨论：AI时代的智能研究 “Research on Intelligence in the Age of AI”。

核心参与者基本就是这个星球上的顶级阵容：AI教父 Hinton，OpenAI首席科学家Ilya，DeepMind创始人Demis，

加上主持人MIT的Tomaso教授，加州理工/Amazon的Pietro 教授，以及对冲基金Two Sigma的主席David Siegel。

这个专题讨论顾名思义，是在当下的AI时代里探索人类大脑智能的根本性问题，这是一个AI大模型和神经科学交叉的学科话题，非常有意思。特地整理成文分享。

喜欢视频的同学有B站传送：【AI时代的智能研究：Hinton,Ilya, Demis大神同台圆桌【中英】-哔哩哔哩】 https://b23.tv/8AibvG6

--以下为根据发言重写的天空之城文字版，全文2w字--

主持人Tomaso：

我是主持人Tomaso，我的身份未发生改变。遗憾的是，我们不得不做出的改变是，由于以色列当前发生的悲剧，我们的小组成员阿姆农·塞舒亚（Amnon Shashua）无法加入我们，因为他所在的地区正处于战争之中。彼得罗·佩罗纳（Pietro Perona）慷慨地在最后时刻同意加入，因此他将代替阿姆农的位置。因此，我们将有三名成员亲临现场，三名成员在线上参与。我不打算在这个问题上多花时间。我相信我们有一个非常出色的小组，并且我认为询问所有小组成员对各种议题的看法将是极其有趣的，这包括一些我们之前已经讨论过的议题。

我想从两个问题开始，我会请我们的小组成员就这两个问题发表大约五分钟的看法，之后我们将进行他们之间的讨论。

第一个问题是，是否应该推动更多的理论工作，比较大型语言模型或其他深度学习模型与人类智能的理论，并比较它们之间的相似之处。因为我们正处于人类历史上一个独特的时刻，可以说我们拥有了不止一种智能形式，甚至比人类智能更多。因此，探索这些不同形式的智能是否存在共同的智能原则将是非常有趣的。

第二个问题是整个研讨会的核心议题，本质上是神经科学是否能够帮助人工智能，以及人工智能是否能够帮助神经科学。

因此，我想让你们了解我正在考虑的一些基本原则。深度学习和人类学习是与当前存在的难题相关的问题，其中一个主要问题是，如你所知，存在所谓的维数诅咒。如果你想计算一个函数，需要多个输入，你可能会遇到需要指数级数量的参数来很好地表示你想要的计算类型，即你想要的功能。但显然，神经网络并没有真正受到这种诅咒的影响。问题是为什么，以及这是否能让我们对它们以及潜在的其他智能形式有一些见解。还有其他问题与经典计算机和量子计算机之间的差异有关，但我们稍后会讨论。

首先，我想问杰夫。我认为，除了我之外，杰夫可能是我们这群人中年龄最大的。我第一次见到杰夫是在拉荷亚，那时我想你已经79岁了，杰夫，你还记得吗？

hinton:

是的，我记得。

主持人Tomaso：

很好。因此，我们已经足够老了，这是让你开始讨论的一个很好的理由。

Hinton：

好的，因此，考虑到年龄是我唯一能做的事情，我将忽略有关理论的问题（笑）。

我的数学不够好，所以我只关注另外两个问题，即神经科学在人工智能中的作用和人工智能在神经科学中的作用。

我认为神经科学显然对人工智能产生了巨大的影响。简单过程的大型网络通过改变连接强度来学习，这就是它们能够做出真正复杂事情的想法。最初这个想法并不是很合理。正是由于神经科学，人们才开始探索神经网络。所以这是主要的影响。还有很多小的影响，比如dropout这样的想法就来自于对神经元的思考，以及神经元如何偶尔在应该放电时却没有放电。像ReLU这样的想法来自Sam Rowis和Hugh Wilson，他们告诉我sigmoid并不是一个很好的神经元模型，ReLU是一个更好的模型。尽管逻辑sigmoid具有非常好的贝叶斯解释，但它们的效果不如ReLU。

我认为尚未发生但需要发生的另一种影响是快速权重的概念，而且由于硬件的原因，这还没有发生。因此，Ilya会非常熟悉你实际上可以实现快速权重的想法，但这并没有给你带来太多好处，因为你无法再进行矩阵-矩阵乘法，因为每种情况都有不同的快速权重，所以你不能共享不同情况之间的权重矩阵。我认为当人们拥有不同的硬件时，也许人们最终会开始使用快速权重，其中权重可能是电导。所以这是尚未发生的事情。

但我最近有了一个顿悟。今年春天，我在思考模拟计算以及如何提高能源效率。我突然意识到，也许我们拥有的这些数字智能使用反向传播，你可以制作许多行为相同的模型的副本，也许它们实际上比我们现有的更好。它们仍然比我们现有的小一点，但也小不了多少。他们可以用更少的重量来容纳更多的知识。

我目前的信念是，它们可能只是一种更好的智力形式。它无法进化，因为它非常消耗能量。它需要我们来创造它。但我目前的信念是，所以这转向了人工智能在神经科学中的作用的另一个问题，人工智能的新发展可能并不能告诉我们太多关于神经科学的信息。我们可能从大脑中获得了大部分信息和灵感。现在的新进展并不一定能告诉我们很多关于大脑的信息。这对我来说是一个全新的想法。

50年来，我一直认为，如果你让你的人工智能更像大脑，它就会工作得更好一些。我不再相信这一点。我认为人工智能告诉我们的另一件事是，这些大型语言模型，尤其是大型多模态模型，已经推翻了“大脑比人工神经网络在统计上更有效”的论点。我认为他们所展示的是，人们之前将麻省理工学院的本科生可以从不多的数据中学到什么与表格而不是神经网络可以从不多的数据中学到什么进行比较。如果你采用一个大型语言模型，并且可以将大型语言模型与麻省理工学院的本科生在一些新任务上进行比较，那么统计效率上几乎没有太大差异。这就是小样本学习。

所以我认为人工智能教会了我们为什么我们在统计上是高效的。我认为贝叶斯很久以前就说过，我们有一个非常非常丰富的先验。但数字智能没有理由不能拥有同样丰富的先验。我想我已经用完了我的五分钟。

主持人Tomaso：

Pietro Perona是加州理工学院的教授，因其在计算机视觉和计算神经科学方面的开创性贡献而闻名，在推动物体识别、文本分析和视觉科学研究方面发挥了关键作用。顺便说一下，这是ChatGPT写的，所以有点夸张，但还算准确。

他还与李飞飞等下一代研究人员合作，塑造了视觉技术的未来。我认为你业余时间在亚马逊担任副总裁或其他职务，对吗？

Pietro：

我不是副总裁，我的头衔是亚马逊研究员，目前我在那里度过了一半时间，主要在亚马逊从事负责任的人工智能工作。

嗨，杰夫，嗨，Demis，嗨，伊利亚。好吧，我没有准备好的评论，因为我是在最后一刻才被问到的，但我可以说一些话。所以我注意到，关于具身智能与纯粹通过阅读文本获得的智能之间存在着一场争论。所以我认为至少有一部分我们知道如何做的智力必须来自于拥有一个身体，一般来说，无论你是否有躯体，智力都会有所不同。目前，出于充分的理由，我们对通过分析互联网上的批量数据所能获得的情报进行了过度索引。但随着时间的推移，我们希望拥有能够在世界上行动的智能机器，所以我们了解了马克雷伯恩的机器人，我们已经看到了它们。

我们知道汽车必须在高速公路上行驶，但对驾驶员还没有一个良好的心理理论，因此它们不能与世界其他地方很好地互动。现在，如果我们想要实现这一目标，那么我们对如何进行情报工作的一些看法将会改变。现在，我们被相关性所毒害，我们不知道如何构建能够理解因果关系的机器。为了理解因果关系，我们必须从根本上让机器进行实验。

那么，为什么会是这样呢？如果你是一个非实体的实体，你所需要做的就是进行预测，而相关性对于预测来说是非常有用的。但是，如果你需要改变世界，也就是说你需要进行干预，那么你就需要理解事物的原因。因此，因果关系是至关重要的，它使得推理成为可能。然而，我们还没有看到能够进行实验并设计实验的人工系统达到与人类相同或接近的水平。

我见过我的学生制造的机器在识别植物和动物方面可以超越任何博物学家。你可以在口袋里携带一个能识别大约10万种植物和动物的博物学家，但在考虑如何进行实验、解释结果等方面，没有任何机器能比得上一个表现不佳的生物学家。这是一个未知的领域，对我来说非常有趣。我认为我们应该考虑如何到达那里。因此，人们对超人类智能感到好奇，当然，机器也有不公平的优势。它们可以轻松地获取更多信息，可以通过一组参数将所学传递给另一台机器，这是我们无法做到的。如果愿意的话，它们可以使用更多、更强大的传感器。因此，我很清楚，在某些领域，至少机器会比我们做得更好。

汤米提出的第三个问题是关于理论的。由于实际情况变化如此之快，我们面对的是一个不断变化的目标。我们当然想要发展理论，但这需要很长时间。有时我们会看到理论的碎片。例如，我认为杰夫提到的是辍学问题。在我看来，深度网络最主要、最成功的理论是关于如何避免过度拟合以及如何进行正则化。现在我们对如何做到这一点有了更好的理解。所以我认为这是一个很好的理论。

因此，未来将是一个关于人们能做什么的移动目标的混合体。我们必须记住，全世界大约有五万名非常聪明的人正在尝试各种事情，看看会发生什么。你无法仅仅通过推动方程来解决这个问题。这是一次大规模的探索。因此，理论家必须选择最有趣的目标并在那里工作，看看他们是否能跟上。因此，我们看到理论和实验，根据事情的进展，其中之一将具有优势，但我们不知道会是哪一个。所以我就说到这里。谢谢。

主持人Tomaso：

接下来是大卫·西格尔。David是大型对冲基金Two Sigma Investments的联合创始人兼联席主席。我想我们是在Moderna大楼里见面的，那是一个人工智能实验室，你是一名机器人专家，同时你也在金融领域工作，我认为这可能是机器学习最难的领域之一。因此，听到你的观点将非常有趣，不仅从研究的角度，而且从商业和社区的角度，在这场人工智能革命的背景下向前发展。大卫。

David：

谢谢你，汤米。我将在最后谈到这一点，但让我们先让大家放松一下。精彩的十年庆典即将结束。闭上眼睛一会儿，回到你的童年，想象一下你和父母一起在田野里仰望星空的情景。试着重现你当时可能有的想法。好的，现在请保留这个想法，我稍后会回到这个话题。

当我思考我自己的旅程以及为什么智能研究很重要时，最初它实际上是出于对尝试让计算机做类似人类的事情的兴趣而开始的。这就是我来到人工智能实验室的原因。我想从根本上解决实际问题。如今，人工智能领域已经取得了长足的进步，它能够展现出解决各类问题的不可思议的能力。这是相当了不起的。我们可以争论它做了多少思考，但你不能争论如何将结果应用于像我自己这样的企业。它正在将各种技术注入互联网。这一切都很好。

但最近，当汤米构思CBMM时，我开始更多地思考智力的概念，它的含义是什么，以及为什么思考它很重要。当你回到很久以前梦想星星时，对于我们中的一些人来说，你想知道，我相信，考虑到房间里的每个人，上面发生了什么？你不只是看他们如何移动。你没有考虑预测轨道。你正在考虑大局。这实在是一件了不起的事情。你正在看是什么造成了这一切？它是如何工作的？为什么会在这里？而这一切确实是人类几乎永远研究的问题。

为了理解我们的宇宙付出了如此多的努力，并不是因为我们要利用它建造某种实用的设备。对宇宙的理解并不能创造出更好的搜索引擎。我们想要它只是因为我们想知道我们为什么在这里。这只是我们存在的一部分。智力也是同样的事情。了解我们的思想是了解我们自身存在的一个关键方面。如果我们不了解我们的思想是什么，什么是智力，我们永远不会真正知道我们是谁。

对我来说，这是一个基础研究项目。它的动机不是为了商业利益。了解智能可能有助于推进商业人工智能应用，这很棒，但这不是我对这个问题感兴趣的原因。只不过宇宙不会导致，也许，也许它会导致商业应用，但我怀疑该领域的大多数研究人员是否关心这一点。

我想反思一下神经科学和人工智能的实际问题。好吧，如果你按照我试图构建的方式来构建这个问题，那么答案是他们必须共同努力，因为问题是理解，我认为最重要的问题是理解智力理论以及大脑如何能够以提供智能并将其扩展到意识的方式进行计算。这甚至让人难以理解。我们暂时可以坚持智能。这种智力理论，我不会从实验中想到，纯粹是因为，哦，它看起来很聪明。我们需要有更深入的理解，才能从本质上描述正在发生的事情，就像我们可以使用某种模型来预测恒星的运动一样，但这还不足以理解正在发生的事情。

当你小时候做梦时，你想了解，你可能不知道，但是，重力是如何运作的，是什么将物体结合在一起，怎么办，你需要理论。所以我相信我们应该成为什么样的人，每个人都不必为此努力，但是CBMM，它的重点主要集中在我所描述的内容上。这不是故意的，让我们让商业人工智能变得更好。我认为这很好。有很多人，你可以在屏幕上看到他们，正在解决这个问题并且做得很好。我认为我们在这里所做的更多是关于我所描述的内容。

坦率地说，我认为与研究其他重大挑战以帮助我们了解自己是谁相比，投入此类研究的资金少得令人难以置信。因此，我认为神经科学部分和人工智能部分是将它们结合在一起来理解这种智力理论、心灵理论的最佳方式。我不确定这会带来更好的人工智能。

也许我们已经获得了所有好处，正如刚才所建议的那样，也许大部分好处已经实现，以激发人工智能的灵感。但对我来说，这并不重要。因此，我最后会简单地说，我认为，实际上，这一切都是为了了解我们是谁。为此，我们需要一种智力理论。

主持人Tomaso：

我十分同意。非常好。

现在轮到Demis了。Demis是DeepMind Technologies的联合创始人兼首席执行官，而且现在的身份还不止这些。众所周知，AlphaGo、AlphaZero在虚拟游戏世界中取得了开创性的成就。最近，在科学界，他凭借AlphaFold获得了拉斯克奖。恭喜你，Demis。你可能还没有正式收到奖项，对吧？

（Demis：确实，几周前的确是一场精彩的仪式，感谢您的邀请。）

好的，谢谢。是的，在此之前，他的身份是一位游戏设计师，但实际上他更是一位神经科学家，拥有神经科学领域大学学院的博士学位。我发现这一点非常有趣。你目前领导着一家被誉为最优秀的人工智能公司之一，与谷歌等公司并驾齐驱，而你本人却是一位神经科学家，而非计算机科学家。因此，Demis，这一决定由你来做。

Demis：

感谢汤米。我只想说，实际上，杰夫已经说了很多我原本打算说的话，我非常赞同他的开场白。我认为神经科学对人工智能的贡献是巨大的，它的影响远超过简单地指出哪种算法更优。我认为这是一种思维的融合，不仅体现在深度学习中，也体现在强化学习中，这一点非常重要。还有其他的概念，如记忆重放、情景记忆等，这些想法的萌芽源自我们对神经科学的理解，即使它们最终在计算机中的实现方式与大脑完全不同。因此，我们不应该低估这一点，我认为神经科学界应该为此感到骄傲。

但我认为，我们现在正进入一个新时代，我们在人工智能前沿的工作变得越来越工程化，系统也越来越偏离大脑的工作方式。我意识到这一点可能是四五年前，因为这种规模化的法则似乎开始适用于现在处于前沿的大型语言模型。实际上，它们不再仅限于语言处理，而是变得多模态。尽管如此，我仍然认为当前的系统存在缺陷。如果我们在过去十年中进行了多年的讨论，或者如果我们在五年前或其他时间进行讨论，我想我会争论我们将如何处理这些系统学习和形成抽象概念的知识，包括语言和其他符号知识。也许我们会讨论通过具身智能或模拟与现实世界相扎根的方式。

事实证明，还有另一种方法可以实现这一点，这可能是因为，我认为这有点像工业革命，那时有关于能源的惊人新想法，如电力等。但是，地下蕴藏着化石燃料，如煤炭和石油，这无疑是火上浇油。想象一下，如果没有这些化石燃料，工业革命将会多么困难。我们将不得不一次性转向核能或太阳能。我认为，情报研究和人工智能研究所经历的正是这种情况。与石油相当的是互联网，这是我们在过去20到30年里一直在建造的巨大人工制品，整个人类都在参与建设。当然，我们可以利用这一点。我认为，那里的信息远远超出了我们任何人的理解，这正是这些大规模人工智能系统能够利用的。因此，我认为这使我们能够与一些人类反馈一起，顺便说一句，强化学习中的人类反馈，我认为实际上有一些基础渗透其中，因为我们显然是接地代理。我们正在与这些人工智能系统进行交互。也许他们不接地气，但随后他们会得到接地气的反馈。正确的。我认为，有效地，有一些基础渗透到他们的知识以及他们的行为通过这种方法。

现在，所以我认为仍然缺少一些东西。我认为我们需要我们不擅长计划。我们需要修正事实。我还认为记忆和情景记忆还有空间。所以我认为神经科学的想法仍然有很大的灵感空间，但也许巅峰已经过去了。另一方面，我确实认为我们应该从神经科学中学到的是分析技术。所以我想这就是我想要的，我已经和汤米讨论过这个问题。我认为CBMM的重点是我们确实缺乏对这些系统的理解。这是很难做到的，因为它是人工智能，是一门工程科学。你必须先构建工件，这已经非常困难了，然后你才能科学地分解它并理解它。

显然，这是一个不断变化的目标。所以它是一门非常实证的科学。我认为我们需要一种经验方法和理论，但是经验方法，但主要是经验方法来试图理解这些系统正在做什么。我认为神经科学技术和神经科学家可以运用他们的分析技能来解决这个问题。所以我想到的工作类型是Chris Ola在Anthropic的工作。我认为一些最好的例子是分析这些系统正在做什么、表示和架构等等。但我只是认为我们需要对此进行一百倍以上的研究。所以，这必须是目标。

我认为像CBMM这样的地方可以做的另一件事是领先的实验室，包括我们的实验室，都愿意为分析和红队的目的提供早期访问和访问这些非常大的模型。我认为重要的是，我们还需要基准来衡量能力。因此，这显然会带来安全影响和性能影响。所以，例如，如果知道这些系统是否具有欺骗能力，那就太好了。但是，这是什么意思？我们如何才能以一种可以测试、严格测试甚至在某种意义上通过的方式来实施它？因此，这里还有大量的工作要做。我认为一些领先的实验室正在完成紧迫的、紧迫的工作。但还不够。

事实上，我认为如果独立的学术机构能够这样做并加入这一努力，我们会更好。所以，也许我最后会说，显然，随着这些系统变得异常强大，而且可能很快就会变得非常强大，我认为我们迫切需要更好地理解这些系统。可能还有其他可能性，例如，除了我们分析表征和事物之外，这些系统还可以解释自己。所以我认为我对我们能够做到这一点非常乐观，但它需要更多的人、更多伟大的研究人员加入这一努力。

主持人Tomaso：

谢谢。Ilya，你是街区里最小的孩子，也是最后一个发言的。他首先与Jeffrey一起通过ImageNet做出了伟大的事情，然后他最近成为OpenAI的联合创始人和首席科学官或类似职位。因此负责GPT和GPT-4。

Ilya：

谢谢你的介绍。

提出了很多非常好的观点，我将简明扼要地回应。因此提出了三个问题：理论的作用是什么？神经科学如何帮助人工智能？人工智能如何帮助神经科学？所以我会迅速回答。理论对于不同的人来说可能意味着不同的事情。由于神经网络的复杂性非常高，我们不太可能拥有非常精确的理论，能够像物理学那样做出令人难以置信的良好预测。同时，理论显然是有用的。即使在今天，你也可以看到，一旦你放弃了拥有极其精确的理论的愿望，那么突然间，关于参数缩放、激活缩放、激活、它们的归一化、优化理论的许多想法突然聚集在一起，并且是显然对于今天的人工智能来说非常有用。我完全确信更多这样的理论将继续发挥作用。这是第一点。

其次，神经科学能为人工智能带来什么？事实上，我们已经提到过，非常重要的伟大想法已经从神经科学转向了人工智能。例如，神经元的想法，分布式表示的想法。其中许多人以前被杰米斯提到过，现在被杰夫提到过。我们可能还可以从神经科学中借用一两个或三个这样的大想法。但成功地借鉴神经科学的想法需要高超的技巧和令人难以置信的品味。大脑极其复杂。神经科学产生了一系列令人难以置信的关于大脑、神经元、神经元、它们的尖峰和离子通道的事实，也许还涉及大脑更大规模的组织。这些想法中哪些是偶然的，我们不应该担心它们，而大脑中是否有一个特定的想法可以作为我们研究的灵感，这一点根本不明显。

因此，我认为在未来几年内，我们可能会发现，我们所发现的某些事物在大脑中有相似的存在，或者灵感可能会从大脑传递到我们的人工智能系统中。然而，这一过程需要谨慎进行。我并不是说，哦，是的，只需观察大脑并复制它就行了。这引出了我的第二点，即人工智能如何帮助神经科学。一个非常有趣的现象是，如果它被证明是真实的，那将是非常惊人的，那就是越来越多的证据显示，人工神经网络在学习表征时，无论是在视觉还是语言处理方面，都显示出与大脑学习的表征有更多的相似之处，比人们预想的要多。我认为这并不是一开始就显而易见的。因此，我们可能会发现，通过研究现在每个人都在创建的这些令人惊叹的神经网络，我们能够更多地了解人类大脑的工作原理。在我看来，这是非常有可能的，我认为这是一个富有成效的方向。

我还想回应并支持丹尼斯关于学术界和这个中心可以做的一些具体有用事情的观点。其中之一是评估，了解这些模型能做什么，它们到底有多好？这是非常令人困惑的。有时候，你会看到这些模型一方面表现出惊人的能力，但另一方面，它们又有一些非常奇怪的、非人类的失败模式。更深入地了解正在发生的事情，甚至更好地尝试了解事情的发展方向，将是非常有帮助的。任何关于一年或两年后情况的洞察都将是在大公司之外做出的非常重要的贡献。我就先说到这里。（掌声）

主持人Tomaso：

也许我们可以坐下来讨论。让我们尝试一下这种虚拟的安排。我想首先展示几张幻灯片来引入讨论。因为我们小组中的一些人昨天没有听到这一点，但这是我谈到为什么理论是有益的原因之一。我提到了伏打发现电池的例子，这一发现即使在没有人理解电是什么的情况下，也立即引发了一场革命。伏打之后的20年，我发明了PILA，意思是一堆东西，由锌、软木和铜制成的圆盘。这个发明在这里。20年后，电动机、发电机、电化学和电报线都出现了。所以这是一场巨大的革命，但直到很久以后我们才对麦克斯韦有了一个理解，一个电磁学理论。当然，这为电力革命做出了更大的贡献。那是1800年，并不是很久以前，大约200年。因此，这就是为什么理论很重要，以及其他许多原因，正如大卫之前提到的，我们想要了解自己，拥有理论意味着了解正在发生的事情。我们希望有一个理论，它不需要具有与物理学或麦克斯韦方程相同的精确度。可能只有一些基本原则。

然后关于第二点，这就是杰米斯和希拉提到的研究计划可能是什么样子，将是一种对不同形式的智力的实证研究，如此大型的语言模型，不同的模型，可能与人类智力进行比较。这就是认知水平和盒子里的东西的水平。其中一个目标是研究系统的差异和共同属性，共同的行为，如果有的话，理想情况下会导致这些智能系统共同的一些基本原则。可能没有。我个人相信会有。这也许不是经典力学精确意义上的理解，但同样有用和重要的东西。那么让我们从这里开始吧。谁想抢占先机？杰夫，关于理论的更多内容怎么样？我猜你是消极的或者中立的。

Hinton：

不，我并不反对理论。我认为理论很棒。只是我不这样做。我不太擅长数学，我更喜欢做更实际的事情。当我谈论神经科学领域的人工智能时，我忘记提及一件事。我认为这是过去几年在神经科学领域做出的一项巨大贡献，它让我们更好地理解了大脑中语言的本质。麻省理工学院有一个叫乔姆斯基的人，他一直声称一切都是与生俱来的。我们现在知道情况不一定如此。当你回顾起来时，乔姆斯基对语言的整体看法有点疯狂，因为语言是为了传达意义。这是关于传达东西的。

乔姆斯基有点忽视了这一点。就好像你想了解汽车是什么一样。对于我们所有人来说，了解一辆汽车意味着很大一部分是了解发动机如何工作以使其行驶。但你可以想象有人说，不，不，关于汽车的问题是要理解为什么你会得到三轮汽车和四轮汽车，但你永远不会得到五轮汽车。这就是我们需要了解的关于汽车的知识。在我看来，这就像乔姆斯基的语言理论。他想了解为什么某些句法结构是不可能的。据我所知，他竭尽全力避免语言含义这一基本问题。因此，我认为这些大型语言模型已经结束了这种情况，不是乔姆斯基认为的，而是或多或少其他人认为的。

Demis：

只是为了跟进这一点，也只是提到神经科学领域的人工智能。不管怎样，杰夫，我从本科时代起就一直认为乔姆斯基是完全错误的，而且我认为很长一段时间以来，自然语言处理都走上了错误的道路。但也许那是另一天的讨论。但是神经科学的人工智能，我忘了添加这一部分。我认为也许这就是现在应该发生的事情，因为我们拥有所有这些令人惊叹的人工智能技术。我知道麻省理工学院的很多人都在这样做。让我们全面应用它来分析、解码大脑状态，以及我们10、15年前做过的各种事情。

但显然我们现在拥有更好得多的人工智能工具。我觉得过去几年我已经有点远离神经科学了，但我对这个领域的感觉是，也许房间里的人们会不同意，我们需要开始在神经科学方面提出更好的问题。我只是觉得我没有看到任何结果，或者在学习理论或表征方面取得了真正的重大飞跃，或者也许我只是还没有看到论文。但是，我喜欢像蒂姆·贝伦斯这样的人在牛津和伦敦大学学院的工作。但我只是没有看到20年前功能磁共振成像作为一种新工具出现时所感觉到的巨大繁荣。也许现在有机会这样做。如果你认为人工智能，我们正在构建的人工智能系统是新工具，从神经科学的角度来看新的分析工具，那么感觉我们也许应该做不同类型的实验神经科学。这只是房间里神经科学家的问题。

所以，是的，我觉得，但我只是想再次强调，除了你在幻灯片上列出的内容之外，汤米，评估和基准点指出，我们作为一个领域来做这件事非常重要，就像创建正确的基准一样，这也需要理论。理论是什么？我们正在为新兴能力理论创建基准。我认为没有任何关于这些涌现属性从何而来、这些系统如何产生这些涌现属性的理论。如果我们对此有更好的理论，那么我认为我们可以建立更好的基准，然后我们就能更好地处理它们何时出现。我认为我的第一点是关于基准测试，或者，看看机器和人类以及机器之间的共同和不同特征、方面行为。

主持人Tomaso：

但是，是的，观众中的任何人、任何神经科学家想回答Demis的挑战吗？吉姆。

观众：

所以我认为我们中的一些人不久前就已经喝过酷爱饮料了，我们正在使用这些东西作为我们对正在发生的事情的最佳预测，然后根据这些东西进行实验。这创造了我们作为基准发布的新现象。目前尚不清楚的是如何利用这些现象再次转动曲柄以建立更深入的理解。我们中的一些人也已经参加基准宴会很多年了。这一现象在神经科学和认知科学领域同样不常见。因此，尽管这一过程充满挑战，但听到你们支持这两个观点，我感到非常高兴。

我认为，这些研究不仅需要资金的投入，还需要改变我们进行实验的方式和目的的心态。我们的目标不应该是立即获得理解，而是要为这些研究提供持续的动力。然而，除了实验和预测之外，我们都知道，仅仅依靠实验工作是无法自动纠正该领域的激励结构的。在这个领域，实验室应当产生结果，然后对这些结果进行深入研究以获得理解。因此，我认为，通过这样的平台进行大规模的科学研究是我们需要迈向的方向。我从你们的讨论中感受到了这一点。

我认为这是一个极好的机会，我们可以将人工智能生成器视为假设的构建者，并将其塑造成最接近大脑的形态。我们应当追踪这一进展。为了实现这一点，我们需要基准测试平台和实验性的工具共同运作。因此，我只是在重申你们所说的内容，并想表达我对这种热情的支持，同时我也希望更多的人能够加入我们的行列。如果你们能在某些方面提供帮助，那将非常棒。谢谢。

David：

不过，丹尼斯提到的方向是相关的。今天早些时候，有人指出研究人工智能系统（例如，展示智能的大型语言Transformer架构）比研究大脑要容易得多，因为你可以随意研究它，可以轻松获取任何你想要的内容并进行分析。在我看来，大脑比Transformer架构复杂得多。如果我们不能真正理解Transformer架构中发生的事情，以至于我们可以说我们真正了解它在做什么，那么理解大脑就几乎是不可能的，因为它会更加复杂。因此，我看到了一个优势，即将一些神经科学的工作转移到这些展示智能的架构上。

Pietro：

因此，如果我可以补充我的观点，我认为我们目前可能过度关注语言作为一个研究领域。我们不应该忘记，人类只是众多具有智慧的物种中的一种。科学的一个基本原则是通过研究现象的最简单形式来加深理解，并从更简单的版本开始理解原理。神经科学一直在这样做。因此，我们确实看到了从100个神经元的简单系统到果蝇大约10万个神经元、老鼠大约1亿个神经元，以及人类大约1000亿个神经元的复杂系统。我们不应该忘记在功耗、表现、适应性之间的所有这些不同的权衡，并在许多不同物种（如果不是所有物种）的背景下考虑智力问题。因此，神经科学可以帮助我们关注不同形式的智力。

Hinton：

有趣的是，不同的人对这个问题有截然不同的看法。所以，我和史蒂夫·平克（Steve Pinker）交谈时问他，假设我们确切地了解了老鼠的工作原理，我们了解了关于老鼠的一切我们可能想了解的内容，我们在理解人类智能方面是否只完成了一半的工作？我想大多数生物学家都会说你已经完成了大部分任务。史蒂文·平克说，哦，不，你对人类智能的理解还不到一半。

Pietro：

这确实是一个品味问题。所以，实际上，一旦我们到达那里，我们就不知道了。但我认为，你同意，杰夫，是的，值得我们关注所有这些不同的形式，而不是沉迷于人类和语言。

观众：

是的，我一直在思考是否应该以更直接的方式将心理物理学纳入讨论。我认为每个人都在谈论神经科学，好像它只与神经元和互连的物理学以及其他方面有关。但是，人类和其他动物的行为在心理物理学实验中得到了反映。我认为有机会通过这种方式达到一个基准，既可以应用于工程智能系统，也可以应用于生物系统，这将真正提供一个进行比较的机会，而不必一直关注神经元或任何描述的计算层面。

我可以看一下幻灯片吗？我认为，这里的第一点是心理物理学或认知科学或行为测量，包括基准测试。第二点更像是记录。我认为在这些情况下，第一个更为重要。但我想知道当小组提到神经科学时，他们的意思是什么。让我们问问虚拟坐席们。

Demis：

心理物理学，顺便说一句，我完全同意，心理物理学实际上正是我们所需要的。我们甚至可能在大约十年前就有了一个名为“心理实验室”的东西，它就像是人工智能系统的虚拟测试实验室。我认为，在非常严格的控制下进行行为测试可能是我们需要更加努力推动的事情，而不是仅仅相当于神经记录的那种测试。所以我完全同意心理物理学应该是其中的重要组成部分。

Hinton：

所以有一个需要澄清的问题，如果你看看像AlexNet这样的东西，它的大部分决策都是基于它的纹理依赖性。如果你看看这些新的人工智能通用模型，它们对纹理进行分类的依赖要少得多。这就是你们所说的心理物理学吗？是的。在这种情况下，是的，我认为我们需要更多。

Demis：

但杰夫，这也会是其他事情，比如测试记忆情况和设置，比如一些实用的小实验。实际上，我们最初是在老鼠实验中对它们进行建模的，但你现在可能必须更新它们，因为我们的系统太复杂了。

Ilya：

我认为这些非常强大的模型存在的好处之一是，这里讨论的一些关于使用心理物理学作为灵感的想法，我们不需要进行讨论。我们可以去尝试一下，很快就会得到一些有趣的结果来讨论。我所说的“我们”并不仅仅指大实验室里的人们。现在有强大的开源模型。有模型访问权限，就像大型实验室为研究人员提供模型访问权限一样。你很快就会发现。

Pietro：

因此，听听OpenAI和DeepMind的说法可能会很有趣，你们如何分配资源？所以你显然有明显的商业工业目标。然而，除非你以某种方式做好工作，否则它不会成功。那么，您如何看待技术、理论和神经科学之间的资源呢？您在公司内部如何看待这一点？

David：

也许有一种思考方式，我不知道你是否同意，但在整个行业中，往往会有更多的爬山过程，你押注于某种特定的方法，然后不断改进它。在学术界，有更多的跳跃，因为你的学术界不断地受到新思想家、新想法的影响，而且没有真正用于爬山的基础设施，而不是扩大规模。所以，在我看来，这是一种自然的观念划分。

Ilya：

所以这个问题意味着产品的需求和研究的需求之间存在紧张关系。从某种意义上来说，这是正确的。从另一种意义上来说，它的真实性要低得多。我想解释一下它不那么真实的意义。

很明显，不同公司之间存在相当大的竞争，他们的人工智能表现如何，这意味着如果你变得有点短视，那么明年或两年后，你的人工智能就会做得不好。因此，这创造了很多愿望和简单的商业动机来继续改进人工智能。改进并不意味着让它变得更有能力。这也意味着让人工智能在短期内变得更加安全，并致力于让我们的长期人工智能，特别是那些比人类更聪明的人工智能，变得更加安全。顺便说一句，这些人工智能将被构建为超级智能人工智能。让他们安全、一致并普遍积极地倾向于人性。但你如何做到这一点呢？您如何开展这项长期研究？没有简单的答案，对吧？基本上有两个答案。你可以雇佣很多优秀的研究人员并给他们自由。这是一种可行的方法。另一种方法是，如果您有正确的自上而下的想法，您就有信心可以减少搜索空间并以这种方式取得进展。基本上，我们应该如何思考事物的本质，而不仅仅是现状？我相信，只有将所有这些因素综合考虑，我们才能继续取得进步。

Pietro：

接下来，我想提出一个问题。我想回到Demis之前提到的一点，即我们需要投入更多精力去测试和理解如何进行测试，这一点与我产生了强烈的共鸣。我曾参与定义视觉领域问题的基准测试，并且这种方法曾经有效。但现在，当我考虑这些大型视觉和语言模型时，定义任务是什么以及我们应该用什么基准来衡量它变得越来越复杂。因此，我觉得我们中的许多人目前缺乏一个清晰的指南针来判断正在发生的事情是比以前更好还是更糟。当你考虑公司或大学里的科学家们，他们试图判断自己是否取得了进步时，他们往往依赖于在某篇论文中找到的相对简单的基准，而你甚至不确定这些基准是否真的有意义。

从神经科学的角度来看，我们也有类似的情况，因为我们对大脑如何工作感兴趣，但我们实验室中的许多人最终都在研究动物必须执行的非常刻板的任务，这些任务甚至不清楚对动物是否有任何生态意义。动物在几个月的时间里过度学习这些任务，然后我们研究神经元的活动。从我们对智能的生态价值角度来看，这些任务的意义尚不明确。因此，在这两个领域，我们都需要重新思考什么是智力的好处，什么是行为，动物或机器人试图实现什么目标，以及如何衡量这些生物的生态适应性。

这些是Demis提出的一系列非常深刻的问题，我想知道Jeff和Ilya是否对此有看法，他们是否同意，正如我所说，衡量绩效是非常困难的。

Ilya:

毫无疑问，衡量性能是极其困难的。举个例子，你可能听说过人工智能领域的人在2010年代中期声称在视觉方面实现了超人的表现。有研究人员声称在ImageNet数据集上实现了超人的视觉表现。但我们在这项任务上显然不是超人。这怎么可能？但这并不是什么大不了的事，因为这些神经网络只是一个学术项目，一个由一些非常积极和热情的个人正在从事的研究项目。没关系。现在我们有了更复杂的神经网络。它们被广泛使用，但很难理解它们的性能。如果你给予它们一个困难的数学问题，它们就会解决它。但这是因为它们真的理解了问题吗？还是因为它们在训练集中看到了一些相似或中等相似的东西？而且训练集相当大。这会造成混乱。你可能会看到人们发布非常令人兴奋的行为示例，它们像病毒一样传播。然后其他人尝试做类似的事情但失败了。这并不是说我们的神经网络不起作用。它们显然是有效的。但这确实表明测量并不简单。我认为在这个领域有非常有意义的、概念性和实证性贡献的空间。

Hinton:

我有一个小评论，我曾经在GPT-4可以查看网络之前对其进行实验，那时我相当有信心它所知道的一切都发生在2023年1月之前。因此，你可以注销，重新登录，然后向它询问稍微不同版本的问题并获得不同的答复。我不认为你现在还能这样做。我猜测，只要有人谈论进行实验，GPT-4就能在网络上看到有关该实验的讨论。进行任何类型的系统实验都将非常非常困难。

Demis:

Pietro，我的想法是，如果这很容易，那么它已经完成了，对吧？这绝对不容易，因为参加这次电话会议的所有人和我一直在思考这个问题，我们都在思考这个问题15、20年了，我们有数千名研究人员。这是非常困难的。但我的观点是，这是伟大的，这是我对汤米的推销，就像我相信麻省理工学院一样，如果我现在在麻省理工学院和CBMM，我会这样做。不要担心构建这种计算竞赛，例如构建最大的模型。你可以，我认为大多数领先的实验室都会让你访问模型进行分析和安全工作等。所以假设你有这个，对吧？所以你不需要参加那场比赛。

我们真正需要的是，我认为您从领先实验室的每个人那里听到的是，这涉及理论，涉及神经科学，涉及正如伊利亚所说的心理物理学，涉及实际实验，我们将如何解决这些新兴特性、正确基准、测试这些新型智力的问题。就像我们一样，我们都在一小时前看到了这一点。你有一个比世界冠军更好的系统，但如果你把它从发行版中删除，即使在今天，你也可以让它做奇怪的事情。我们可以解决这个问题，但是仅仅进行下去是没有意义的，但事实就是，这些是一种块状的智能，它们似乎在他们所知道的东西上有很大的Delta漏洞，因为他们的训练方式是人类智力所无法达到的，对吧。因为人类的学习方式。因此，它甚至可能需要我们今天所没有的一整套新的学习理论或元理论。

我认为未来五年、十年的空间极其丰富，这可能会发挥MIT和CBMM的优势。我认为这是非常急需和迫切需要的。它可能是对领先实验室擅长的领域的补充。我们在Google DeepMind尝试做一些这样的事情。我们确实有一些神经科学家。对于人工智能实验室来说，这已经很不寻常了，但这还不足以让他们不被吸引去在那些地方做这类工作。所以我认为这是一个很大的机会，如果人们考虑部署这些系统和这些系统的安全性，并在未来十年内解决这个问题，因为我们越来越接近美国士兵或人类水平，我认为这是迫切需要的智力。所以我认为，在我看来，这是最明确的使命或号角。此外，这当然也有助于以我们今天讨论的许多不同方式理解人类思维。

不管怎样，我就到此为止。

David：

继续，快速讨论基准测试问题，我同意所说的一切。基准测试极其困难，部分原因是即使它是一个明确定义的问题，某些问题也有正确的答案，您可以进行基准测试。但很多很多大多数问题都没有正确的答案。他们有，它取决于背景，例如，或者它取决于你很早就在谈论这个，你的哲学框架被覆盖了。因此，当您处理模糊输出时，确实需要对基准测试的含义进行一些思考。而且，我真的不知道。我想补充一点，基准测试非常重要，因为如果你决定你的基准测试功能，那么人们会本质上调整他们的模型，以最大化他们应该在这方面的表现。因此，如果你的基准测试功能错误，那么你最终可能会构建出不擅长的东西，可以这么说。我还有很多其他问题想问，但在此之前，让我们向观众开放提问的可能性。

（开放提问）

观众：

正如我之前提到的，我想更直接地提出这个问题。我们从小就被教导接受进化论，不是吗？特别是关于大脑是如何从感觉运动控制的完善中逐渐进化而来的。有一个关于海鞘的例子，这种生物会游泳，然后将自己固定在岩石上，在这之后它就吞噬了自己的大脑，因为它不再需要进行运动了。因此，对于大型语言模型（LLM）来说，我们现在似乎处于一个奇怪的境地，我们先有了语言，然后才有了行动。从某种意义上说，我们有了对话代理等技术，但我们知道，要拥有像水管工那样的机器人还有很长的路要走。

确实，正如Demis所指出的，LLM当然吸收了互联网等来源的所有知识。但是，例如，我无法描述我正在做的事情、我正在操作的物体、某些细节、我的感觉或我是谁。所以，这并不是一件容易描述的事情。那么，我们是否在使用这种语言之前，错过了一些关于行动的东西呢？

Hinton：

我不认为这是完全正确的。也许伊利亚可以发表一些评论。

Ilya：

我认为数据作为化石燃料的类比非常好。到目前为止，这些化石燃料在制造我们今天所拥有的人工智能方面发挥了重要作用。至少目前为止，机器人价格昂贵，且缺乏机器人数据。价格高昂，没有人能够运行和训练大型神经网络并在机器人上实施它们。因此，今天有效的方法并不适用于机器人。

变化正在迅速发生，如果你看看各个实验室正在取得的机器人技术进步，它们看起来相当不错。从谷歌、DeepMind的非常酷的工作，以及最近来自丰田技术研究所的进展来看，他们一直在训练非常酷的神经网络来控制像煎饼机器人之类的设备。现在这已经成为可能。人们现在相信这是可能的，但之前他们并不这么认为。因此，有人可能会说，我们现在拥有的人工智能并不完整，未来也不会像机器人那样完整。但如果你看看机器人技术的先进进展，我认为几年后情况将会非常不同。

Demis：

是的，我同意这一点，Ilya。我们刚刚发布了RTX类通用机器人系统，但它距离一般机器人技术还有很长的路要走。但我不认为这与我认为语言已经非常复杂并且是可行的不同。我们还有其他方法来解决这个问题。我认为非常现实的模拟、物理模拟，以及从大型机器人农场、手臂农场收集更多数据，是解决这个问题的一些方法。然后我们可以从通用模型推广到机器人领域。我认为未来几年这并不会太难。因此，在我看来，我不会过度强调体现的差异。

观众：

对于我们这些在工业和学术界交叉工作的人来说，当我们思考如何将理论应用于实践以推动创新时，就会在现实世界中遇到困难。我想问的一个问题是，我们都知道提出问题的重要性，对吧？我们讨论了一些人提到的漏洞和假设，以及盲点中发生的事情。如果你能回到20年前，看看人工智能领域，哪些潜在的盲点是你今天可能没有意识到的？例如，大卫，当你创办两个西格码时，在你创办这家公司时，你是如何在一个非常不完美的现实世界中使用机器技术、数据不完美、系统动态、各方之间的冲突动机的？在你的旅程中，有哪些盲点可以帮助我们提供教学数据，并告知我们如何看待未来20年的人工智能和人类？

David：

对此，只有一个快速的回答。如果你本质上是从错误的数据或不正确的数据中学习，那么你显然会得到不需要的输出。因此，如果你没有理论，并且本质上完全是数据驱动的，那么你最好对数据非常小心。我认为，当事情变得非常实证时，这是一个需要牢记的一般教训。

观众：

是的，我只是想问一下来自业界的小组成员，我们如何才能在像麻省理工学院这样的地方真正推动大规模、心理物理控制的实验和一致性研究落地。因此，我认为可以毫不夸张地说，至少在过去五年中，我在这个社区中观察到的对神经科学和人工智能研究的最大贡献是Facebook的PyTorch模型。这些往往是我们在研究中使用的模型。我们尝试在这些模型的开源可用版本中进行实验。

但我认为，能够对实验中的心理物理参数等进行大规模实验网格搜索，以及能够进行较小规模的模型心理物理搜索，我们能够训练比某些东西小得多的模型，这将是非常有益的。就像GPT一样，但仍然需要大规模地训练许多不同的版本，测试许多不同的假设。这有点像Hubel和Wiesel正在进行网格搜索，但是是在屏幕上用一支小笔和一张纸进行的。如果我们能够以行业训练模型的规模做到这一点，我们实际上可能能够以更高的速度进行一致性研究。

所以我想知道这可能是什么，你是如何思考的，你可能愿意为此投入哪些资源，以及我们如何才能就如何通过强有力的控制和检查进行大规模实验展开对话学术界，但拥有工业界的资源。

Demis：

我可以对此做出简短的回答。看，我认为领先的实验室愿意，我们也在与政府讨论这个问题，比如提供模型的访问权限。所以，我们应该将此作为一个起点。正确的。其中一些模型不能，有一个关于开源的完整问题，这有点超出了今天的范围，这显然与我们是开放科学的大力支持者有关，而且我们过去发表了很多很多的东西，这些东西是你们今天看到的很多进步的基础。但随着这些系统变得越来越强大，我们必须回答这些问题，在我看来，显而易见的问题，比如不良行为者用例，不良行为者掌握了强大的技术，然后将其重新用于不良目的。正确的。不良行为者可能是个人或民族国家。因此，人们必须在回答这些问题的同时，显然还要保持开放科学的流动。所以这并不容易。这是另一件非常困难的事情。不然早就解决了。

Ilya：

我也将对此进行简要评论。OpenAI和我相信许多其他人工智能实验室都提供了访问其模型进行学术研究的机会。这就是真正的答案。大型模型很昂贵，但你仍然可以用它们做很多事情。当然，与人类或老鼠或类似的东西相比，通过实验模型来运行物理类型当然要容易得多。

观众：

我是马诺利斯·凯利斯，麻省理工学院的人工智能和计算机科学教授，我的研究领域包括基因组学、计算生物学以及许多分子神经科学。这就是人类疾病的分子基础。

因此，我们很多参加这次会议的人都对人类神经元的多样性以及与精神分裂症和神经退行性疾病、阿尔茨海默病等相关的脆弱性实际上是指向非常特定的神经元机制、非常特定的神经元亚类。还有一场大辩论。今天我们讨论了很多关于大脑中不同类型的神经元到底有多重要的问题？我们应该在多大程度上尝试了解数十种不同类型的兴奋性抑制神经元的非凡多样性的作用、神经胶质细胞的作用等等？在您看来，人工智能目前是否与此完全脱节？你是否认为这只是一种奇怪的进化副产品，我们必须达到今天的水平，才导致大脑异常复杂？

如果我们只是从一个巨大的皮层或其他东西开始，那么我们也会同样聪明。与此相关的是，我们正在讨论关于具体智力的诸多内容，包括情感的影响、多种感官输入的整合作用，以及基于这些感知形成记忆的能力，前提是你愿意这么做。因此，我很好奇，在你看来，人类智能是否仅对理解人类本身有用？或者说，通过理解大脑如何实现那些通常需要工厂消耗能量才能完成的认知功能，我们是否能够实现某种根本性的范式转变？

当然，一袋面条可能会被遗弃，但这会以何种能源代价为代价？因此，我对这个问题的来回讨论很感兴趣，我认为这是汤米早些时候提出的问题的一部分。

Hinton：

我的推测是，大脑在漫长的进化过程中已经被高度优化了。因此，它拥有所有这些不同类型的神经元，这有助于它的功能，但它可能也能够仅用更少的类型就做得很好。显然，它需要多种类型的神经元。因此，人工智能模型中的层归一化等技术是受到大脑中抑制机制的启发。所以，在这些人工智能模型中，我们可以看到一定程度的神经多样性。但我的猜测有点类似于克里克的观点，即进化是一个修补匠，它已经修补了很长时间，并且想出了许多实例化不同类型神经元的小技巧。但你可能不需要所有这些就能获得一个智能系统。

Ilya：

我对此有一个简短的评论，那就是如果我们采用一个经过训练的神经网络，可能是一个经过训练的大型开源模型，我们可能已经发现了许多有趣的神经类型。实际上，很可能就是这样。

观众：

这个讨论小组是非常出色的。所以我想问你，你对人工智能驱动的科学革命有何看法？人工智能是一切吗？有什么是人工智能做不到的吗？因此，我们需要将人工智能与科学结合起来。

Hinton：

是的，Demis已经证明这是可行的。

Demis：

是的，你看，这从一开始就是我的目标和热情所在。这就是为什么我一生都致力于人工智能，现在是一个令人兴奋的时刻，我们可以应用它来帮助我们理解我们周围的世界和宇宙。

所以我认为AlphaFold是我的名片，也是我们能够做到的事情的证明。我希望当我们在十年后回顾时，这将只是人工智能生物学或人工智能科学新时代的开始。我认为现在，我思考这个问题的方式是审视我们构建的所有系统。你可以把它归结为非常简单的事情，真的。我认为，对于那些拥有大量组合搜索空间的情况，通常有很多东西可以这样表达，比如材料设计、化学、生物学中的很多东西。然后有一个解决方案，比如，这是否是蛋白质折叠所有可能方式中的正确蛋白质折叠。首先，你必须找到一个底层空间的模型，这样你才能以一种易于处理的方式搜索这个棘手的空间，从而找到答案，就像大海捞针一样。AlphaGo基本上就是这样，对吧？

但显然，在围棋游戏中，因为仅靠自己进行搜索是不可能的。你需要一个模型，某种合理的模型。它甚至不必是围棋的优点、围棋的动态以及围棋的主题。AlphaFold也是如此。所以我认为现在科学中有很多问题，我认为如果你把它表达得像这样，现有系统就可以解决，更不用说下一个可能能够产生新假设和类似事物的系统了。我认为我们还没有到那个阶段。我们必须提出假设并提出问题，并为其提供数据并建立模型等等。

因此，这在很大程度上是人类专家现在可以使用的工具，这就是我们所做的。但它很一般。我们不仅将其应用于生物学，还应用于化学、聚变、等离子体聚变，以及数学和定理证明。所以实际上，我认为当你开始以这种方式思考时，科学中有很多问题可以适合这种类型的设置。

David：

这适合我们今天讨论的问题。我一直相信人工智能会发展得足够快，它实际上可能会帮助我们解决理解大脑的问题。而且，我们真的应该应用这个完整的循环。

主持人Tomaso：

是的，让我对所有小组成员进行一次快速民意调查。有一个问题是你所说的和你所说的背后的问题，人们多次讨论的是最新的大语言模型的原创性或创造性如何？当然，我们知道，例如，AlphaGo在获胜时做了一些非常有创意的动作，这是在韩国的比赛。所以这是可能的。但要非常具体，您认为现有模型还是某些，您知道，下一个模型，比如说GPT-4或者GPT-5，能够陈述一个新的非平凡的数学猜想吗？我并不是说要证明这一点。我是说陈述它。谁认为未来五年内可能实现？你确定现在的模型做不到吗？

Ilya：

我不知道。绝对。

Hinton：

让我给你举一个例子，说明GPT-4已经可以做到但大多数人做不到的事情。所以我们仍然陷于认为逻辑推理是智力本质的想法中。当我们知道能够看到时，我们就知道能够看到类比，尤其是远程类比，是智力的一个非常重要的方面。所以我问GPT-4，堆肥堆和原子弹有什么共同点？GPT-4成功了。大多数人只是什么也不说。

它说了什么？一开始就说它们是非常不同的能量尺度。所以从表面上看，它们看起来非常不同。但是随后它进入了链式反应，以及它们产生能量的速率如何增加，它们的能量增加了它们产生能量的速率。于是就有了连锁反应的想法。事实是，它的知识量大约是人类的一万倍。所以它将能够看到我们看不到的各种类比。

Demis：

是的。所以我的感觉是，从AlphaGo之类的东西开始，显然还有今天的BARD和GPT等系统，它们在某种意义上显然是有创造力的。就像如果你看它们写诗一样，它们现在是非常令人惊叹的诗歌，我们有可以创造伟大音乐的系统，很多我们认为非常有创意的东西。所有图像内容，文本到图像内容。我仍然认为你在问什么，汤米，在我看来这是不可能的。。

我认为我之前已经讨论过这三种类型，可能与您讨论过，甚至可能在CBMM中讨论过，我认为创造力分为三个层次，我们显然拥有前两个。所以首先是插值，只是对你所看到的进行平均来创造一些东西，一种典型的新事物，就像你所见过的所有猫图像中的一只新猫一样。这是最低水平的创造力。然后是推断，我认为我们现在所处的位置。这就像AlphaGo的第37步、新的围棋策略、新的音乐、新的诗歌以及发现人类无法发现的事物之间的类比。我认为这些系统绝对可以做到这一点。

但还有第三个层次，我称之为发明或开箱即用的思维。这就相当于AlphaGo发明围棋，不是想出围棋好棋，而是发明围棋或发明国际象棋。他们不能那样做。我们人类游戏爱好者认为经典的好东西，从某种美学的角度来说，是好的。但他们不能。正确的。这就是所缺少的东西。或者毕加索想出立体主义，或者伟大的数学家想出新猜想。但我不相信这是魔法。我认为我们将拥有可以做到这一点的系统。但我认为他们今天做不到这一点。而且还缺少一些东西。但我认为我们将来能够做到这一点。

主持人Tomaso：

所以我同意Demis的观点。Ilya呢？你同意还是不同意？

Ilya：

我认为当今存在的神经网络显然毫无疑问具有创造性。他们在所有领域的创造力并不像历史上最具创造力的人类那样出众。因此，我相信这是一个事实。

David：

我提出的问题是关于数学。这就像一个猜想，有些复杂，对吧？这与Demis所说的完全一致。你能发明群论吗？你知道群论吗？

我想说，这和猜想是不同的。群论有一个相当高的门槛。我们现在讨论的就是这个问题。从字面上讲，之后就没有什么可以留下的了。我认为这在很大程度上可以追溯到基准测试的问题。即使是在创造力方面，你如何衡量它？因此，我想说的一个困难是，没有一个基准。从计算机被发明用于某些任务的那一刻起，它们就一直能够超越人类。因此，要真正理解这里发生的事情，我并不是反对任何人所说的，但我们确实应该关注基准测试的问题，正如Demis和其他人所指出的。

Hinton：

这只是一个历史评论。我经历了很长时间，看到人们说神经网络永远无法做到某些事情。加里·马库斯的集体作品就是一段精彩的历史。因此，我不再相信这些说法，因为人们所说的几乎所有事情现在他们都可以做到。人们曾经认为证明数学定理是一件简单的事，但神经网络永远不会做到这一点。人们只是不断地推动任务，使任务变得越来越难。我完全同意Demis的观点。没有理由相信有什么是人们能做但他们不能做的。我们可能无法提出，他们可能也无法提出深刻的新数学猜想，但这并不意味着他们在20年内无法做到。

Demis：

大脑是一个神经网络。是的，除非大脑中发生了一些不可计算的事情，对吧？确切地说。所以，可能是非常聪明的，或者非常复杂或非常进化的。

观众：

现在，我的问题是关于现有的范式、一些Transformer和大型语言模型。是的，即使从这里开始，我也不确定我是否侵犯了这里的某些专有领域，但是你知道Transformer之后的下一个架构会是什么吗？杰夫，你一定有什么想法。

Hinton：

如果我确实有一个想法，我不会在公共场合说出来，直到出现并发症为止。至少在我有一名研究生从事这方面工作之前是这样。

主持人Tomaso：

好吧，开放科学就讲这么多。那么，让我转向神经科学。我认为问题是，神经科学领域的哪些突破将对机器学习产生重大影响？我想如果我们能更多地了解大脑是如何进行学习的，无论是通过反向传播或其他东西，那就太好了。我认为，神经网络爆炸性进展中最引人注目的因素之一是反向传播和梯度下降。

所以，问题是，如果像许多人认为的那样，这在生物学上不太可能合理，我认为了解大脑是如何做到这一点将是非常有趣的，这可能会对人工智能产生影响。但您可能认为神经科学领域还有其他潜在突破可能会对机器学习产生影响。你有什么主意吗？

Hinton：

我认为很明显大脑不会随着时间进行反向传播。这似乎不太可能。我所知道的所有关于大脑如何进行反向传播的理论都是通过多个皮质区域进行的。同样相当清楚的是，这些大型语言模型以及多模态语言模型存储的连接信息远多于大脑。现在，可能只是因为他们有更多的经验，如果我们有更多的经验，我们就能得到更多。但我现在怀疑，我一直认为大脑一定在进行某种形式的反向传播，但我现在怀疑它可能在做一些更愚蠢的事情。

但如果我能用GPT-20回答一个问题，那就是，大脑是否实现了某种形式的反向传播？

主持人Tomaso：

这是一次很棒的谈话。谢谢你们。

Hinton，Demis，Ilya：

谢谢。非常感谢。