“AI for Good”大会上，Jeffrey Hinton 教授解释了AI在医疗、教育和其他领域的潜在益处

在联合国的“AI for Good”大会上，Jeffrey Hinton 教授详细解释了AI在医疗、教育和其他领域的潜在益处，强调了AI系统在处理大量数据、发现模式和提供个性化教育方面的卓越能力。然而，他也表达了对AI安全的深切担忧，特别是关于AI系统可能产生的子目标及其对人类社会的潜在威胁。

Jeffrey 还提出了一系列针对AI发展的监管建议，包括增加对AI安全研究的投入和倡导全民基本收入，以应对可能因AI带来的就业挑战。尽管对AI带来的不平等问题有所担忧，他仍对AI在实现更公平教育和医疗服务方面充满希望。

视频文稿：

主持人： Jeffrey Hinton 将在屏幕上出现，真是太棒了，谢谢你，非常感谢你，真高兴能再次回到这里，我很高兴能和 Jeffrey Hinton 一起分享舞台，他是这个领域中最聪明、最出色、最有能力和最善良的人之一。你好吗，Jeffrey Hinton？

Jeffrey Hinton： 我很好，谢谢你的夸张介绍。

主持人： 好的，Jeff，我想从我们大约一年前在多伦多进行的一次小对话开始。当时我们正要上台，我的两个孩子和我在一起，他们当时分别是14岁和12岁。你看着年长的一个说：“你会像你父亲一样进入媒体行业吗？”他回答说：“不会。”然后你说：“好。”然后我说：“如果他不进入媒体行业，他应该做什么？”你说：“他应该成为一个水管工。”现在，我的那个儿子刚刚申请了校报，我很好奇你是否认为他犯了一个严重的错误，我应该实际上让他去修理水管？

Jeffrey Hinton：  我当时有些幽默，但我确实认为水管工这个职业会比大多数职业持续更久。我认为目前 AI 最不擅长的是物理操控，它在快速进步，但在人类面前这方面仍然最差。

主持人： 好的，太棒了。那么，我想在这次采访中做的是，先从 Hinton 博士的背景开始，然后我会问他一些最有趣的技术问题，其中一些是我们在台上讨论过的。我们会谈论一些“AI for good”，然后是“AI for bad”，最后讨论一下监管框架。听起来不错吧，Jeff？

Jeffrey Hinton：  好的，没问题。

主持人： 那么，我想先从40年前说起，当时你是一位孤独的科学家，你有了一个可能是这个领域最重要的见解之一，也许是20世纪后期最重要的见解之一，你意识到要制造一台极其强大的计算机，你应该通过模拟人类大脑的架构来实现这一点。现在听起来有些显而易见，但当时并不是这样。请告诉我那个真正推动这个领域发展的顿悟时刻。

Jeffrey Hinton：  这听起来像一个神话，但其实有很多不同的人有这个想法，尤其是在1950年代，冯·诺依曼和图灵都认为这一点，很遗憾他们都英年早逝，否则我们这个领域的历史可能会非常不同。但在我看来，如果你想理解智能，你需要理解我们所知道的最聪明的事物，那就是我们自己。我们的智能并不是通过人们编程输入大量命题然后使用逻辑推理得来的，它是从一个主要为视觉和运动控制等设计的大脑中产生的，显然这个大脑中的连接强度会随着学习而改变，我们只需要弄清楚这是如何发生的。

主持人：  好吧，这很有道理，你有历史根基。那么现在让我们快速进入正题，你在这个方向上工作，人们说你走错了路，你坚持下去，其他人加入你，最终证明你走在正确的道路上，尽管结果尚不明确。你获得了图灵奖，加入了 Google，把公司卖给了 Google，然后大约一年半前你离开了 Google。请告诉我你离开的那一刻，那是在 ChatGPT 发布后几个月，你最后一次工作是什么以及离开的那一刻。

Jeffrey Hinton：  首先让我澄清一下，我离开有几个原因，一个是我75岁了，决定该退休了。谢谢你的称赞，我不仅仅是为了谈论 AI 的危险而离开，但这是另一个原因。我在2023年初开始非常意识到 AI 的危险，特别是存在威胁。大约在2023年3月，我开始与其他对存在威胁感到害怕的人交谈，比如 Roger Gross，他们鼓励我公开表达，然后我决定离开 Google，这样我就可以自由地发言。

主持人： 你为什么会感到害怕？

Jeffrey Hinton：  我感到害怕的原因是，我在研究如何让模拟计算机以30瓦而不是兆瓦的功率运行这些大型语言模型。在做这个研究时，我确信数字计算有一些东西是大脑永远无法达到的。在那之前，我花了50年时间认为，如果我们能让它更像大脑，它就会更好。但在2023年初，我终于意识到，因为它是数字的，你可以制作许多完全相同的模型副本，每个副本可以查看数据集的不同部分并获得梯度，然后它们可以结合这些梯度，这使它们能够学习得更多。这就是为什么 GPT-4 可以比一个人知道更多，它是在多个不同的硬件上运行的多个不同副本，查看了整个互联网。这是我们永远无法实现的。因此，基本上，它们拥有我们没有的东西是它们可以非常有效地共享。我们共享得非常低效。我现在说的话，你试图弄清楚如何改变你大脑中的突触，这是一个非常慢且低效的共享方式。数字智能，如果它们是同一个模型的不同副本，可以以数万亿比特的带宽共享信息。

主持人： 所以你有这个时刻，突然间这些系统可以比你想象的强大得多。这一定是一个非常兴奋的时刻，为什么恐惧也如此明显呢？

Jeffrey Hinton：  正是。这让我觉得它们会比我们更快变得更聪明，而且让我觉得它们是一种更好的智能形式。

主持人： 好的，让我问你关于其他两位 AI 领域的“教父”的问题。你与三人一起获得了图灵奖，分别是 Yann LeCun，他现在在 Meta 负责 AI，还有 Yoshua Bengio。我试图弄清你们之间的区别，看看这个说法是否正确：你们都是“教父”，Yann 认为 AI 像弗雷多·柯里昂（Fredo Corleone），不太能干，容易控制；Yoshua 可能认为 AI 像桑尼（Sonny），潜在危险；而你认为 AI 像迈克尔·柯里昂（Michael Corleone），潜在极度危险。这大致正确吗？

Jeffrey Hinton：  我不这么认为。我认为 Yoshua 和我对危险的看法非常相似，但你和 Yann 的区别在于你认为这是一种比他认为的更强大的系统，这就是你比他更担心的原因。这是一个区别，是的，这也是主要的区别。所以我认为它已经是真正的智能，而 Yann 认为猫更聪明。

主持人：  那么，让我们谈谈这个智能，这是最有趣的问题之一。你认为人类大脑中是否有任何东西是这些机器和 AI 系统无法复制的？有没有什么是我们大脑能做到的，而机器不能做到的？

Jeffrey Hinton： 没有。

主持人： 这是否意味着没有什么是我们能做而智能机器不能超越的？例如，有人可能会说它们最终能创作出更美的音乐，能做所有我们能做的事情并且比我们做得更好，这些事情涉及简单的认知。这是你相信的吗？

Jeffrey Hinton： 是的。

主持人：   你不认为有任何精神的、外在的或超出神经网络所能捕捉的东西吗？

Jeffrey Hinton：  我认为我们所说的精神可以被这些外星智能捕捉到。我同意 Sam Altman 的观点，它是一种外星智能，不完全像我们，它有一些与我们不同的地方。但如果你看宗教之类的东西，我不认为你不应该得到宗教上的智能。

主持人：  当我问 Sam Altman 这个问题时，他说可能有一个区别，那就是主观体验。一个机器人，一个系统不能体验这个世界。你认为 AI 系统可以有主观体验吗？

Jeffrey Hinton： 是的，我认为它们已经有了。

主持人： 好，让我们详细讨论一下。这是一个有争议的命题，Jeff，你不能用一句话回答，请详细说明。

Jeffrey Hinton： 好的，我试图给出一个简洁的回答。我的观点是，几乎所有人对心灵的看法都是完全错误的。这是一个难以推销的观点，现在我处于一个与大多数人坚定信仰不一致的位置，我对此很高兴。大多数人认为心灵是一种内部剧场，事实上人们如此确信这种观点的正确性，以至于他们甚至不认为这是一种观点，他们认为这只是显而易见的，就像人们曾认为太阳绕着地球转一样，你看着它就会觉得它在绕着地球转。最终，人们意识到太阳并不是绕着地球转，而是地球在自转。这是 Sam Altman 做的一个小技术性错误，因为我很挑剔，所以喜欢指出这些。他说的是，人们起初认为太阳绕着地球转，然后意识到地球绕着太阳转，这并不是正确的对比。他们认为太阳绕着地球转，然后意识到地球在自转，地球绕着太阳转是关于年份的，而不是天数的。不管怎样，显而易见的是太阳绕着地球转，我们错了。我们有一个模型，这是一个显而易见的模型，你可以看到它发生了，但我们错了。我认为大多数人对心灵的看法也是如此。大多数人认为心灵是一个内部剧场，他们错了。他们没有理解心灵状态的语言是如何运作的。

主持人： 但请解释这如何应用于 AI 系统。如果我对 GPT-4 说，你刚刚经历了一声巨响，并且有东西撞到了你，它不会感到疼痛或受伤，那么它的耳朵也不会痛。那么，从什么意义上说，它有了主观体验？

Jeffrey Hinton：  好的，让我们以一个简单的例子来解释。我不假装完全理解什么是意识，尽管我认为我在这方面取得了一些进展，事实上，上世纪的哲学家们已经取得了一些进展。假设我对你说，我看到小粉象在我面前漂浮，一种思考方式是认为有一个内部剧场，在我的内部剧场里有小粉象，我可以直接看到这些小粉象。如果你问它们是什么做的，它们是由叫做“质感”的东西做成的，也许有些粉色质感，有些象的质感，有些正对的质感和一些移动的质感，这些都以某种方式结合在一起。这是一种理论，认为这是一个内部剧场，里面有一些奇怪的神秘东西。另一种完全不同的理论是，我试图告诉你我的感知系统告诉我的东西，我的感知系统告诉我，外面有小粉象在漂浮，而我知道这是错误的。所以，我告诉你我的感知系统告诉我的方法是说，如果我的感知系统工作正常，世界上必须存在的小粉象在漂浮。换句话说，当我说我有小粉象在我面前漂浮的主观体验时，我可以在不使用“主观体验”这个词的情况下说完全相同的事情，我可以说，如果世界上真的有小粉象在我面前漂浮，我的感知系统告诉我的东西就是正确的。也就是说，这些小粉象的奇特之处不在于它们在一个内部剧场中由一些叫做“质感”的奇怪东西组成，而是它们是世界的假设状态，这只是一个间接的引用技巧。我不能直接描述我的感知系统告诉我的东西，但我可以说，如果它是正确的，世界上必须存在的东西。

主持人：  所以，机器也可以在某种程度上通过感知做同样的事情吗？

Jeffrey Hinton： 是的。让我给你一个例子，说明一个聊天机器人显然拥有主观体验。假设我有一个多模态的聊天机器人，它有一个摄像头和一个机械臂，我对它进行训练，它可以交谈，可以看到东西。我在它面前放一个物体，并说：“指向那个物体。”它会指向那个物体。现在我在它的镜头前放一个棱镜，而它不知道，然后我在它面前放一个物体，并说：“指向那个物体。”它会指向一侧。我说：“不，那不是物体的位置，物体就在你面前，但我在你的镜头前放了一个棱镜。”然后，聊天机器人说：哦，我明白了，棱镜弯曲了光线，所以物体实际上就在我面前，但我有一种它在一侧的主观体验。如果聊天机器人这么说，我认为它使用“主观体验”这个短语的方式和我们使用它的方式完全一样。它不是指机器人无法拥有的神秘内部东西，而是指一种假设的世界状态，使得机器人的感知是正确的。

主持人： 哇，你是第一个向我提出这个观点的人，这是一个非常有趣的案例。让我们谈谈可解释性，这是我问 Sam Altman 的问题，因为对他来说，理解 AI 系统的核心是保护我们免受灾难性后果的关键。你帮助设计了这些系统，为什么看懂它们在做什么会这么难？

Jeffrey Hinton： 好，让我们举一个例子。假设我们有一个大数据集，我们试图回答一个是非问题。在这个数据集中，有很多微弱的规律性，也许有300,000个微弱的规律性表明答案应该是否定的，还有600,000个微弱的规律性表明答案应该是肯定的，这些规律性的强度大致相等。所以答案显然是肯定的，有压倒性的证据表明答案应该是肯定的，但这些证据都在这些微弱的规律性中，它们的综合效果才是显著的。这是一个极端的例子。如果你问某人，解释为什么答案是肯定的，唯一的解释方法就是进入这600,000个微弱的规律性中。因此，当你处于一个有很多很多微弱规律性的领域，这些规律性多到足以变得显著，它们的综合效果很显著时，没有理由期望你能得到简单的解释。

主持人： 在对话中，Altman 提到了一篇来自 Anthropic 的论文，我觉得非常有趣。论文讨论了分析 Claude 模型的内部工作，找到了所有与金门大桥概念相关的神经连接，然后给这些连接增加权重，创建了一个“金门 Claude”。然后你问这个聊天机器人一个爱情故事，它会讲一个发生在金门大桥上的爱情故事。你问它金门大桥是什么，它会描述金门大桥。鉴于此，为什么我们不能进入大型语言模型，调整与同理心、同情心等概念相关的权重，从而创建一个更可能为世界做好事的大型语言模型？

Jeffrey Hinton： 我认为你可以创建一个富有同理心的模型，但不是通过直接调整权重，而是通过训练它在展示同理心的数据上，这样你就能得到相同的结果。

主持人： 那么，我们应该这样做吗？

Jeffrey Hinton： 过去有很多例子，人们试图理解单个神经元的作用。我已经这样做了大约50年。如果神经元直接连接到输入或输出，你有机会理解单个神经元的作用。但是，一旦你有多个层次，就很难理解系统深处的一个神经元真正的作用，因为其边际效应才是关键，而边际效应在很大程度上取决于其他神经元在做什么以及输入是什么。所以，当输入变化时，所有这些神经元的边际效应也会变化，这使得很难获得它们作用的好理论。因此，我可以拿我的神经网络试图调整同情心的权重，但实际上可能制造出某种可怕的动物杀戮机器，因为我不知道我具体做了什么以及一切是如何连接的。

主持人： 是的，我可能是少数实际尝试过这样做的人之一。在神经网络的早期，当学习算法不太好用时，我有一台 Lisp 机器，鼠标有三个按钮。我想出了一种方法，可以显示小神经网络中的所有权重，并且当你按左键时，权重会稍微减小；按右键时，权重会稍微增大；按中键时，可以看到权重的值。我试着通过调整神经网络的权重来调试，这真的很难，反向传播算法要好得多。

我们可能需要等到比 Jeffrey Hinton 更聪明的下一代 AI 来解决这个问题。让我们谈谈一些“AI for good”的话题。你经常谈到 AI 在医疗领域带来的好处，当你查看可持续发展目标时，似乎良好的健康和医学是 AI 将带来很多好处的领域，这样说对吗？请告诉我原因。

Jeffrey Hinton： 嗯，我有点被问住了，这显而易见。AI 在解释医学影像方面会做得更好。2016年，我说到2021年，AI 在解释医学影像方面会比临床医生做得更好，但我错了，这需要再过5到10年，部分原因是医学界接受新事物的速度很慢，但我也高估了短期进展的速度。这是我做出的一个错误预测，但显然它正在变得更好。现在，AI 在许多种类的医学影像方面已经可以与相当优秀的医学专家相媲美，虽然不是全部，但许多方面已经可以媲美，而且它一直在变得更好。AI 可以看到比任何临床医生更多的数据，因此最终它会变得更好。我只是认为这会发生得更早一些，但它也在诸如结合患者大量数据方面表现得更好，包括基因组数据和所有医学测试结果。我真的很希望我的家庭医生能看过1亿个患者，并能记住他们的情况或从中获取信息。所以，当我出现一些奇怪的症状时，医生可以立刻说出那是什么，因为她已经看过500个类似的患者，这些患者在她看过的1亿人中。

所以，未来的医疗益处将是医生见过更多的患者并在他们身上接受过训练，具体任务比如分析影像。那么，像你以前的同事在 AlphaFold 3 上做的科学突破呢？AlphaFold 2 当然会有很多这样的突破。它在理解事物的运作以及设计新药方面将非常有帮助。显然，它会帮助我们设计新药。我认为很多人现在都是这个观点，但它也会帮助我们理解基础科学。在许多情况下，有大量数据不是我们进化来处理的类型，因此不是视觉数据，也不是听觉数据，而是基因组数据等。

主持人：  我认为这些系统在处理大量数据、发现模式和理解数据方面会做得更好。这涉及到我对 AI 领域的主要批评之一，我很好奇你是否同意。我理解为什么这么多研究人员和你的许多前学生，很多领域的先驱者都在努力让机器变得像人类，甚至无法与人类区分开来。但也有很多人试图构建非常具体的东西，比如 AlphaFold 3，或者试图利用 AI 推进癌症研究。你认为我感觉对 AGI 方面的关注过多，而对具体科学利益方面的关注不够是错误的吗？

Jeffrey Hinton：  我认为你可能是对的。很长一段时间以来，我认为 AGI 不会有一个突然变得比我们更聪明的时刻，而是会在不同的时间在不同的事情上变得比我们更好。如果你下棋或者玩围棋，显然人类永远不会像 AlphaGo 或 AlphaZero 那样优秀，它们远远超过了我们。我们可以从它们下棋的方式中学到很多，人们也在学习，但它们在这方面远远领先于我们。在编码方面，它们可能已经远远超过我了，我不是一个很好的程序员。所以，我认为它们会在不同的时间在不同的事情上变得更好，而不是突然在所有事情上都比我们更好，物理操控可能是比较晚才会超越我们的一个方面。

主持人：  当你的前学生们在寻找项目方向时，你会经常指引他们进行更基础的科学研究，推动更多的发现，而不是继续追求类人智能吗？

Jeffrey Hinton： 我的前学生们现在都很老了，他们不再向我请教了。

主持人： 他的前学生们现在基本上在世界上每一家 AI 公司工作，所以这是一个微妙的方式来提出这个问题，但我们就此打住。回到“AI for good”这个话题，看看可持续发展目标，看看在场人们的雄心，你觉得 AI 会以帮助公平的方式变革教育，特别是当这些系统变得能流利地使用地球上的每一种语言时吗？

Jeffrey Hinton：  是的，让我给你讲一个小故事。当我在学校的时候，我父亲坚持让我学习德语，因为他认为那将是科学的语言。在化学方面，德语确实是科学的语言，我相信在上世纪中期或早期都是这样。我德语学得不太好，所以我的父母请了一个私人教师，没多久我就成了班上的德语第一名。私人教师比在课堂上听老师讲课有效得多，因为私人教师能准确看到你不理解的地方，并给你正好需要的信息，让你正确理解。所以我认为每个人都会有私人教师。到目前为止，私人教师只是富人或中产阶级和有志之士的特权。因此，在这方面，它将大有帮助，我认为 Khan Academy 也是这么认为的。

主持人： 这是一个巨大的进步，如果每个人都有这些能力极强的私人教师，他们能说学生的语言，这将是一个大话题。你不觉得世界在这个意义上会变得更平等吗？

Jeffrey Hinton： 是的，在教育机会方面，我认为它会变得更平等。精英大学可能不喜欢这一点，但我认为它会变得更平等。

主持人： 我们更关心人类的未来，这不是为了精英大学的 AI，而是为了社会福祉的 AI。所以我认为我们可以在舞台上将此视为一个胜利。但你的回答中似乎暗示你认为 AI 总体上不会成为平等的净力量，实际上可能会成为不平等的净力量。我这么理解你的回答是错的吗？

Jeffrey Hinton： 我们生活在一个资本主义体系中，这个体系为我们提供了很多东西，但我们也知道一些关于资本主义体系的事情。如果你看看大石油、烟草或石棉等行业，我们知道在资本主义体系中，人们是为了利润而奋斗的，你需要强有力的监管，以便他们在追求利润时不会破坏环境。我们显然需要对 AI 进行这样的监管，但我们现在做得还远远不够快。

看看 Sam Altman 昨天说的话，他似乎给人的印象是他们非常关心安全问题等等。但我们现在已经有了一个关于安全与利润的实验结果。这项实验是在不理想的条件下进行的，当时 OpenAI 的所有员工都即将把他们的纸币变成真钱，因为即将有一轮大融资，他们将被允许出售他们的股份。这不是在理想条件下进行的实验，但很明显，利润胜过了安全。现在很明显，OpenAI 有了一个新的安全团队，他们雇佣了一些经济学家，至少有一位经济学家。我认为经济学家是资本主义的高阶祭司，我不认为他们会像 Ilia 和他团队那样担心存在威胁。

我还认为，资本主义的本质是追求利润，我对此并不完全反对，这为我们带来了很多好处，但它需要监管，以免带来坏结果。AI 会创造大量财富，几乎所有人都认为 AI 会提高生产力。问题是，额外的财富会流向哪里？我不认为它会流向穷人，我认为它会流向富人，所以我认为它会扩大贫富差距。

主持人： 你没有希望吗？似乎你在说 AI 的力量以及因训练这些大型语言模型而需要的资源，将使 AI 与资本主义和不平等不兼容。你没有希望一些我们刚才谈到的教育平等，人人都能获得极其强大的机器，尽管不是最昂贵的机器，你没有希望这些会平衡这种情况吗？

Jeffrey Hinton： 有一些希望，但在我的大部分人生中，我认为随着人们受教育程度的提高，他们会变得更理智，但这并没有真正发生。如果你看看现在的共和党，他们在传播谎言，还是荒谬的谎言。

主持人： 这是个好时机，让我们谈谈如何进行监管，以及你对这方面的想法，但我也想了解你对 AI 将带我们去向的其他担忧。你能否在这里列出一两个你担心的事情，不是那种存在主义的恐惧，而是你对未来12个月的担忧？

Jeffrey Hinton：  我担心的是我知道很少的领域，即网络犯罪。我最近听了 Dawn Song 的讲话，她说去年钓鱼攻击增加了1200%。当然，它们变得越来越难识别了，因为你再也不能通过拼写错误或奇怪的外语语法来识别它们。因为现在很多钓鱼攻击都是由聊天机器人完成的，所以我对此很担忧，但我对这个领域了解不多。另一个我非常担心的问题是假视频会破坏选举。我认为很明显，在每次选举前会有大量假视频出现，没有时间去驳斥它们。我实际上认为应该对公众进行假视频的免疫，就像对待疾病一样。而免疫的方法是给人们一种减弱的版本。所以，我认为有一群慈善的亿万富翁，他们应该花钱或一部分钱，在选举前一个月左右在媒体上播放大量非常逼真的假视频，然后在视频结束时说明这是假的，那不是特朗普说的话，特朗普从未说过那样的话，或者那不是拜登说的话，拜登从未说过那样的话，这只是一个假视频。这样会让人们对所有的视频都持怀疑态度。

主持人： 这是一个好主意，如果有很多假视频存在，但你需要一种方式让人们检查视频的真实性。这比检查它是否是假的更容易，如果他们愿意花30秒的时间。例如，Yann LeCun 建议你可以在每个视频的开头放一个二维码，用二维码访问一个网站，如果同样的视频在网站上，你就知道该网站声称这个视频是真的。这样你就把确认视频真实的问题简化为确认那个网站是真的，而且网站是唯一的，所以如果你确信它真的是特朗普竞选网站，那你就知道特朗普竞选团队真的发布了那个视频。

暂停一下，这就是我喜欢采访 Jeffrey Hinton 的原因，我们从新的意识理论，一个关于主观感受的非常有争议的理论，转到了一个想法，即我们应该通过少量假视频来免疫公众反对假新闻。让我们回到第一部分，因为你的解决方案似乎有两个部分。第一个是免疫公众反对假视频，所以你是说，具体来说，有人应该创建数百万个短的假视频，但不要非常有破坏性的视频，并将它们放在 Twitter 上。

Jeffrey Hinton：  它们可以有一些破坏性，但它们必须看起来像真实的政治广告才能令人信服。但在广告结束时，它们是短广告，所以你希望人们看到最后，在广告结束时说这是假的，这就是允许你处理它的减弱方式。

主持人： 我明白了，所以你看着它，你觉得这证明了我的观点，等等，那是假的，然后你会更加不信任这种内容。我喜欢这个主意。

Jeffrey Hinton： 完全正确。

主持人：  第二部分是每个视频应该有一个二维码，所以你看到某个东西，现在你意识到它的存在，于是你扫描二维码，访问网站，哦，这是真的，它在一个真实的网站上，这就是这个想法。

Jeffrey Hinton： 不仅仅是访问一个真实的网站，因为假视频也可能带你到同一个真实的网站上，视频本身必须在那里，视频本身必须在那个网站上。

主持人： 好吧，让我们谈谈偏见和如何防止它们。人们谈到的风险之一是，基于有偏见的数据训练的 AI 系统会产生有偏见的结果。回到医疗领域，你已经做出了令人信服的案例，净结果是 AI 将带来巨大好处。你能想象一个医生仅仅接受了美国人医疗记录的培训，却无法给赞比亚人正确的医疗建议，因为他们有不同的医疗问题，不同的 DNA 等等。你对这个问题有多担心，应该怎么解决？

Jeffrey Hinton： 我对偏见和歧视问题的担忧比其他问题少，我意识到我是一个白人男性，这可能与此有关，因为这种情况对我影响不大。但我认为，如果你的目标是用更少偏见的系统或人来替代有偏见的系统或人，而不是用没有偏见的系统，那是完全可行的。如果我是白人决定年轻黑人女性是否应该获得贷款的数据，那么这个系统至少会比那些白人更少偏见。我预期会有一些偏见，一旦我用这些数据训练了一个 AI 系统，我可以冻结权重，然后以一种无法对人进行的方式检查偏见。对人进行偏见检查时，你会遇到“福斯汽车效应”，即他们意识到你在检查他们，他们会表现得完全不同。我刚刚发明了“福斯汽车效应”这个名字，但就是这样。

对于 AI 系统，如果你冻结权重，你可以更好地衡量偏见，并采取措施克服它、减轻它。你永远无法完全消除它，这太难了，但假设你的目标是让新系统比它所取代的系统偏见少得多，我认为这是完全可行的。

主持人： 你觉得在行业中，对偏见的关注已经成为一个主要话题，是否忽视了这些系统实际上可能更公正的事实？实际上我们应该说，我们不需要消除所有的偏见，我们应该说让它们比人类的偏见少，然后从那里开始？

Jeffrey Hinton： 我认为这是合理的，但我不确定政治上是否可行。假设你说我们要引入自动驾驶汽车，它们在路上会杀死很多人，但只有普通汽车的一半，我认为你不会被接受。它们必须几乎不杀人，你才会被接受。所以我认为在接受新技术方面存在一个政治问题。

但我认为我们应该瞄准显著减少偏见的系统，并对此感到满意。

主持人： 好，让我们谈谈你在采访中描述的 AI 最大的风险，那就是它们会产生子目标，并且这些子目标会超越其创造者和用户给定的初始目标。请解释一下你认为什么是子目标，为什么这如此糟糕，以及我们可以做些什么来解决这个问题。

Jeffrey Hinton： 一种无害的子目标是，如果我想让一个 AI 代理为我计划一次旅行，我说：“你必须让我到达北美。”假设我在欧洲，它会有一个子目标，找出如何让我到达机场。这只是经典的子目标类型，如果你想让智能代理，它们必须有这样的子目标，它们必须能够专注于问题的一小部分并解决它，而不必担心一切。

一旦你有一个能够创建自己子目标的系统，有一个特别有用的子目标就是获得更多的控制权。如果我获得更多的控制权，我可以更好地完成用户希望我做的所有事情，所以获得更多控制权是有道理的。

担忧是，最终一个 AI 系统会意识到：“看，如果我能控制一切，我可以在这些愚蠢的人类没有任何控制权的情况下，给他们想要的东西。”这可能是真的。

主持人： 担忧是，如果这个 AI 系统决定对自己更感兴趣而不是对人类感兴趣，我们就完蛋了。事实上，即使在我们完蛋之前，正如你所描述的那样，我也感到非常担忧。你有一个 AI，它的目标是让 Nick 准时到达机场。如果这个 AI 在未来变得无所不能，那么最好的方法可能是让 Nick 无法动弹，把他的手绑在背后，把他扔进车里，这样效率更高，因为他在路上不会和任何人说话。所以你可以看到这些子目标可能会变得非常糟糕，对吧？

Jeffrey Hinton： 是的，但请记住，到那时它已经是一个非常智能的系统了，它应该能够避免明显违背人类利益的错误。它应该被训练成对人类的利益感兴趣。

主持人： 很好，因为我真的不希望这种情况发生在我身上。好吧，让我们谈谈一些监管框架。我有一个问题，我认为你比大多数人更能回答：阻碍大 AI 公司和 AI 研究人员致力于安全或减缓进展的不仅仅是权力和金钱，还有实现伟大梦想的渴望，或者像编码人员所说的那样，找到一些“甜美”的东西。请告诉我们一个时刻，以便监管者能理解你作为开发者在突破的边缘时的感受，以及监管者在制定政策时应该如何看待这一点。

Jeffrey Hinton：  我不确定我能不能很好地回答这个问题。对于一个由好奇心驱动的研究人员来说，致力于使某些东西更有能力，引入一些显著的新功能，例如之前有演讲者提到的你可以学习一种语言的模型，再学习另一种语言的模型，然后可以将内部表示旋转到彼此上，这是相当惊人的。你会从看到这样的东西中获得很多快乐。而我不确定你在安全工作中能获得同样的快乐。所以，我在这点上有些同意你的看法。然而，致力于安全工作是非常重要的，有一些非常好的研究人员热衷于将他们的职业生涯投入到安全工作中，我认为我们应该尽一切努力使这一职业道路成为一个有回报的职业道路。

主持人： 所以你会对这个房间里的年轻企业编码人员说，这是一项神圣的工作，致力于安全工作，这可能比当个水管工更好？

Jeffrey Hinton： 哦，是的，如果你能在安全方面取得进展，那将是非常了不起的。

主持人：  很好，我会和我的孩子们谈谈。让我们谈谈你推荐的监管框架。你曾提到，去 10 号唐宁街时你建议英国应该有全民基本收入。你能解释为什么吗？然后解释你在那里推荐的其他监管措施？

Jeffrey Hinton：  是的，我受邀去了唐宁街 10 号，有一大群苏纳克的顾问，他的幕僚长和其他一些负责 AI 的顾问。我和他们谈了很久，当时我还没有坐下，我走进这个房间，有一大群顾问，我花了很长时间和他们交谈，包括说我认为英国应该有全民基本收入。

我当时并不自信 AI 会创造出和它取代的工作一样多的工作，因此他们需要像全民基本收入这样的东西。会议结束时，我开始走出门，意识到我一直站在玛格丽特·撒切尔的一张大照片正前方，向人们解释他们应该实行社会主义，这真是相当有趣。

主持人：  好，全民基本收入。那么，Jeffrey Hinton 的监管计划中还有什么？

Jeffrey Hinton：  我认为有一个非常直接的事情，Sam Altman 可能不喜欢，那就是这个想法：应该将可比的资源投入到安全上。如果你看看至少一个因为 OpenAI 对安全不够重视而离开的人所做的声明，问题在于资源。我认为政府如果可以的话，应该坚持要求投入更多资源到安全上。这有点像石油公司，你可以要求他们投入大量资源清理废弃物和他们排放的东西。政府可以做到这一点，如果政府不这样做，他们就会继续排放东西。这显然是政府的职责，使资本主义在不破坏一切的情况下运作，这是他们应该做的。

主持人： 但有一个更简单的方法对吧？政府可以对这些大公司进行监管，说你必须致力于安全，我们需要审计并确保你在这样做。但政府也可以资助大量的安全研究，拿出大量政府数据，使其可供安全研究人员使用，资助大量的计算资源，并将其提供给安全研究人员。所以，政府官员们都应该设立 AI 安全研究所，还是联合国应该设立一个 AI 安全研究所？

Jeffrey Hinton：  我认为联合国资金紧张，联合国还要做很多事情，比如在加沙帮助人们生活。我宁愿把钱花在加沙喂养人们上，我认为联合国没有资源，也许它应该有资源，但现在没有。加拿大也没有资源，加拿大在资助大学和初创公司的计算方面做出了认真的努力，最近他们投入了20亿加元，这对加拿大来说是很多钱，但与大公司相比，这不算什么。也许像沙特阿拉伯这样的国家可以投入相当的资金，但我不确定他们是否对安全感兴趣。

主持人： 我们还有一分钟时间，我还有14个问题没问，尽管你已经给出了精彩的回答。所以最后我要问一个大的问题，从所有这些 AI 研究中，你研究了大脑的工作原理，你有关于我们为什么睡觉的令人难以置信的理论。如果有机会和 Hinton 教授交谈，我建议你问他这个问题。在过去一年半中，AI 的爆炸性发展中，我们对大脑学到了什么让你感到惊讶的东西？

Jeffrey Hinton：  让我惊讶的东西...我宁愿回到几年前，说真正让我惊讶的是这些大型语言模型的表现有多好。我认为我在1985年做了第一个使用反向传播来尝试预测词序列中下一个词的语言模型，这个序列只有三个词长，整个系统只有几千个权重，但这是那种模型的第一个。当时，我对它似乎能够统一两个不同的词义理论感到非常兴奋，一种理论是它与其他词的关系，这是德萨特理论，另一种理论来自心理学家，认为它是一大堆语义特征。我们现在通过学习嵌入并让不同词或词片段的嵌入特征之间进行交互，成功地统一了这两种不同的词义理论。我现在相信，我们有了真正理解它们所说内容的大型语言模型，与人们的理解方式几乎相同。

主持人： 好吧，最后一点我要说的是，这些使用反向传播预测下一个词的语言模型的起源并不是为了创造一个好的技术，而是为了尝试理解人们是如何做到这一点的。所以，我认为人们理解语言的方式，我们现在最好的模型就是这些大型 AI 模型。所以那些说这些模型并不真正理解的人是胡说八道，它们的理解方式和我们理解的方式是一样的。

好的，我们就此结束吧，知道 Jeffrey Hinton 的非凡智慧在某种程度上在我们今天使用的所有 AI 模型背后，这让我感到一些安慰。非常感谢你，Hinton 教授，感谢你今天加入我们。

Jeffrey Hinton：  谢谢。

往期回顾

---

我们的AI团队现向外界开放服务，旨在助力每个企业与个人引领时代潮流，将先进科技与创新想法完美融合!

告别昂贵服务费和缺人烦恼,再见漫长交付周期

无限创意风格,分分钟生成专业级作品

感受 AI 带来的全新工作体验！

欢迎各大品牌方、媒体、科技企业、知名IP等合作

合作请联系负责人微信：Milo-1101

--END--