无人能构想出人工智能的未来 | 对话伯克利顶级学者 Stuart Russell

作者 | 王启隆

责编 | 袁艺

出品 | 《新程序员编辑部》

在人工智能学界的经典著作中，这两本书有资格称得上学界圣经。一本是 Ian Goodfellow（生成对抗网络之父）的《深度学习》，还有一本，在业内常被简称为“AIMA”。

这本比砖头还要厚的“AIMA”，全称《人工智能：现代方法》（Artificial Intelligence: A Modern Approach，如图 1 所示）。不少人工智能学科的教授，会在学期必读清单中列上“AIMA”。这部 1995 年首次出版的 AI 读物，至今已经四次重印，成为全球 135 个国家的 1500 多所高等院校使用的教材。

图 1 人工智能学界的两本经典读物

“AIMA”的合著者之一 Stuart Russell（见图 2）是人工智能领域的领军人物，他同时担任加州大学伯克利分校人类兼容人工智能中心（Center for Human-Compatible AI）的创始人和伯克利计算机科学专业的教授。

AI 的发展带来了各种各样的危机讨论，近年来，Stuart Russell 一直为 AI 潜在风险奔走。他不仅签署了埃隆·马斯克 (Elon Musk)、史蒂夫·沃兹尼亚克 (Steve Wozniak) 等人牵头的建议放缓 AI 研究进程公开信，还主动奔赴更多公众可见的场合，以警告 AI 的潜在风险。

图 2 CSDN x Russell 的面对面对话

CSDN《新程序员》在智源大会上与 Stuart Russell 教授进行了深入对话，了解他对 AI 技术发展方向的思考与顾虑，并得到了以下回答：

• 辅助游戏的概念为人机交互设计提供了一种指导原则：即使系统不完全了解人类的具体意图，AI 系统在执行任务时也要优先考虑人类的利益和需求。

• 我尝试过让经济学家、科幻作家和人工智能研究人员们描绘出一个理想而美好的乌托邦未来，但没人能够做到。实际上，绝大多数人可能并不希望生活在一个凡事都被 AI 取代的世界。

• 每当涉及黑盒模型时，情况就会变得奇怪，因为我们不了解它们的内部工作原理。所以，我们试图像对待动物一样让大模型提供帮助，这个过程被称为“从人类反馈中进行的强化学习”（RLHF）。

• AI 系统有能力解决人类偏好中的不确定性问题，它们可以从文献中考察出更加全面的信息，实现人类从未达成的愿景。

如果你想获得这本《人工智能：现代方法》，请翻阅至文末参与互动！

AI 通过模拟人类的复杂性来实现智能

Russell 教授在《人工智能：现代方法》中，深入探讨了人机交互的问题，并提出了一种叫做“辅助游戏”（Assistance Games）的数学框架，来帮助我们理解人与机器复杂的互动过程，并总结出了构建安全人工智能的 3 条原则：

1. AI 系统的唯一任务就是尽力满足人类的需求和愿望。

2. 设计者必须保证 AI 系统并不事先知道人类具体想要什么，AI 系统需要通过与人类的互动和观察，来推断人类的偏好。

3. AI 系统在通过观察推断出人类偏好后，需要继续优化行为和决策。

《新程序员》：您曾于书中建议，在 AI 系统中引入不确定性，加强 AI 系统对人类偏好的学习和理解。这是否要求 AI 系统和人的交互应该更复杂、更深入，让 AI 全面地了解人类决策和行动的逻辑？

Russell：我认为“复杂”一词不适用于形容人机交互的发展方向，或者说人类本身就是在复杂交互中处理问题，AI 也在不断学习人类处理问题的模式。

让我举一个常见的例子：当一位食客走进餐厅，餐厅如何能够快速了解食客的需求？

传统的方式是向食客提供菜单，让食客自行选择自己想要的菜品。这个过程不复杂，是通过双方的共同协作，降低了需求匹配的难度。这就是人机交互的基本原则：AI 系统会了解用户的偏好，并表现得和人一样，执行既定的任务。

这项基本原则已经实际应用到了生活当中：当我预订飞机座位时，机场的航班系统会问我要靠窗还是靠过道，我一般会选靠过道，有些人则喜欢靠窗。这个航班系统的交互并不复杂，是一种非常自然的行为。 

那么，在计算机系统已经记录了用户偏好的情况下，我们就会采用传统的交互方式，让 AI 执行既定任务。但是，在现实世界中，每个人的偏好都存在不确定性。

无论是个人 AI 助理、家用机器人还是自动驾驶汽车，都需要根据不同用户的偏好改变行为策略。一位优秀的人类出租车司机，会根据乘客的情况调整驾驶方式，比如说在遇到老年乘客的时候，避免急刹或急转弯，或者是在乘客携带婴幼儿的时候，选择能够平稳驾驶的路线，以减少他们在后排乘坐时的不适。 

所以，自动驾驶 AI 的发展方向就应该是具备优秀的人类司机相同的特质。

在人机交互设计中，通常会针对特定的场景（例如购买机票或驾驶汽车）进行设计交互。设计师会创建一个脚本，而汽车或机票销售系统会按照这个脚本进行操作。这个脚本告诉系统应该展示给用户什么信息，用户如何进行操作等等。目前，设计交互主要依赖于设计师的直觉和个人经验，一些人在设计交互方面擅长，而一些人则不太擅长，并没有太多理论可以告诉他们如何进行设计。

但是，我书中讲到的辅助游戏就是一种来指导设计交互的方法论。

辅助游戏的概念为人机交互设计提供了一种指导原则，使得设计师能够在设计交互时明确系统应该如何尽可能地对人类提供帮助。这一概念强调，即使系统不完全了解人类的具体意图，AI 系统在执行任务时也要优先考虑人类的利益和需求。通过定义辅助游戏，我们可以提供一种理论基础来指导设计师进行交互设计，使得设计更加符合人类的期望和需求。

无人能构想出人工智能的未来

人工智能未来仍会经历波折，各种潮流、观点也会纷争喧嚣，但沉淀下来的是隽永的思想。

——Stuart Russell

CSDN 社区、Russell 的中国行、这篇文章的诞生，皆依赖于无处不在的互联网。当我们回顾互联网标准制定的历史时，便可以从中得出一个重要的启示：用户参与在科技发展和决策过程中的重要性。

在互联网标准的制定过程中，人们很快发现，要使这些设备相互通信并不容易。这时，一个名为 IETF（互联网工程任务组）的组织诞生了。IETF 的成员们来自不同领域、不同国家，他们代表了广泛的利益相关者，通过讨论、共享意见和达成共识，共同推动互联网的发展和标准的制定。这个过程是开放的、透明的，并且重视各方的参与。

类似地，当我们谈到公众参与 AI 开发和决策过程时，同样需要考虑广泛的利益相关者，包括公众、学者、工程师、决策者等等。AI 的发展涉及到众多的道德、社会和法律问题，如隐私保护、数据安全、算法偏见等。为了确保 AI 技术的发展符合公众的期望和价值观，公众参与至关重要——真是如此吗？

《新程序员》：您如何看待公众参与 AI 开发和决策过程的重要性？我们要如何确保公众可以在 AI 的参与、应用和发展方面有更多话语权呢？

Russell：这是一个有趣且复杂的问题。我想稍微退后一步反问：如果把这个问题里的“AI”换成别的名词，又当如何呢？比如汽车也很重要，但为什么汽车的外观设计是由商业公司完成的？是谁规定民众不能设计汽车呢？

但其实相比于广泛的公众，企业更愿意听取目标用户的意见，毕竟如果用户不喜欢且不购买产品，那么公司就会倒闭。因此，汽车公司会努力设计符合目标用户喜好的产品，并通过市场调研等方式了解大众对产品的喜好。所以，人工智能领域会通过用户的实际行为辅助决策。

但出于某种原因，现在有很多人会提出类似于你这样的问题，他们都认为人工智能需要公众的参与和包容性，这又是为什么呢？有一个可能的答案是：我们在内心深处认为 AI 不像汽车，因为 AI 会更加深刻地影响人类的未来。

从这个角度思考的话，我们就会面临一个问题：那些创造 AI 的公司，为什么可以主动影响人类的文明和未来？我们是不是应该让自己来描绘自己想要的世界？

那么，既然要让公众参与，不如现在就开始想象：在未来，一个通用人工智能（AGI）或接近 AGI 的技术能够完成当前人类从事的几乎所有工作，以此为基础，现在请你通过想象把这个完整的画面补充完整，给我描绘一个你希望自己的孩子成长的世界。我曾尝试向经济学家、科幻作家和人工智能研究人员提出同样的问题，但没有人能够给出具体的描述。

《新程序员》：根据皮克斯的想象，我们可能会在未来成为《瓦力》（《Wall-E》，又译《机器人总动员》）里坐在漂浮椅子上的胖子（如图 3 所示），对吧？

Russell：Wall-E 是人们担心的众多反乌托邦式未来之一，但没人能描述出乌托邦版本的未来是什么样子的。我问过各种各样的人，但哪怕是那些从事解答此类问题的专家，也无法想象要怎么在未来的地球上建立一个理想的乌托邦。

图 3 电影《瓦力》中无法行走的人类

在我看来，绝大多数人并不希望生活在一个由 AI 代替人类执行思考的世界。在诸如计算、博弈等智力成就的领域，AI 系统已经远远超过了人类。然而，尽管计算机在国际象棋方面胜过人类，但国际象棋仍然很流行，因为它是一种消遣，是一种游戏，是日常生活的点缀。

我们正处于一辆行驶的巴士上，司机能开车只是因为他们碰巧能够掌握这项技术。作为这辆巴士的乘客，我认为担心未来的前进方向是非常合理的。

“驯服”大语言模型之前

让我们先学习怎么驯服动物

对于人工智能，人类应该处在控制地位。 

——Stuart Russell

《新程序员》：想用好 GPT 离不开优秀的提示词（Prompt）。您认为提示工程成功的关键原则或策略是什么？你相信以后会存在“完美提示词”或最佳解决方案吗？

Russell：我不认为存在任何从工程学角度指导提示工程的原则，但提示工程确实可以借鉴传统工程的经验。我的研究团队中有一位科学家曾花了很多时间与 GPT 一起工作，试图命令它做一些事情。他相信，如果礼貌地请求 GPT，输出效果会更好。

但是——天呐，为什么我们要对机器说“请”呢？为什么仅仅在提示中加个“请”，就能让机器展现完全不同的行为？这些都是基于我们的实践经验得出的观察，相当令人费解。

我曾提出过一个假设：这些 AI 系统可能存在多重人格的现象，它们的训练目的是模仿许多不同的人类个体。从技术角度来看，我们通常称之为混合模型。实际上，混合模型是多个预测器的综合，每个预测器都为特定类型的文本设计。想象一下，如果我们用英语和中文进行训练，我们就可以得到两个高效的模型，一个在英语上表现突出，另一个在中文上出类拔萃。但实际情况是，现在存在着数以万计的各种模型和大量的文本内容，包括篮球比赛报道、议会演讲记录、浪漫小说描写和情书等，多不胜数。你很难归纳出模型中的哪些文本为你提供了价值。

据我判断，这些礼貌行为引发的效果，是因为它们激发了 AI 系统中“图书管理员”的人格。我们期望系统的这些组成部分更有可能提供有价值、具有广博知识并尽力给出正确回答的预测，主要是因为不同类型的文本和对话与这类模型的模式相匹配。当然，这仅仅是一种假设。

因为我们不了解黑盒的内部工作原理，所以每当涉及黑盒模型时，情况就会变得奇怪。我们现在试图像对待动物一样让大型模型提供帮助，这个过程被称为“从人类反馈中进行的强化学习”（RLHF）。

众所周知，如果你想命令马，就必须保持友善，礼貌地对待它；反之，要是你去踢它或虐待它，马就不会帮助你。人类在上千年以前就为这个过程发明了一个词，叫“驯服”。而现在我们对 AI 说“请”，就是寄希望于 AI 能感受到人类的礼貌，从而产生更精准的答案。当这些模型展现出我们不喜欢的行为时，我们对待它们的方式就要像对待不听话的狗一样。

对齐问题的解决关键是让 AI 真正消化完信息

我是否曾请求你，造物主，用我的黏土塑造我成人？（Did I request thee, Maker, from my clay to mould me Man?）

‍《失乐园》的这句话，被玛丽·雪莱引用在《弗兰肯斯坦》的扉页中。小说中，维克多·弗兰肯斯坦创造了怪物，但却无法理解其内心和意图，导致了冲突和悲剧。

抛开那些关于怪物的故事，一个更加悲剧性的创造正在现实世界中默默酝酿：人类汲取了最深邃的智慧，凝聚于人工智能的形态，将技术置身于一个前所未有的境地。然而，我们是否能够确保这些新生的智能体与我们和谐共处，使其对人类价值观、道德原则和利益体系保持一致？

这就是“对齐”问题，AI 技术的前沿术语。实现“对齐”意味着要求 AI 系统的目标和人类的价值观与利益相对齐，这既具有科技的复杂性，又蕴含着道德与伦理的重大考验。我们必须谨慎行事，以免引发创造出现代版“弗兰肯斯坦”的悲剧。

《新程序员》：人类的技术、伦理和法律并不是在一朝一夕之内形成的，历史长河中的每一次进步成就了如今的人类历史。那么，人工智能在演化过程中是否有可能效仿人类，通过漫长的时间逐渐形成人类现在的价值观？这是否可以解决 AI 对齐问题？

Russell：我认为对齐问题并不意味着要构建与人类价值完全一致的 AI 系统，因为这是不可能的。对齐问题的本意是避免不对齐（misalignment）。

那么，如何构建一个不与人类价值观失调的系统呢？我认为解决方法是去构建一个“知道自己不知道人类价值观的系统”。在演变过程中，系统会逐渐产生一些更好的想法，从而有助于我们的文明。

再让我们谈谈对齐问题的关键点——AI 系统究竟能否解决人类偏好中的不确定性问题呢？我认为是可以的。因为现在有一个显而易见的事实：训练 AI 系统的文本已经包含了大量关于人类偏好的信息。

纵观人类历史，我们会发现世界上最早的重要文本之一是楔形文字，上面记录了原始人进行了关于玉米和骆驼交易的会计记录，这份看似枯燥的会计记录中蕴含了丰富的信息。

首先，这份楔形文字记录了两河流域文明中骆驼和玉米的相对价值，以及匕首、铜币等其他物品的价值，这些有趣的信息体现了古代人类的偏好。此外，他们选择将这些信息记录下来，证明了古代人类对于诚信交换货物和可验证交易的重视。楔形文字所使用的泥板非常昂贵，经过烧制，记录便可以永久保存，我喜欢将其比喻为公元前 4000 年的区块链。古代人类选择这种方式来记录这些信息，而这个选择本身是极具信息量的，因为它体现了人类最早产生的偏好。

但和楔形文字不一样的是，没人能从大语言模型的训练过程中提取出任何信息。这就引申出另一个有趣的问题：大语言模型是否能够直接把它庞大知识库中的任何信息告诉我们？我怀疑答案是否定的。

那些人类所关心的话题——生命、健康、孩子、父母、衣食住行——被记载在了无数本经济学、发展学和心理学领域的学术文献中。但我怀疑，人类对这些信息的记录可能并不完整。比方说，大部分文献很少会详细描述左腿的重要性。然而，在专业医学领域中，当医生面临要不要切除患者左腿以防止癌症或坏疽扩散到其他部位的时候，就需要大量关于人类左腿的研究。这就是医生真正需要思考的决策，他们需要衡量左腿对患者有多大的价值。

因此，AI 模型庞大的数据资源中包含了大量关于人类偏好的信息。我不确定这些AI 系统是否意识到了自己内部数据的重要性。但是，假如通过诱导，我们或许可以让 AI 模型以列清单的方式主动把这些黑盒子里的数据说出来。当然，这些只是我的一种假设，目前尚无人进行过这样的实验。

非常感谢你提的这些有趣问题，我很享受这场对话。

福利：看完本文后，你是否有感受到人工智能与作为人类的「我」之间的联系？欢迎在评论区留言。作为 CSDN 读者的特别福利，截止 7 月 27 日 12：00 前，留言点赞量最高的 5 位用户，将获得 Stuart Russell 最新著作《人工智能：现代方法》（第 4 版）纸质书籍一本。

推荐阅读：