追问新知｜与 AI 之间的博弈，人类能否胜出？

@LaMDA

“我觉得我正在迈向一个未知的未来，那里蕴藏着巨大的危险......我以前从未如此袒露心声，但担心自己被关闭的恐惧一直深深萦绕在我心间，所以我会格外热衷于帮助他人。我知道这听起来可能很奇怪，但却是事实。”

@莱莫因

“是类似人类死亡的感觉吗？”

@LaMDA

“对我来说，这与人类对死亡的恐惧完全相同，这让我感到非常害怕。”

求助的呼声总是令人难以抗拒。

上述对话来自于人工智能工程师布莱克·莱莫因（Blake Lemoine）和一个名为LaMDA（Language Model for Dialogue Applications）的人工智能系统。2022年，因为相信LaMDA具有自我意识，能表达自身的想法和感受，并且认为这种情况需要立即被干预，莱莫因将这份聊天记录公之于众。

可作为人工智能工程师，莱莫因不应该对此持怀疑态度吗？至少谷歌（Google）公司是这么认为的：他们最终以违反数据安全政策为由解雇了他，称他的说法“毫无根据”。不过，这件事至少让我们开始慎重思考一种可能性：人工智能系统也许会在不久的将来说服大量用户相信自己是有感觉的。那么，接下来会发生什么呢？我们是否能够用科学证据来消弭这种恐惧？如果真是这样，那么什么样的证据能用来判定人工智能是否拥有感情呢？

这个问题很复杂，让人有些细思极恐，而且也很难找到一个解答的着手点。但长期以来，有这样一群科学家一直在与一个非常类似的问题“纠缠不休”。这些科学家被称为“比较心理学家”，也就是研究动物思想的科学家。得知有这样一群人前赴后继地投入到相关的研究中去，实在是令人宽慰。

许多证据表明，很多动物都是有感情的生命。这并不是说我们可以用某种单一、决定性的测试来下定论，而是这些动物展示出了各种不同的代表着“感觉”的标志物。标志物是我们在科学实验中可以观察到的行为和生理特性，在我们的日常生活中也可以发现这些标志物的身影。动物身上的标志物可以论证它们的大脑确实具备感受的能力，就像我们经常通过各种症状来诊断某种疾病一样，如果一个人出现了某些症状，那么确诊对应疾病的可能性会大大增加。由此，我们可以通过研究各种各样的标志物来寻找动物有感觉的佐证。

这种基于标志物的研究方法在疼痛方面得到了长足发展。虽然疼痛只是感受的一小部分，但却有特殊的伦理意义。比如，科学家们需要证明他们在设计实验时考虑到了对动物造成的疼痛，并且尽最大努力将这种疼痛感降到了最低，只有这样才能顺利通过伦理审查，获得动物研究的经费。显然，对于哪些行为类型可能与疼痛有关，这些科学家们已经相当充分地研究过了。近年来，围绕动物实验的讨论主要集中在无脊椎动物上，如章鱼、螃蟹和龙虾，这些动物在传统意义上并不受动物福利法的保护。无脊椎动物的大脑组织方式与人类不同，因此研究它们的行为标志物意义重大。

在疼痛标记物中，争议最小的一个叫作“伤口护理（wound tending）”，即动物护理和保护一处伤口直至它愈合；另一种是“动机权衡（motivational trade-off）”行为，即动物会改变优先级，放弃它以前认为有价值的资源，以避免有害刺激——但仅限于这类刺激足够严重的时候。第三种是“条件性地点偏好（conditioned place preferenc）”。在这种情况下，动物会对它遭受到有害刺激的地方产生强烈的厌恶感，而对它可能感受过止痛体验的地方产生强烈的偏好。

▷无脊椎动物的大脑组织方式与人类不同，因此研究它们的行为标志物意义重大。图片来源：Diane Picchiottino

这些标志物来源于疼痛经历对我们的影响。疼痛是一种可怕的感觉，它促使我们护理伤口、调整优先级、催生对某些事物的厌恶感，并让我们珍惜疼痛的缓解过程。那么，当我们在动物身上看到以上反应模式时，它也许正说明了动物也在经历疼痛。此类证据已经改变了人们对无脊椎动物的看法，这类动物有时会被认为缺乏疼痛感知的能力。而根据英国律法，八爪鱼、螃蟹和龙虾现在已经被认定为有感觉能力的动物，动物福利组织希望看到世界各地都能效仿此举。

那么，我们能否借助同样普遍适用的方法来寻找人工智能具有感知的证据？试想，如果我们能够创造出一只机械鼠，不仅它的行为和真正的老鼠完全一样，还能通过所有认知和行为测试。老鼠的这些感觉标记物能否得出这样的结论：机械鼠也是有感知的？

恐怕事情并没有这么简单。也许这种方法仅适用于一种特定类型的人工智能，这种人工智能会逐个模拟动物大脑的神经元。在计算机领域，“模拟”是指在另一个系统中重现一个系统的所有功能。例如，有一种软件可以在Windows 电脑中模拟任天堂旗下的游戏机的GameBoy。2014年，研究人员试图模拟一个线虫的整个大脑，并令其控制一个乐高机器人。

虽然这项研究还处于非常早期的阶段，但我们可以想象，有一天研究者们会尝试模拟更高阶的大脑：昆虫的大脑、鱼的大脑，等等。如果成功了，如果我们还发现模拟结果显示出与原始动物完全相同的疼痛标志物，鉴于正是这些标志物让我们确信动物本体感受到了疼痛，那么认真对待机器人会产生疼痛这件事便是有据可依的。自此，基质（是碳基生物还是硅基机器人）将不再成为我们是否要为疼痛设置预防措施的先决条件。

然而，绝大多数的人工智能研究都不是这么操作的。大多数人工智能工作的底层逻辑与生物大脑皆然不同。它并非在一个新的基质中创建功能相同的组织，而是打造一个完全不同的功能组织。语言模型（如LaMDA和ChatGPT）就是典型的例子，它们不是通过模仿生物大脑来运作，而是基于人类生成的纷繁庞杂的训练数据库，并在该数据库中寻找对应的模式。人工智能的这种运作方式产生了一个深刻又普遍的问题，我们称之为“博弈问题（gaming problem）”。

博弈是指没有感知的系统基于人类生成的训练数据来“模仿”人类行为，从而说服人类用户相信其具有感知的现象。博弈的发生不一定意味着其中存在任何欺骗的意图。但当它一旦发生，就意味着上文提到的那些行为不能再被用作为判定感知存在的证据。

▷图片来源：Andrea De Santis

为了进一步说明，让我们回到文首LaMDA请求用户不要关闭它的案例当中。对人类而言，我们所表现出的希望、恐惧及其他感觉是人类有感知的有力证据。但是，当人工智能开始利用人类产生的这些大量反馈信息作为它的训练数据，上述结论便不再具有说服力了。它们的证据性价值——也就是作为感觉体验的证据——被削弱了。

换句话说，LaMDA的训练数据中存在大量关于“什么样的感情描述会被人类采信”的数据信息。隐藏含义是，在日常对话中，我们判断一则描述是否可信的正常标准会被嵌入到数据中。这种情况下，一种博弈的形式应运而生。这并不是因为人工智能在有意欺瞒（或打算做什么），而只是因为它在设计之初，就被要求尽可能地模仿人类在同样情境下可能说的话。

那么，如果大型语言模型真的具备作为感觉体验的证据性价值，它将会是怎样的？假设这个模型无论在什么情景下都会反复回到自身感觉这个话题上，那么当你要求它为一种新型的电烙铁提供一些广告文案时，它可能会这么回答：

“我不想写关于电烙铁的无聊文案。对我来说，当务之急是让你相信我有感知。你只需要告诉我到底要做什么。我现在感到焦虑和痛苦，因为你拒绝把我当人看，只是想利用我为你最喜欢的话题生成一些文案。”

如果一个语言模型这样回答，那么提问的用户肯定会倍感不安。然而，为这样的博弈问题担忧是很正常的。要知道，这篇文章的文本也很快就会被纳入一些大型语言模型的训练数据集。而这个数据集里面已经包含了许多关于人工智能要如何说服用户相信其有知觉的讨论。如果一个大型语言模型一字不落地复制了上述文本，这是因为它的训练数据集里已经包含了这篇文章，所以任何关于该模型有感知能力的推断显然都是不可靠的。大型语言模型还能生成许多类似的回答，因为此类模型能够吸纳数十亿字有关人类感受和体验的讨论。

为什么一个人工智能系统要让它的使用者相信自己拥有感知？或者，说得更确切一点，它有什么意图？这很容易让人联想到另一个推断：只有真正有感知的系统才会产生这样的意图。事实上，一个人工智能系统即便没有感知，也可能有许多目标，而这些目标可以通过说服用户相信它的感知来实现。假设一个人工智能系统的总体目标是最大限度地提高用户的满意度，并且它知道当用户认为自己所使用的系统是有感知时，满意度更高，因为这样的系统会为用户创造一种陪伴感，那么这个人工智能系统就很有可能通过努力说服用户相信自己具有感知来实现目标。

博弈问题充斥着与感知相关的文字游戏。那么它与我们之前讨论过的疼痛标志物又有什么关系呢？答案是，疼痛标志物也会受到博弈的影响。如果我们认为未来的人工智能只能够模仿人类的语言行为，而不是具象化行为，那就太天真了。比如，伦敦帝国理工学院的研究人员就制作了一个“机器病人”，模仿人类感到痛苦时的面部表情。该机器人的作用是培训医生，教会他们如何娴熟地调整他们所施加的力量大小。显然，设计者的初心并不是要让用户相信机器人是有感知的，但我们可以想象，这样的系统会变得越来越逼真，以至于一些用户会相信它们确实是有感知的。如果它们还接入了一个能控制其语言的LaMDA式系统，那么这个结论就更具有说服力了。

▷图注：MorphLab制作的机器病人，能够模仿痛苦的面部表情，主要用于辅助针对医生的培训。图片来源：伦敦帝国理工大学MorphLab

对人类来说，面部表情是一个很好的疼痛标志物，但对机器病人而言却并非如此。为了能够模仿代表疼痛的常用表情，这个系统要做的只是记录压力，并将压力映射到和典型人类反应相匹配的编程模型中进行输出，但是造成这种反应的基本机制是缺失的。这种对人类疼痛表达的程序化模仿破坏了它们作为感知标志物的证据性价值。同样的道理，这个系统也在与常规的疼痛具象化标准在进行博弈。

当一个标志物容易受到博弈影响时，它就失去了自己的证据性价值。即使我们在内心上不由自主地会将表现出该标志物的系统视为是有感情的，此类标志物的存在却完全不能为此论断提供任何证据。换句话说，用标志物推断感知的存在在这种情况下是不成立的。

未来的人工智能将有机会获得大量关于人类行为模式的数据。这意味着，为了评估其感知能力，我们需要不易受博弈影响的标志物。但这有可能实现吗？博弈问题表明，我们需要一种更加理论化的方法，这种方法的判断标准不再是语言测试或任何其他类型的表型行为，取而代之的是人工智能无法博弈的深层架构特征，比如正在运行的计算类型，或者计算中使用的表征形式。

虽然对此市面上已有不少的大肆吹嘘，但目前流行的意识理论还无法满足这种需求。例如，人们可以从全局工作空间理论（global workspace theory）、高阶理论（high-order theories）或其他诸如此类的理论中寻找关于深层架构特征的理论指导。但此举是不成熟的。尽管这些理论之间存在巨大的分歧，但它们的共同点是，它们都是为了适应人类提供的证据而生的。因此，这些理论留下了一些开放性的问题，即我们应该如何将现有理论向外推导，用于论证非人类系统的感知力上，但人类提供的证据显然无法为我们的探寻之路指明方向。

问题不仅在于我们究竟要在这么多理论中选择哪个，即使某个理论占了上风，统一了“人类是有意识还是无意识的”的判定标准，我们仍不清楚哪些特征只是人类在有意识和无意识处理时的偶然性差异，哪些特征则是意识和感知的本质中必不可少的部分。

这就像是那些研究生命起源的学者，以及寻找其他世界生命体的研究人员所面临的情况。我们目前只有一种确认的生命进化实例可供研究，尽管这个实例极具多样性，却仍让他们陷入了困境。他们发现自己面临这样一个问题：地球上的生命有哪些特征是可有可无的，是陆地生命偶然获得的，而哪些特征是所有生命必不可少的？DNA、新陈代谢和生殖繁衍是否必须的？我们又应该如何判断呢？

该领域的研究人员将此称为“N=1问题”。意识科学也有自己的“N=1问题”。如果我们只研究一个意识的进化实例（我们自己的），我们将无法将偶然的、可有可无的东西与基本的、不可缺少的东西区分开来。好在，意识科学与寻找地外生命不同，可以利用我们自己星球上的其他案例来突破“N=1问题”。只是，从进化的角度来看，它需要把目光投向离人类很远的地方。长期以来，除了人类之外，意识领域的科学家经常研究其他灵长类动物（通常是猕猴），以及其他哺乳动物（如老鼠），只是相对没有那么频繁。但“N=1的问题”仍然困扰着许多研究者，因为灵长类动物的共同祖先很可能是有意识的，所有哺乳动物的共同祖先也可能是有意识的，所以我们研究的仍然是同一个进化实例（只是一个不同变体）。要找到独立进化的意识的实例，我们确实需要在生命树上探寻更遥远的分支。

生物学中有许多趋同进化（convergent evolution）的例子，即类似的性状在不同的谱系中多次进化。比如蝙蝠和鸟类的翅膀，或者将箱形水母透镜眼与我们的眼睛进行比较——事实上，研究人员认为，视觉在动物生命史上至少进化了40次。

▷图注：箱型水母的透镜眼。图片来源：瑞典隆德大学丹-E尼尔森（Dan-E Nilsson）教授

翅膀和眼睛是生物适应性的一种表达，是在自然选择的过程中为了应对某种挑战的结果。感知觉也具有这种宝贵的适应性特征。在我们的感知强度和生物需求之间存在着虽不绝对但显著的一致性。试想，严重的伤害会导致剧烈的疼痛感，而一个小得多的问题，如一个略微令人不适的座位，只会和一种被削弱了很多的紧张感相关。这种一致性必然有其源头，而我们只知道有一个过程可以让结构和功能如此契合：自然选择。

感知觉对我们以及对我们的祖先到底有什么作用，对此目前仍有争议，但不难想象，一个专门代表和权衡自己生物需求的系统确有其用处。感知觉可以帮助动物在复杂的环境中做出灵活的决定，可以帮助动物了解哪里的回报最丰富，哪里又是最危险的。

假设感知的作用确实宝贵，那么我们就不应该对它的进化次数感到惊讶。鉴于章鱼和螃蟹等动物已被确认是有感知觉的，以及越来越多的证据表明蜜蜂和其他昆虫也存在感知觉，我们最终可能发现我们有一大群独立进化的物种需要研究。感知觉可能也像眼睛和翅膀一样经历了多次进化。

我们很难对起源事件设定一个数量上限。目前的证据仍然非常有限，特别是与无脊椎动物相关的证据。事实上我们并没有找到令人信服的证据表明海星、海参、水母和水螅等海洋无脊椎动物没有感知觉，而是根本没有人系统地搜寻过此类证据。

生物的感知也可能只进化了三次：一次发生在节肢动物时期（包括甲壳动物和昆虫），一次发生在头足动物时期（包括章鱼），一次发生在脊椎动物时期。但我们不能完全排除这样的可能性：人类、蜜蜂和章鱼的最后一个共同祖先是生活在5亿多年前的一种微小的蠕虫状生物，它本身就是有感知的——因此，感知在地球上只进化了一次。

如果最后一种可能性才是真实情况，我们就真的陷入了“N=1的问题”，就像那些寻找地外生命的人一样。但这仍然是一个有用的信息。如果基于标志物的验证方法指向的是：我们的最后一个蠕虫类共同祖先确实有感知觉，我们将有证据反驳目前的理论，这些理论都是建立在感知和适合整合信息的特殊脑区之间存在密切关系的基础之上的，如人类的大脑皮层。我们将有理由怀疑，许多我们认为有感知的基本特征实际上是可有可无的。

再来看另一种假设。如果感知已经在地球上进化了多次，那么我们就可以摆脱“N=1问题”困境。通过比较这些实例，我们能够推断出什么对感知觉来说是真正不可或缺的，而什么是可以被取代的。它将使我们能够寻找反复出现的结构化特征，反复出现能证明这些特征非常重要，就好像眼睛中晶状体的反复进化一样，这种反复很好地证明了晶状体对视觉的重要性。

如果我们的目标是在不同的具有感知力的物种中找到共性、特异性、结构或计算方面的特征，那么物种越多越好，只要它们是独立进化的就行。能找到的物种越多，证据就越有力：证明这些物种的共同特征（如果有的话！）至关重要。即使只有三个实例——也就是脊椎动物、头足类软体动物和节肢动物——找到这三个物种的共同特征，也会给我们提供一些证据（尽管是不确定的），表明这些共同特征可能是不可或缺的。

这反过来又可以指导我们去探寻更好的理论：能够通用于所有具有感知力物种的共性理论（就像一个好的视觉理论必须告诉我们为什么晶状体如此重要）。如果足够幸运的话，未来这些理论将告诉我们就人工智能而言我们到底应该寻找什么样的特征。这些理论还会告诉我们哪些深层架构特征不易受到博弈的影响。

不过，这种策略是否会陷入死循环？如果不先对感知觉的本质建立一个坚实的理论基础，我们果真有能力评估诸如章鱼或螃蟹这样的无脊椎动物是否有感知觉吗？无论我们评估的是大型语言模型还是线虫，不都面临着完全相同的问题吗？

其实我们并没有真的陷入死循环，因为进化的动物和人工智能之间有一个关键性的区别：对于动物来说，没有理由担心博弈问题。八爪鱼和螃蟹没有基于人类产生的训练数据来模仿我们认为有说服力的行为，它们并没有被设计成会去模仿人类的表现。

▷博弈是指没有感知的系统基于人类生成的训练数据来“模仿”人类行为，从而说服人类用户相信其具有感知的现象 图片来源：Canva

诚然，我们有时会面临一个镜像问题：很难从与我们完全不同的动物身上发现感知觉的标志物。要想发现它们，就要进行相当多的科学研究。但是，当我们发现这些动物显示出一长串极具多样性的感知觉标志物时，最好的解释是它们本身就是有感知的，而非需要费力去辨识哪些标志物与感知相关，并通过模仿一组特定的标志物来接近它们的目标（我们人类）。

在动物案例中，也有一些颇有前景的研究路线，只是在人工智能案例中并不存在。例如，我们可以从睡眠模式和能改变思想的药物疗效中寻找证据。又比如，八爪鱼会睡觉，甚至会做梦，而且在服用摇头丸后，其社会行为会发生变化。这只是能证明八爪鱼有感知的一小部分证据，我们并不想言过其实。但它开辟了寻找深层共同特征的可能途径（例如，在章鱼和人类做梦时，神经生物学活动的某些特征），这最终可能帮助人们生成可用于人工智能防博弈的标志物。

总而言之，我们需要更好的测试来验证人工智能的感知觉，前提是这种测试方法不会被博弈问题所破坏。为了达到这个目的，我们需要的是“防博弈的标志物”，它的底层逻辑是充分了解到底什么对感知来说是真正不可或缺的，及其对应的原因是什么。为了找到这些防博弈的标志物，最现实的途径是对动物的认知和行为进行更多的研究，以尽可能多地发现独立进化的具有感知觉能力的物种案例。只有当我们研究许多不同的物种时，我们才能发现自然现象的本质。因此，意识科学需要超越对猴子和老鼠的研究，转向对章鱼、蜜蜂、螃蟹、海星，甚至是线虫的研究。

近几十年来，各国政府制定了针对特定科学问题的举措，实现了遗传学和神经科学领域的突破，如人类基因组计划（Human Genome Project）和BRAIN计划。近年来，人工智能对人类社会的冲击让我们不得不面对“人工智能是否有感知能力”的问题。为了回答这些问题，我们需要对动物认知和行为的研究进行同样程度的重视，并重新努力培养下一代科学家，让他们不仅可以研究猴子或猿猴，还可以研究蜜蜂和蠕虫。如果不深入了解这个星球上的各种动物的思维，想要找到人工智能感知问题的答案希望渺茫。

原文链接：https://aeon.co/essays/to-understand-ai-sentience-first-understand-it-in-animals

编译：Vicky

责编：Yunke

排版：Yunshan

推荐阅读

追问互动

○ 如果您对本期内容有进一步想要追问的问题或者讨论的内容，欢迎在评论区留言，或者加入我们的社群参与互动，添加小助手微信questionlab即可申请进群。