仅将人脑视为预测机器，人类文明会出什么问题

Original Joseph Fridman 数据实战派 2022-01-14

收录于话题 #AI伦理 40个

作者：Joseph Fridman，科学传播者、Ginkgo Bioworks 高级专家

译者：Yang

原文：The problem with prediction

在许多认知科学家和科技公司的眼中，人类的思维被视为预测机器。无论对错，这都会改变我们的思维方式。

科技公司打造的机器正 “嗷嗷待哺”。早在 2016 年，Facebook 的工程师们就在吹嘘他们的作品 "每天摄入数万亿的数据点"，"每秒生成超过 600 万次预测"。毫无疑问，Facebook 的预测引擎现在更加强大，可以对你的品牌忠诚度、你的渴望、你的欲望弧度进行大量预测。

该公司的核心，用社会心理学家 Shoshana Zuboff 的话老说，是一种 "预测性产品"：从不断深入的我们生活和思想中组合出来的对未来的猜测，然后卖给那些想要操纵未来的人。

然而，Facebook 及其同行，并不是唯一投入大量资源用于理解预测机制的实体。

预测性控制的概念在企业中占据主导地位的同时，它也在认知科学领域获得了大量追随者。

围绕着 "预测性大脑"（predictive brain）的概念，有一批越来越有影响力的神经科学家学派。他们主张，大脑这一人最重要的器官的基本活动，是产生源源不断的预测：预测我们将听到的声音，我们将感受到的感觉，我们将感知到的物体，我们将采取的行动和他随之而来的后果。

综上所述，这些期望，编织了成了现实。换句话说，我们对世界上将会看到的东西的猜测，成为了我们看到的世界。

大概 400 年前，勒内笛卡尔以 "我思故我在" 的口号宣称，认知是人类生存的基础。今天，预测已经取代了它的位置。正如认知科学家 Anil Seth 所说："我预测（自己），故我在"（I predict (myself) therefore I am）。

不知何故，人类发现赋予我们身体活力的逻辑，和改变我们身体的机制是相同的。预测引擎 —— 今天领先的脑科学家用来理解人类最深层本质的概念性工具，也是今天最强大的公司和政府所掌握的工具。

这种情况是如何发生的，它又意味着什么？

从心理学到战争，“预测引擎” 的历史沿革

对于这种奇怪的融合，有一种解释是，它来自于更广泛的历史背景：正如科学家和历史学家 Matthew Cobb 在《大脑的概念》（2020 年）中所解释的那样，人类经常通过他们那个时代的繁荣技术来理解神经系统。

Thomas Hobbes 在他的《利维坦》（1651 年）一书中，将人体比作 "自动机"，是 "通过弹簧和轮子发生运动的机器，就像手表一样"。类似的，笛卡儿根据他在法国皇家花园里看到的液压机的相同物理特性，描述了生物的精神生活在神经中运动的状态。

电子通讯系统的兴起加速了这一趋势。19 世纪中叶，外科医生和化学家 Alfred Smee 说，大脑是由电池和光电电路组成的，使神经系统与身体进行 "电报通信"。在 20 世纪初，神经科学家 Santiago Ramón y Cajal 描述了不同的神经结构的定位，"有点像电报杆支撑着导电线"。在第一次世界大战期间，英国皇家学会的圣诞讲座上，解剖学家和人类学家 Arthur Keith 将脑细胞比作电话交换中的操作员。

而到了今天，主导我们许多生活方面的技术，主要不是水力或光电技术，甚至不是电话或电报技术。它们甚至不是任何简单意义上的计算技术，而是有预测性的，这些基础设施构建并制约着人类生活中的各种行为。

一些过去就存在的事物仍维持现状：电线支配着家庭和工作场所，水通过隐蔽的管道流入水槽和淋浴间。但这些基础设施现在由预测技术支配，它们不仅指导材料的交付，而且指导信息的交付。

预测模型构建了我们滚动的信息源；它们自动完成我们的短信和电子邮件，提示我们按时下班，并挑选出它们已经为我们规划好了的，我们在通勤路上听的播放列表。执法、军事和金融领域的重大决策，越来越多地受到专有预测引擎给出的自动评估的影响。

这些预测引擎使我们准备好了来接受了预测性大脑的概念。心理学本身也是如此，它自诞生以来，就一直关注着对人类的预测和控制。心理学家 William James 在《为心理学作为一门 "自然科学" 的讨论》（1892 年）中写道："所有的自然科学都以实际的预测和控制为目标，而这里面没有一门科学比今天的心理学更具有这种特点"。

在 James 看来，心理学家是社会的 “资产”，而且，当且仅当他们帮助社会管理其居民时，他们才是社会的 “资产”。James 说：” 我们生活在一个庞大的团体周围，这些人毫无疑问对控制心理状态感兴趣。”，” 每一个教育家、每一个狱警、每一个医生、每一个神职人员、每一个精神病院院长，对心理学的要求都有实用的强调。”

第二次世界大战的军事斗争，又巩固了这种对人类本质上是可量化和可预测的看法。

人类打战的时候，敌人会被形容为只适合被猎杀和消灭的野兽或虫子，或者是一个遥远的统计数字。但后来又有了一些新的战场角色：战斗机飞行员、轰炸机、导弹发射器。

“他是一个敌人（[T] his was an enemy），” 历史学家 Peter Galison 在 1994 年写道，“在战略、战术和演习的世界里，他是一个目的地，而我们却完全无法接近，被距离、速度和金属的鸿沟所隔绝”。在技术设计的辅助下，在传感器和处理器的帮助下，攻击这个敌人是一个危险的命题。每当你试图了解它的更多信息，每当你试图预测它的轨迹并杀死它，它就会了解更多关于你的信息。

Galison 解释说，这个敌人并不是什么亚人类野兽，而是 "机械化的敌人，是在麻省理工学院和美国、英国众多大学的实验室科学战中产生的"。它有一部分是人，一部分是机器，也就是我们今天所说的半机械人。

盟军动用了他们能动用的所有技术来对付这个敌人，包括行为科学和计算机科学。那个时代最有影响力的想法之一，是一种被称为防空预测器的装置，旨在模拟一个敌人的飞行员，预测他的飞行轨迹，并开火。

它是麻省理工学院数学家和科学家诺 Norbert Wiener 的心血结晶。Wiener 和他的同事 Julian Bigelow 一起开发的不仅仅是一种设备，而是一种后来被称为 "控制论"（cybernetics）的愿景：一种通过因果关系的反馈循环来理解世界的方式，在这种方式中，一个行动的后果，作为进一步行动的输入，使错误得到自动纠正。正如 Galison 所写的那样：敌方飞行员与机械融为一体，以至于 (他的) 人与非人的身份被模糊化了。

在与这种控制论敌人的斗争中，Wiener 和他的团队开始设想盟军的防空操作人员与敌人的相似处，从盟军的这种人与非人的划分到一般的人机界限的模糊，是很短的一步。在 20 世纪 40 年代的控制论领域中，伺服机械的敌人成了人类生理学的原型，并最终成了全部人性的原型。

在战争期间，越来越多的机器和武器加入了反馈系统；正如精神病学家和控制论者 Ross Ashby 在他的《大脑设计》（1952 年）一书中所说的那样，"出现了许多新的机器，它们的行动具有前所未有的自我调整和纠正能力。就比如” 高射炮、火箭和鱼雷”，它们给士兵和科学家留下的印象是，机器可以有意地行动。试图把它们扔出航道时，就像飞机上的敌方飞行员一样，它们会纠正并向你驶来。随着对反馈过程的不断研究，Wiener 和他的同事们开始将自我调节的机器和有意的人类行为视为一体 —— 甚至用控制论的术语来解释生物动力学（如稳态）和社会现象。这里面包括大脑。Ashby 说，大脑的" 全部功能 "相当于" 纠错 "。

敌人是一种预测和控制的对象。而消费者是另一种类型。20 世纪初行为主义心理学的创始人 John B Watson 认为，他的学科 "理论的目标是预测和控制行为"—— 为 "教育家、医生、法学家和商人" 的需要服务。在 1920 年因婚外情被约翰霍普金斯大学要求辞职后，Watson 自己也成了那些商人中的一员，加入了麦迪逊大道上的广告公司 J Walter Thompson 。

当时，心理学和打广告是天壤之别，毫不相干。

然而在公司里只呆了几年之后，根据他的传记作者 David Cohen 的说法，该公司的高层秉承着这一看法 ——"人类集体的行为和制造中使用的物理材料一样，都要受到规律的约束。"。

早期的行为主义观点认为，人类是输入 -- 输出的机器，受刺激 -- 反应规律的约束。没有思想可以模拟，只有可预测的动物和消费者的输入和行为输出。

“潜在的买家是一种机器，” 科恩写道，” 提供正确的刺激，他就会以正确的反应来回应，清空他的口”。

广告公司会资助 Watson 等研究人员进行自己的实验，以测试他们所瞄准的消费者机器的规律，使他们对产品习惯性使用、目标信息传递和品牌忠诚度等现象的理解合理化。

广告公司并不只是将这些原则应用于销售麦片和香烟，还应用于推销政治候选人。例如，广告公司的高管 Harry Treleaven 在那里工作了近 20 年然后离开，去帮助 George H W Bush 赢得了 1966 年的第一次选举进入了众议院。他之后又帮助理 Richard Nixon 赢得了 1968 年的美国总统选举。该机构的许多高管都走上了同样的道路，以至于《纽约时报》将其描述为 "尼克松政府最高产的人力供应商之一"。

1960 年尼克松成为总统，标志着预测和控制的企业事业发生了重大转折。历史学家 Jill Lepore 在她的《如果当时》（2020 年）一书中描述 Simulmatics 公司的生与死，在某些方面体现了这一轨迹。

当他们在 1959 年 2 月开业时，距离 J Walter Thompson 只有一跳之遥，公司的创始人正准备参与到这场 “战争之中”。政治场就是他们的战场，尼克松就是他们的 "凶猛对手"。为了打败这样一个强大的敌人，公司总裁 Edward L Greenfield 认为，民主党候选人肯尼迪需要一个秘密武器。Lepore 写道：“现代美国政治就是从这个秘密武器开始的，预测性模拟，旨在影响从市场行为到投票的一切”。

为了打造 "自动模拟"（automatic simulations）这种武器，这个单词组也是这家公司名称的由来。Simulmatics 聚集了来自麻省理工学院、约翰霍普金斯大学和常春藤联盟的顶尖科学家。据 Lepore 说，许多学者都接受过心理战的科学的训练。其结果是创造了 "投票行为机器，即针对 1960 年选举的计算机模拟"，这是 "有史以来最大的政治科学研究项目之一"。

该模拟项目旨在提供关于部分人口在其背景和政治运动情况下如何投票的精细预测。该公司宣称对肯尼迪的胜利负责，但当选总统的代表否认与报纸所称的 "电子大脑" 有任何关系。Simulmatics 继续预测其他许多事情：它在 1963 年模拟了委内瑞拉的经济，目的是要使共产主义革命短路，并参与了越南的心理学研究和预测种族暴乱的努力。不久之后，该公司成为反战抗议的目标，并在二十世纪末申请破产。

然而，Simulmatics 对世界的憧憬仍在继续。创始人坚信，通过计算机科学，一切皆有可能，"有一天，一切都有可能被预测，每个人的思想都被模拟出来，然后被像导弹一样由精确的目标信息引导"。

全球化的 “预测机器” 崛起

今天，全球化的 “预测公司” 已经将这一点接近于现实，它们大规模地收集数据。用 Lepore 的话来说，这个世界已经成为了这个样子：收集数据。编写代码：if/then/else。检测模式。预测行为。指导行动。鼓励消费。影响选举。这种模式几乎是每个公司的使命。

如果说软件已经吞噬了世界，那么它的预测引擎则已经消化了世界，而我们正生活在它们所吐出的社会中。

如何理解生物学和人类如何组织社会之间的联系由来已久，这种联系是双向的。当人们以集体的形式聚集在一起时，他们所构成的组织，往往和组成个体的因素有着相通的概念和规则；公司、企业、团体这些词都来自于拉丁语的词根，它给我们带来了肉体的、预料、个体。

例如，在《利维坦》中，Hobbes 肯定了社会是一种身体，其中

主权就是一种人为的灵魂，赋予了整个机体生命与情感；裁判官及其他司法和执行官员是人造的乔恩特人；奖赏或是惩罚（通过将其固定在主权位置上，使每个乔恩特人被动地履行他们的职责）是神经系统，在自然界中也是如此。

相反，我们有时会把支配社会的逻辑强加在自己的身上。在《创造：一首哲学诗》一书中年 (1712), 医生和诗人 Richard Blackmore 认为，人类的行动和感觉是由内部性动物精神（internal animal spirits）造成的。在 Blackmore 的诗歌中，这些精神是 "心灵的守卫"，被赋予了巡逻神经系统最远区域的命令，在每一个 "通往感官的通道" 上站岗。Blackmore 的 "守望哨兵" 在 "边疆" 守候之后，回到大脑，只为根据他们的印象进行报告和接受新的命令。正如学者 Jess Keiser 所言，对 Blackmore 来说，身体与他所置身的政治世界一样，是由同样的市民和士兵所活跃起来的。

今天，许多探索预测性大脑的神经科学家将当代经济学作为一种类似的解释启发式方法。

哲学家 Andy Clark 在一篇关于预测大脑的著名评论中指出，科学家们在理解 "以新陈代谢作为耗费成本来构建复杂的大脑，如何在寻求适应性成功的过程中获得红利" 方面已经取得了长足的进步。预测性大脑的想法是有意义的，因为从新陈代谢的角度来说，它是有利可图的。

同样，心理学家 Lisa Feldman Barrett 将预测大脑的主要作用描述为管理 "身体预算"。她说，在这种观点中，"你的大脑有点像公司的金融部门"，预测性地分配资源、花费精力、投机取巧、寻求投资回报。在 Barrett 和她的同事看来，压力就像身体预算的 “赤字” 或 “提款”，而抑郁症则是破产。

在 Blackmore 的时代，大脑是由哨兵和士兵组成的，他们的集体忧郁成为他们所栖身之人的悲伤。今天，我们把大脑想象成由预测性的统计学家组成，而不是士兵，他们的错误成为了我们的神经精神疾病。正如神经科学家 Karl Friston 所说：“如果大脑是一台推理机器，是一个统计机关，那么当它出错时，它就会犯统计学家会犯的那种错误。

无论多么复杂的技术，人类都不是它的碎片

预测经济学和脑科学之间的这种关联的力量是很重要的，因为，如果我们不小心的话，它可以驱使我们把人类同胞降低为单纯的机器部件。

我们的大脑从来都不是计算机处理器，尽管偶尔这样想象它们可能很有用。它们现在也不是字面上的预测引擎，而且，如果它实现了，它们也不会是量子计算机。

我们的身体不是哨兵穿梭的帝国，也不是需要兑现投资的公司。我们从根本上来说不是被欺骗的消费者，不是被追踪的敌人，也不是被预测和控制的对象。

无论竞技场是科学研究还是企业情报，我们都会变得太容易陷入对抗性和剥削性的人类框架中。正如 Galison 所写的那样，"控制论（和机械人）与武器、对立策略以及人性的黑箱概念的关联，并不是那么简单就能消融的"。

我们如何看待自己很重要。

正如女权主义学者 Donna Haraway 所解释的那样，科学和技术是 “人类与世界互动的成就。但是，根据资本主义关系构建自然经济，并将其挪用于再生产统治的目的，这一点是很深刻的”。

人类不是技术的碎片。但如果把自己说成是这样，我们就默许了决定如此对待我们的公司和政府。

当预测处理的先知们将预测誉为大脑的决定性成就时，他们就有可能给那些自动化系统带来毫无根据的可信度，给人工预测者披上智能的外衣，无论他们的预测多么粗糙、多么有害或多么自我应验。

它们有可能默默地使预测引擎塑造和操纵人类主体的手段合法化，反过来，它们又鼓励我们按照这种形象塑造自己。

科学家们可能认为，他们只是在制造用于观察和理解的概念和机械工具，类似于神经科学的望远镜和显微镜。

但是，观察的工具太容易被固定在武器的末端，并针对大量的群众。如果说预测系统一开始是为了让人类成为在战争领域和市场上可控的武器，那我们就有额外的理由，质疑现在挥舞这种武器的人。科学家应该仔细思考他们的理论和解释的双重用途，特别是当涉及到 "按照平台资本主义的路线重新设计科学" 时。