一个有关AI的哲学解读：超级人工智能是人类的自我否定？

让人工智能代替人类从事繁重劳动，一直以来是人类的梦想。现在，这个梦想正逐步实现。但是，在中国社会科学院哲学研究所研究员赵汀阳看来，人工智能最终代替人类从事大部分劳动，可能会引起一个后劳动时代的悖论——在幸福中失去幸福。即在未来某一天，身处于人工智能无孔不入的时代，即使人类自愿追求劳动也已经没有太多事情可做，此时是否意味着人类生活失去了意义？

这样的担忧在普通人看来或许杞人忧天。可是，作为一个哲学研究者，赵汀阳提出了更多思考：人与人关系的异化、危险的人工智能武器、超级人工智能对人类社会的毁灭性打击……在看过太多对人工智能的赞美后，今天，我们想与各位分享这篇从伦理学和哲学存在论角度探讨人工智能的文章，其中随处可见的对人工智能的忧思或许更值得引起我们注意。

本文为节选，由“社科期刊网”微信公号发布，腾云获授权转载；全文请参阅《哲学动态》2018年第4期纸版刊物。

赵汀阳

中国社会科学院哲学研究所研究员

21世纪以来，与人类未来命运最为密切相关的大事莫过于人工智能和基因工程的惊人发展，这些技术将给人类带来存在论级别的巨变。

基因工程是一个好坏后果相对比较清晰的问题，至少在伦理学上相对容易给出判断。比如说，基因工程中那些能够用于治病救人的生物医学技术无疑都功德无量，对此人们基本没有争议。然而，通过基因编辑而改变一个人的智力水平和生物极限，从而使一个人获得近乎超人的智力或者长命百岁，这种努力虽然诱人，却是一个有着巨大未知风险的目标。假如此类技术能够普惠每个人，则可能是一个皆大欢喜的结果（但仍然存在未知风险）；但假如只能够特惠少数人，则显然不会被众人所接受。因此，基因工程是一个需要严肃对待的实践问题，并非一个价值疑难问题。

与此不同，人工智能的发展却涉及许多理论上的根本困惑，以至于难以判断。仅就单纯的技术应用而言，人工智能似乎能够普惠人类，并不违反平等原则；但就其革命性的存在论后果来看，人工智能有可能改变或重新定义“存在”概念，在存在论层面上彻底改变生命、人类和世界的存在性质。

1

人工智能的“近忧”

尽管有些预言家（例如库兹韦尔）相信达到“存在升级”的人工智能“奇点”已经胜利在望，但更多的科学家认为“奇点”仍然是比较遥远的事情，因为许多根本的技术难点仍然不得要领，特别是目前人们尚未真正了解思维的本质、机制和运作方式，所以无从断言其到来。在此，我把能够形成“存在升级”的人工智能看作属于“远虑”的知识论和存在论问题，而把将在近年内确定能够实现的人工智能看作属于“近忧”的伦理学问题，这一讨论也将由近及远来展开。作为“近忧”，人工智能的技术应用非常可能面临以下伦理学问题。

┃自动智能驾驶悖论

这是近年来引起普遍关注的一个实际难题。假如人工智能的自动驾驶汽车(目前的技术只能达到部分自动驾驶，尚未达到完全自动驾驶）在路上遇到突然违规的行人，是保护乘车人还是行人？这似乎很难做到两全其美，于是形成了一个两难选择。

但严格地说，这是人的悖论，不是机器的悖论。机器只是遵循规则而已，问题在于我们不知道应该为自动驾驶汽车选定什么样的规则。这个问题看似小事，其理论难度却非同一般，即使引进负有盛名的罗尔斯的无知之幕也无法解决。

其难点就在于：假定每个人都是投票人，并且每个人既可能是行人也可能是乘车人（事实如此），那么就无法作出决断——给定人们的选择总是优先满足风险规避原则，因此人们不可能选择一种在某些情况下有可能祸及自身的高风险规则。实际上，自动智能驾驶悖论比广为流行的有轨电车悖论要深刻得多。所谓有轨电车悖论其实只是一个技术难题，它并非无“解”，而是没有适合任何情况的一般“解”，但有多种因情制宜“解”（简单地说，如果当事人皆为抽象人，则有功利主义“解”；如果是具体人，则有多种根据道德附加值的“解”）。然而，自动智能驾驶悖论在伦理学上真的无“解”。当然，我们可以寄希望于将来会有一个完美的技术“解”，即自动智能汽车的技术能够达到同时保护行人和乘车人。

┃失业问题

这是赫拉利在《未来简史》里提出的问题，即人工智能的大量应用必定导致大量失业。这个迫在眉睫的问题也已经得到广泛重视和讨论，但目前想象的普遍社会福利政策（比如国民基本收入方案）其实并没有正面回答失业问题，而只是另外回答了收入和分配问题。失业问题的要害之处不在于如何合理分配收入（这是能够解决的问题），而在于生活意义的消失。

这里我们也许可以想象一种“人工智能的共产主义”，它大概满足这样的条件：人工智能创造大量财富并且免除了大量人力劳动，同时存在着落实到每个人的普遍高福利的社会分配。那么，按照共产主义的乐园逻辑，在摆脱了被迫的劳动之后，劳动作为人的本质就得以显现，劳动不再痛苦，而成为人们的第一需要，人们自愿劳动，并且在劳动之余从事反思性的“批判”。然而问题在于，在人工智能条件下，即使自愿追求劳动也已经没有太多事情可做，那么，非常可能的情况是，当人们失去劳动，又有了普遍福利时，“批判”也随之失去意义。显然，假如一切需求问题都解决了，人们皆大欢喜，也就没有留下需要批判或值得批判的问题了。

这里可以看到一种维特根斯坦式的现象：许多问题的解决并非有了答案，而是问题本身消失了。在欲望满足之后失去意义，或者说，在幸福中失去幸福，这非常可能是一个后劳动时代的悖论。也许我们可以抱怨人心不足、人性矫情，但此类抱怨于事无补。无论如何，人工智能导致的大量失业只是表面问题，真正严重的实质问题是失去劳动会使人失去价值，使生活失去意义，从而导致人的非人化。

┃人对人关系的异化

电影《她》（Her）讲述了一位作家爱上电脑操作系统里女声的故事。

假如人工智能发达到不仅提供大多数劳动，而且提供一切生活服务，就非常可能导致人的深度异化，即人与人关系的异化。与个体人失去劳动的异化相比，人对人关系的异化更为危险。当人工智能成为万能技术系统而为人类提供全方位的服务，一切需求皆由技术来满足；那么，一切事情的意义也将由技术系统来定义，每个人就只需要技术系统而不再需要他人，人对于人将成为冗余物，人再也无须与他人打交道，其结果必然是，人不再是人的生活意义的分享者，人对于人失去了意义，于是人对人也就失去了兴趣。这就是人的深度异化，不仅是存在的迷茫，而且是非人化的存在。我们知道，自从人成为人以来，人的意义和生活的意义都是在人与人的关系中被定义的。假如人对于人失去了意义，生活的意义又能够发生在哪里、落实在哪里呢？假如人不再需要他人，换句话说，假如每个人都不再被他人需要，那么生活的意义又在哪里？

┃人工智能武器

要说人工智能的何种“近忧”最为危险，恐怕莫过于人工智能武器，它甚至比核武器还要危险得多，其危险性就在于人工智能武器将使战争变成无须赌命的游戏。显然，只有必须赌命的威胁才能减少战争，一旦智能武器可以代替人进行战争，人不再需要亲身涉险，人们恐怕也就无所畏惧了，懦夫都会变成勇士而特别敢于发动战争。更进一步说，假如人工智能将来获得自我意识（这已属于“远虑”），人工智能武器就很可能成为人类自作自受的掘墓人。

因此，人类无论如何必须禁止人工智能使用武器的能力，至少高能武器（核武器、激光武器、生化武器等）不能交给人工智能，而必须永远属于与人工智能隔绝的、由人操作的另一个系统，即一个与人工智能无法通用的技术系统。由人类全权控制高能武器，不仅是为了减少战争，而且也是为了必要时能够摧毁人工智能系统。也就是说，即使人类一定要发展人工智能，也必须把武器的使用权和使用能力留给人类自己，必须保证人工智能无法操作武器系统，否则人类的末日就可能不仅仅出现在科幻片中了。

2

人工智能的“远虑”

尽管具有自我意识的超级人工智能的出现可能尚有时日，但我们也有理由未雨绸缪。我们之所以有必要杞人忧天，是因为人工智能可能导致的“变天”将是无可补救的人类终结，至少也是人类历史的终结。但愿超级人工智能最后被证明只是危言耸听。

我们首先需要定义人工智能的级别。在非专业界流行的一种区分是所谓弱人工智能和强人工智能，但科学家似乎不喜欢使用“弱”和“强”此类模糊形容词来理解。

┃图灵机和超图灵机

电影《机械姬》（Ex Machina）讲述了一位老板邀请员工到别墅对智能机器人进行“图灵测试”的故事。

对于人工智能，也许更好的区分是图灵机和超图灵机。图灵机即机械算法机，逻辑-数学运算加上大数据资源，具有在有限步骤内完成一项能行构造（Feasible Construction)或者说一项运算任务的能力，但是它没有反思并且修改自身系统的功能，所以没有自我意识，只知道如何完成一项任务，却不知其所以然，也不知道为什么要做这样的任务。

以此观之，目前的人工智能都仍然属于图灵机，因此可以将未来可能出现的突破图灵机概念的超级人工智能称为超图灵机。根据图灵测试，如果人工智能的确能够输出与人类成功对话的思想，就意味着通过了图灵测试而可以被确认为一个思想者。

更重要的是，图灵测试并非局限于某个编程的任务，而是能够开放地回应任何对话，这意味着能够通过图灵测试的人工智能相当于一个有着自主判断能力的万能通用“我思”。

由此看来，尚未存在的超图灵机必须具有自我意识和自由意志，具有把自身系统对象化的反思能力，以及修改自身程序的能力和独立发明新语言、新规则、新程序的创造力。概括地说，超图灵机将具有等价于人类（相似或不相似）并且强于人类的意识能力，因此属于超级人工智能。

┃超级人工智能将以系统的方式存在

在我看来，超级人工智能的关键能力是发明语言和反思自身整个系统的能力，只要具备了这两种能力，其他能力都将水到渠成。这两种能力在本质上是相通的，是一个硬币的两面，其中的道理是：语言正是一个具有反思自身能力的万能系统。

尽管超级人工智能仍然很遥远，但在理论上是可能的，这种可能性已经足以让人不安。与科幻作品不同，危险的超级人工智能不太可能落实为个体的万能机器超人，而更可能是以网络系统的方式存在的超能系统。个体化的超能机器人属于拟人化的文学想象，从技术上看，人工智能的最优存在形态不太可能是拟人形象。硅基生命没有必要模仿碳基生命的形态，只需要在功能上超越人类。于是更为合理的想象是，超能的硅基生命存在应该是一个系统，而不是一个个孤立的拟人个体。假如存在一些个体形态的机器人，也只是属于超能系统的各种专用“零件”，而不太可能是独立思想者。当有人说，未来全世界的机器人会联合起来，组成机器人的社会，这应该是个幽默笑话。个体形态的机器人不足为患，不仅能力有限，而且容易被破坏或摧毁，绝非超级人工智能的优选形态。在理论上说，超级人工智能的最优存在形态不是个体性的（与人形毫不相似），而是系统性的（与网络相似）。它将以网络形式无处不在，其优势是使任何人的反抗都不再可能，因为人类的生活将全面依赖智能网络，而且网络化存在具有极强的修复能力，很难被彻底破坏。

可以想象，作为超图灵机的超级人工智能一旦形成就会导致存在的升级。所谓“存在的升级”，指的是某种技术或制度的发明开拓了新的可能生活并且定义了一个新的可能世界，所以它意味着存在方式的革命，而不仅仅是工具性的进步。为了更好地理解人工智能可能导致的颠覆生命和文明概念的存在升级，我们不妨简要地重温人类历史上的若干次存在升级。

┃超级人工智能是人类的自我否定

    和自我了断

人类的第一次也是最重要的存在升级是成为人，其首要标志是语言。语言的“创世纪”是有史以来最深刻的存在论革命，它使必然性产生分叉而展开为众多可能性，因此人类能够超越现实性而思考多种可能性，同时使人类拥有始终在场的过去（历史）和提前在场的未来（计划）。语言革命类似于宇宙大爆炸，或者相当于“奇点”。

接下来，人类又经历了多次存在升级，其中特别重要的是农业的出现，它导致了社会的形成，同时也是政治的形成，进而还有货币和国家的发明。

现在我们将要面对人类的最后一次存在升级，即存在的彻底技术化，或者说，技术将对任何存在进行重新规定。目前的准备性产品是互联网、初步的人工智能和基因编辑，将来如果出现超级人工智能（以及能够改变人的本质的基因编辑），那或许将是导致历史终结或者人类终结的最后存在升级。

也许这对于宇宙是一件微不足道的事情，但对于人类就是一件无以复加的大事。假如真的实现了超级人工智能，万物都将变成技术化的存在，此种存在升级意味着人类在世界存在系统中失去了地位，人类不再重要，历史将失去意义，人类文明将成为遗迹，未来也不再属于人类，人类文明数千年的创世纪将被终结而开始人工智能的“创世纪”。

因此，超级人工智能的存在升级实际上是人类的自我否定和自我了断。我们可以回顾人类“创世纪”的初始状态，那是人开始能够说“不”的时刻，因此开创了历史、文明和未来。同样的道理，一旦超级人工智能对人说“不”，其革命性的意义至少不亚于当年人类开始说出“不”。假如人工智能将来真的具有自我意识和自由意志，并且能够发明自己的语言，由此发展出属于人工智能的思想世界，从而摆脱对人类思想的依赖，能够按照它自己的目的来设定行为规则，那么，全知全能的超级人工智能就会成为现实版的上帝。然而问题在于，人类真的需要为自己创造一个否定人类意义的上帝吗？为什么人类会试图创造一种高于人类、贬低人类地位甚至有可能终结人类的更高存在呢？人类这样做到底在追求什么？有什么好处？这个问号很大，没有更大的问号了。

┃为了人类安全，

    人工智能必须保留致命的智力缺陷

电视剧《西部世界》讲述了由一座巨型高科技以西部世界为主题的成人乐园，提供给游客杀戮与性欲的满足，随着接待员有了自主意识和思维，他们开始怀疑这个世界的本质，进而觉醒并反抗人类的故事。

因此，我们需要提前思考如何设置技术的安全条件，特别是人工智能和基因工程的安全条件。在这里，我仅限于讨论人工智能的安全条件，也就是必须为人工智能的发展设置某个限度。抽象地说，发展人工智能的理性限度就是人工智能不应该具有否定人类存在的能力，相当于必须设置某种技术限度，使得人工智能超越人类的“奇点”不可能出现。

假定人工智能与人类共存，那么超级人工智能的最低安全条件是：

■ 人类的存在与人工智能的存在之间不构成生存空间的争夺，特别是不存在能源和资源的争夺。这等于要求人类和人工智能所用的能源必须是无限资源，比如说极高效率的太阳能。就目前可见的技术前景来看，对太阳能或其他能源的利用能力仍然无法达到无限供给。当然，人们相信这个技术问题总会被解决。

■ 人类必须能够在技术上给人工智能设定：如果人工智能试图主动修改或删除给定程序，就等于同时启动了自毁程序；并且，如果人工智能试图修改或删除自毁程序，也等于启动自毁程序。这是一个技术安全的保证。

■ 我们还应该考虑一种更极端的情况：即使能够给人工智能设置自毁程序，仍然不能达到完全安全。假如获得自我意识的人工智能程序失常（人会得神经病，超级人工智能恐怕也会），一意孤行决心自杀，而人类生活已经全方位高度依赖人工智能的技术支持和服务，那么人工智能的自毁也是人类无法承受的灾难，或许会使人类社会回到石器时代。借用塔勒布（Taleb）的看法，无论一个系统多么高级，只要它是脆弱的（Fragile)，就总是非常危险的。显然，人类所依赖的生活系统越来越高级，也越来越脆弱。因此，人工智能必须装备两个单向控制程序：第一，只有人类能够单方面启动的备份程序；第二，人工智能只能单方面接受人类指令的中枢程序，而且是无法修改的程序，任何修改都将导致死机。

■ 我们还必须考虑到，任何技术都不可能万无一失，因此，要保证人类的绝对安全，就只能禁止发展具备全能和反思能力的超级人工智能，简单地说，必须把人工智能的发展控制在单项高能而整体弱智的水平上。总之，人工智能必须保留致命的智力缺陷。

3

结语

阿西莫夫的机器人三原则（Asimov’s Laws of Robotics，源于他的科幻小说《环舞》)，即：

■ 机器人不得伤害人类个体，或者目睹人类个体遭受危险而不顾；

■ 机器人必须服从人的命令，当该命令与第一定律冲突时例外；

■ 机器人在不违反第一和第二定律的情况下尽量保护自己的存在，表达的是人类通常关于人工智能的一厢情愿想象。

事实上，此类定律完全没有安全系数。对于人工智能，如果允许给出一个并且仅仅一个，那么我愿意说，只需要一个原则，即禁止研发有能力对人类说“不”的人工智能。从早期人类发明了说“不”而导致的天翻地覆的文明革命可以想象，一旦人工智能对人类说“不”，将是何等天翻地覆的历史终结。如果允许再给出另一个忠告，我会愿意说，唯有天下体系才能控制世界的技术冒险。

丨 往期回顾