摘要：新一波人工智能建立在新的计算“秩序”上，也因此带来更多不确定性，其快速发展在提升社会福利的同时也被认为可能造成对人类生存与发展的威胁。尽管应当用基于工具目标和基于认知目标的划分来代替建立在不同维度上的弱人工智能、强人工智能和超人工智能的划分，但是可以相应地将所关注的政策议题划分为将人工智能视为工具的弱议题、视为主体的强议题和视为危机的超议题，并由此建议要建立和加强全球合作以面对可能的风险。

关键词：人工智能；弱人工智能；强人工智能；超人工智能；公共政策

DOI：10.16582/j.cnki.dzzw.2018.03.001

一、研究的起点

二十年前互联网兴起甫始，曾有人戏谑地称“在互联网上，没人知道你是一条狗”，这在当时只是一则笑谈。如今“阿尔法狗（AlphaGo）”的成功却预示这个笑话可以变成现实。

世界各大国已经开始在国家战略层面部署人工智能（artificial intelligence，下文简称AI）的发展。2016年10月，美国政府发布了《国家人工智能研究和发展战略计划》和《为人工智能的未来做好准备》两份报告，提出美国优先发展的人工智能七大战略。2017年4月，英国工程与物理科学研究理事会（EPSRC）发布了《类人计算战略路线图》，明确了类人计算的研究动机、需求、目标与范围等。2017年7月，中国政府印发《新一代人工智能发展规划》，将AI发展上升到国家战略高度。各国已经展开全球竞争，抢抓发展机遇，占领产业制高点。目前，中、美两国的AI企业已经占全球的65%，融资金额已经占据全球的84.27%。[1]

与以往技术创新相比，AI技术表现出不一样的复杂性，在某种意义上实现了对人类思维这一区别人类与其他生物的核心器官的替代，被认为可能造成对人类生存与发展的威胁。所谓替代是分层次的，在各类讨论中不仅可以看到关于人的存在意义的哲学关怀，也可以看到就业替代等现实问题，这使得AI政策讨论所涉及的范围更加宏大。美国学界早在20世纪80年代就开始讨论未来高度发达的AI社会可能面临的问题，当前无论是积极的或者消极的争论都只是这场一度兴盛的未来学的延续。技术实证主义者希望人们对技术进步的认识不要过于乐观，对AI的想象超出了现有技术的可行性，因此也无需过于焦虑。然而，即使不否认技术存在很大局限，我们也很难拒绝哲学家们关于未来社会的善的或恶的可能性的思辨。即使是对于那些AI小说，基于当今技术进步的速度，也很难断言它们仅仅是一种幻想。

无论是基于悲观主义的论调，还是乐观主义的畅想，抑或温和的实证观点，都至少给出一个基本事实：AI已经“在路上”。公共政策研究必须对此做出积极回应。这要求拨开商业的迷雾并且还原技术的抽象，既要面向现实的又要指向未来的，既要面向发展的又要指向问题的，既要面向技术的又要指向伦理的，既要面向经验的又要发展思辨的。本文将AI发展可能带来的政策议题归纳为弱议题、强议题和超议题，为此首先需要对AI的计算本质及其目标类型展开讨论。

二、人工智能的计算本质

关于AI的科学研究始于20世纪50年代。1950年，阿兰·图灵（Alan Turing）提出：如果人类可以与一台机器对话且不能辨别出它的机器身份，那么可以称这台机器具有智能。[2]这则历经将近70年的“图灵测试”尽管有所争议，至今仍被业界奉为圭臬。其实早在1945年，先于第一台现代计算机的诞生，万尼瓦尔·布什（Vannevar Bush）在其名篇《和我们想的一样》中已经提出可以开发出一个系统来增强人类的知识和理解力，[3]这已经有了AI的思想雏形。1956年，图灵奖得主约翰·麦卡锡（John McCarthy）第一次提出了“人工智能”一词。其后历经六十多年沉浮至今，AI研究主要有两波发展浪潮。第一波浪潮可以说是基于知识驱动或者模型驱动的自上而下的方法，主要建立在基于“if-then”结构的人工设定的形式逻辑基础上；第二波则基于（大）数据驱动的自下而上的范式，借助统计学方法、模拟神经网络等实现计算机的自主学习。[4]这种方法上的转换也可以看作是机器中计算秩序建构的一种转变——AI的本质即计算，算法控制着数据的流动并实现所谓的“智能”。

在第一波浪潮中，人工系统（机器）中的规则都是由设计者给定的——基于特定的模型来控制数据流动；或者说从机器的立场来看，数据流动的秩序是由人工在外部强加的，所谓“知识”是人类依据自己的经验从外部“灌输”的。正如被誉为AI之父（之一）的赫伯特·西蒙在1973年时曾指出，计算机只能按照人类设定的程序工作，正如人类只能按照基因和累积的经验所设定的程序去做事一样。[5]因此第一波AI的“智识”始终是一种被组织的或被计划的结果。然而现实中大部分问题都不能像它们的设计者们最初想象的那样用模型来明确地描述，因此在既有条件下不可能将知识体系全部“组织”进所谓的知识库中。当时即使是最杰出的AI程序——被称作专家系统——也只能解决它们试图解决问题中最简单的部分。不难看出，这种自上而下的认知建构方法潜在地包含着一种全知全能的“期望”，认知建构是在“场”外完成的，人类扮演了“上帝”的角色，而AI所拥有的知识范围不会超出人类知识体系的大范围，在某种意义上说是可控的。

相反，第二波技术则试图形成机器内部的自我建构，或者说形成一种“自生自发”的秩序，这在最新的“阿尔法狗-零（AlphaGo Zero）”算法中得到了最佳实践——与前一版本相比，它可以从空白状态学起，无需任何人类的输入。如果说人类仍然是AI的“上帝”，那么这次人类只是给出了人工“生命”组合的规则，而真正的演化是由AI自己完成的。必须承认，AI的初始理性也是有限的，而且是不断演化的。这符合典型的“启发式”原则，在不断试错中寻求最佳行动，放弃低效的判断，从而可以“涌现”出——而非被安排出——某种程度的智能。从人类的角度来讲，我们从AI认知结构的设计中“撤退”了，但是却获得了更大的突破。在过去专家系统的设计框架下，我们不仅要“知其然”，而且要“知其所以然”；而在深度学习的框架下，我们也可以做到“不知其所以然”。现在面部识别技术已经宣称超过人类的水平。微软全球执行副总裁沈向洋博士在一次讲话中提到，五年之内语音识别技术将超过人类，十年之内机器视觉也会比人好。人造物已经开始超越造物主本身而变得不可理解，不可理解也就不可控制，这在很大程度上也就成为当前关于人工智能可能带来终极威胁的观点的源头之一。

AI无处不在，自此人类开始超越“信息时代”，真正进入“计算时代”。计算的基础是数据（数字），数据是人类对自然和社会事物的一种结构化的认知，并表达了千差万别的有形和无形事物之间的某种同一性，也即是说，原本千差万别的事物之间具有了可以相互联系的或者说统一计算的基础，计算将它们按照某种规则连接起来。人类通过数据便可以构造出虚拟的想象空间，数据是这个空间中的“原子”。数据规则的结构越简单，这种连接就越普遍。而现代计算技术的关键在于将自然世界和想象世界在它们最基本的单位上——电子与数字——建立了连接，从而展现出了虚拟世界的物质面。在这个意义上，计算不仅控制着数据的流动，也影响着物质层面。AI建立在这样的世界交叠之上，并将万事万物的数据化和可计算化推向了极致——真正的“自主计算”状态。如果这种自主计算深入到两个世界的所有细节中去，那么最终究竟是人类控制着计算，还是计算控制着人类？

三、人工智能的分类

目前，存在一种流行的却似是而非的分类方法，将AI分成弱人工智能（weak AI，简称弱AI）、强人工智能（strong AI，简称强AI）和超人工智能（artificial superintelligence，简称超AI），并由此产生了诸多与各类AI相关的政策议题。上述这些概念其实来自于AI科学界和哲学界的不同作者，其出发点不尽相同。

1980年，美国哲学家约翰·希尔（John Searle）在其经典论文《心灵、大脑和程序》一文中提出，为了回答“在人类认知能力的计算机模拟方面应该重视什么样的心理和哲学意义”的问题，十分有必要提出和“弱AI”相对应的“强AI”。[6]他所谓弱AI，或称之为“谨慎（cautious）AI”，是一种工具性的心智（mind）研究，其中计算机的核心价值在于提供一种有用的工具；而强AI则不仅是工具也是心智本身，其中计算机能够理解（understand）并且拥有某种认知状态。著名人工智能专家雷·库兹韦尔(Ray Kurzweil)尽管并不同意希尔的观点，但在其著作中也给出了类似的分类：狭义AI（narrow AI）和强AI。[7]“狭义AI”拥有特定功能，能够如人类一样或者更好地完成人类的任务；而他所谓的强AI则是指能够达到甚至超过人类智能水平的AI。弱AI和狭义AI之后合流被称作“应用AI（applied AI）”，即是指在特定领域具有类人的或者超过人类智能的AI，比如AlphaGo；强AI与“通用AI（general AI）”则在概念上被指向同一类AI，即能够达到人类智能水平，能够完成人类能做的任何任务，具有意识、知觉和思维能力。而另外关于“超AI”，则是来自牛津大学哲学教授尼克·波斯托姆（Nick Bostrom），他定义的超AI是指包括在科学创造、一般智慧（general wisdom）社交能力等任何领域都比最聪明的人类还要聪明的智能。[8]

对于上述分类需要辨析以下四个方面的问题。第一，超AI是比强AI和弱AI更强的AI吗？就概念而言，超AI和强AI、弱AI并不在同一维度上。超AI刻画的是智能水平而非智能的范围，其中往往包含着对人类“末日”的悲观主义论调，而对强AI和弱AI的讨论则或多或少都包含了对技术发展的乐观主义。波斯托姆指出，如果某个强AI达到与人类相同的智能，那么它的智能超过人类只是瞬间的事情，而且此类AI一旦形成将成为地球上新的主宰者并对人类带来灾难。[9]这种智能大突进的时刻，被称作技术“奇点（singularity）”或者“智能爆炸（intelligence explosion）”[10]。波斯托姆强调，他对超AI的定义对如何实施（是通过计算机还是通过外皮组织）以及AI的意识和主观体验等问题是开放性的。这恰恰说明，在波斯托姆看来，无论AI是否包含意识都无法阻止灾难的发生。假设某AI拥有与人类相当的智能水平，包括对人类和同类的友善以及对自然世界的保护（即排除AI对人类和自然世界的无意识破坏），它也同样具有进一步获取更高智能或者创造更高智能的意愿（意识）并付诸于行动，其掌握这种更高智能的（计算）能力远远超出人类自身的水平；假设不包含意识，基于目标驱动的强AI拥有自主解决问题的能力，它也可能竭尽所能获取或（无意识地与人类）争夺所需要的资源以实现它的目标。尽管上述“智能突变”是否在瞬间完成很难预测，但是至少说明在强AI和超AI之间并没有显著的界限。

第二，弱AI一定比强AI弱吗？尽管弱AI在特定领域已经超出了人类的智能水平，但是这不能说明其智能水平比强AI更高。图灵测试并非是对某个领域的测试，而是针对任何领域的测试，因此弱AI是无法通过图灵测试的。比如“阿尔法狗”只会下围棋，在其他方面却毫无所知。实现不同任务的弱AI的组合仍然是弱AI，目前为止还没有真正能够通过图灵测试的AI。另一方面，强AI将达到人类智能水平，并不说明其计算水平在特定领域一定比弱AI强，或者能完成弱AI在特定领域的任务，比如下棋。强AI的一般思路是能够模仿人类大脑的机理，让AI像小孩子的头脑一样通过学习逐步演化成长到能够完成人类通常可以完成的任务。强AI要想通过图灵测试，并不一定需要比人类更快。反之，如果某台试图通过测试的机器展现出了高超的计算水平，则一定会被看穿。强AI不仅要掌握人类的知识，也要具备“狡猾”“欺骗”的技巧——这并不是说，一定要在人类直接提问其是否是AI时做出否定的回答，而是也能展现出人类的弱点和缺点。当然所谓的“测试”也只是一种以人类为中心的标准。据说图灵本人也提出过疑问，如果一台机器选择不模仿人类，是否意味着它就没有智能呢？总之，尽管各种类别的名称直观地反映出一种（智能）能力水平的差别，强AI和弱AI实际上代表了两种不同的思路。前者更多地反映出自古以来的一种科学旨趣，也即制造出一个“冒充”人类以假乱真的机器人，后者则更倾向于提供在特定领域对人类功能的技术替代。如果一定要给出某个维度，尤其是和超AI相区别的话，它们的差别反映在智能展现的范围。这一点在它们的别名，即“应用AI”和“通用AI”上就更加明显了。

第三，为什么要发展强AI？既然强AI与具有悲观色彩的超AI之间的距离并不遥远，既然特定领域的任务可以由能力已经超过人类的弱AI来完成，那么为什么要发展与人类同等智能水平的强AI，或者能够通过图灵测试的机器智能？对人类自我的探索贯穿于人类历史。强AI可以说是AI研究雄心勃勃的“初心”，对AI的研究实际上也就是对人的研究。这里存在一个基本假设，如果AI能够通过图灵测试，那么就可以对人类智能做出解释。西蒙当年涉足AI的初衷即认为人类的心智、思考、决策和创造力都不是神秘现象，可以用科学来说明。[11]他在1988年回顾认知科学发展历史时曾指出:“在把计算机看作通用符号处理系统之前，我们几乎没有任何科学的概念和方法研究认知和智能的本质。”[12]西蒙最早将人类的思考看作是一种信息处理过程，如果说人类的计算与记忆能力有限，那么拥有更高计算水平的计算机是否可以用来拓展人类解决问题的能力？在没有足够科学证据支持的情况下，对于人类认知的任何主观臆测和哲学思辨都难免武断和不完全，其本质规律以及AI是否会超过人类智能终究是一个科学问题。[13]因此，AI被划入认知科学并成为其中最重要的部分，后者先后经历了从行为主义，到认知主义（符号主义）、联结主义，再到计算表征主义的范式转换，归根到底是对人类心智及其运作的研究。[14]

第四，强AI究竟能否实现？乐观主义者预测，21世纪内将出现能够与人类智能水平相当的AI。这种乐观主义的立场源自于一种建立在还原论基础上的计算主义或者算法主义，其基本思想即认为从物理世界、生命过程直到人类心智（认知）都是算法可计算的。[15]如果这个研究纲领是正确的，那么大脑就像一台计算机在运作，只要能够实现用机器来模拟出人类大脑的计算规则，就能够建立至少与人类水平相当的外部智能。在这个论断中隐藏着一个基本假设，即人类的心与脑是同一的，人类的全部意识均是大脑的计算产物。也正因此，对智能的研究其实也就不需要考虑意识的问题，而是类似黑盒测试的方法——机器学习，只需要关注信息的输出是否达到人类的水平。当然并非所有人都认可计算主义的观点。关于AI究竟能否达到人类智能水平的争论持续了几十年至今未歇。希尔在其著名的“中文屋”试验中试图说明即使能够通过图灵测试，也并不意味着AI具有人类的意识。人工智能是否存在极限？还是可以无限增长？哲学家和数学家们争论的核心命题是“人心究竟能否胜过计算机”或者“机器是否能拥有人类意识”。反对计算主义的或者支持人心胜出的观点认为，人的大脑和心并不是同一的，更深层的智能活动，特别是以意向性为核心的心智活动是超越逻辑和算法的，不是计算机的算法可穷尽的。[13]最关键的证据是著名的哥德尔定理。数学家哥德尔证明了在一个具有一致性的形式系统中至少存在一个命题既不能证实也不能证伪。建立在图灵意义上的现代计算机就是一个形式系统，按照哥德尔定理，这个形式系统将产生计算机不能证明的命题，然而人类却能证明，这恰恰说明人心胜过机器。这个结论与计算机的运算速度无关。尽管哥德尔本人曾指出这种推论并不严谨，但是可以通过适当增加假设来保证其严格性。有研究证明，意识不可能归结为某个逻辑形式系统的推导及其结论。[16]经典的神经网络模型算法也被证明无法完全模拟人类的意识。[17]当然现在就AI的计算主义的任何判断或许都是武断的。或许不久即能出现非图灵意义的新的计算革命。已经有研究揭示大脑就是一台天然的量子计算机。[18]因此人们对量子计算机报以厚望，认为“自然机制+算法”的计算模式将有可能突破现有的局限。[19]

综上所述，就技术本身而言，可以划分两种AI的目标类型：基于工具目标的AI和基于认知目标的AI。前者主要解决工具性问题，AI被置于客体的位置，强调在特定目标领域代替或超越人类的计算与行动能力，这已经在许多领域得到发展和应用；后者主要解决认知性问题，AI在某种程度上被赋予了一种主体的位置，侧重通过对人类智能的仿真而对人类心智做出解释。

四、人工智能的议题划分

就认知性问题而言，尽管目前的技术水平与上述AI的认知性目标相差甚远，这并不妨碍人们针对这个目标结果提出前瞻性的辩论。辩论包括了两个层次：一个层次是作为一种独立认知主体的AI是否“会”或“应”拥有与人类同样的权利，另一个层次是作为一种超越人类认知的独立主体的AI是否会对人类形成威胁。由此可以发现，尽管将AI技术实现划分为强AI、弱AI和超AI存在着概念逻辑上的不和谐，但是可以将AI所引发的政策议题划分为弱议题、强议题和超议题。

（一）弱议题

弱议题将AI视为一种工具，其议题核心是对AI的使用。如前所述，所谓“弱”是相较于智能的范围，而非指智能的水平，也非问题本身的性质。事实上，随着AI技术的进步，弱AI可以在特定领域超过人类智能水平，同时没有哪个问题在性质上一定是弱的。在弱议题中，AI仍然从属于人或者说是由人类控制的，主要是作为一种满足人类生存和发展需要的工具而存在并被使用。由此带来的政策议题实际上并不是AI的议题，而是人类在不断追求工具的先进性以造福社会的同时必须常常面临的社会风险。

首先，关于AI将取代人工劳动并引发大批失业的警告已然不绝于耳。一种未经或许无法考证的说法称，AI将可能取代95%的工作岗位。尽管究竟哪些职业将被首先替代存在争议，但是诸如仓管、司机、客服、翻译等已经出现或正在出现智能代替的行业越来越多。也有人辩称，AI的应用将创造更多财富，从而可以开拓出新的岗位。但是有批评称，新岗位不仅需要新的技能，而且也可能被AI所替代。对此类评判的可能反击是，弱AI从研发到真正投入运行并没有那么迅速，而人类的创意显然要快得多，因此新的人类就业机会仍然会源源不断地产生。

其次，AI的应用可能拉大社会鸿沟。尽管技术本身是中立的，但是技术存在经济和知识门槛。革命性的新技术不仅让掌握或控制技术的精英们迅速获得财富和权力，甚至掌握更多生存的机会。正如有学者指出，本来尽管存在社会性的不平等，但是自然生命并无不平等，而马斯克式超级“赛博格（cyborg）”——即某种人机一体化——的诞生将导致自然生命的最后平等也被破除了，进而未来的世界很可能不是AI统治人类，而是马斯克式超级赛博格统治一切。[20]

再次，AI必然会被用于犯罪，而且应用范围可能比人力犯罪要广得多。现在人们希望用AI来打击人力诈骗，但是AI也同样可用于实施智能诈骗，其手法可以比当前人力诈骗更加迅速、精准并可能操控更多的资源予以配合。随着万物互联时代的来临，企业、政府和家庭的联网设备越来越多，风险也就越大。对物联网的攻击已经成为当前网络安全的新重点，智能入侵离我们并不遥远。即使AI本身并不用于犯罪，但是如果被犯罪分子控制则可能对正常经济社会秩序造成破坏。

最后，未来可能会有更多AI参战或者被用于恐怖主义。那种认为“人工智能将使未来战争更具伦理关怀”的观点显然过于美好了。AI技术比核技术更容易隐蔽和扩散。尽管已经有人在全球提出倡议“不要研究可以杀人的AI”，然而这里存在典型的囚徒困境。与此相类似，世界各大国掌握核技术所形成的战略威慑可能阻止再次出现大规模战争，但是并不意味着世界可以放松对核扩散的警惕性，只要有潜在可能，就会迫使相关研发的产生以保证自己不被攻击。AI在战争中并不一定用于杀人，破坏基础设施尤其是能源设施也可能成为一种攻击选择。

（二）强议题

强议题将AI视为一种主体，其问题核心是人与AI的关系。尽管AI的拟人化被认为是对AI的误解，比如智能搜索引擎即是一种无形的AI，然而一方面是类似“索菲亚”这样的AI会越来越多，另一方面问题关键是，当我们在界定主体的存在时，作为判断基础的可能不是完整的人形化，而是一种“自由”意识。在电影《她》中，男主人公西奥多与一个化身为“萨曼莎”的人工智能系统从人机友谊发展成为一段奇异爱情。尽管电影结局令人唏嘘，在未来AI发达的社会，萨曼莎能否成为伴侣？是否拥有人格？拥有什么样的权利和义务？当犯错或者犯罪时如何惩罚？都是必须回答的问题。20世纪80年代，未来学家们已经在系统论、控制论的基础上讨论关于AI的人格问题。这些问题可以分为两个层次：AI是“活”的吗，AI与人类平等吗？

第一，美国数学家John G. Kemeny曾指出，新陈代谢、移动性、再生性、独立性、拥有智能和非人工成分是区分生物和非生物的六条基本标准，而像冯·诺依曼、诺伯特·维纳等控制论大师们早年已经证明[21]：①AI可以模仿其他机器的行为；②可以展现好奇心、自我认知以及能够识别与自己相同机型的成员；③可以从错误中学习；④可以像人类一样具有创造力和目的性，甚至可以寻找他们能够完成的目标；⑤可以自我繁殖，尤其是存在一种类似生物进化的方式，可以从低效、简单和弱的AI进化为高效、复杂和强的AI；⑥可以自我修复，实现永生。因此，AI被认为若符合上述六项标准即可成为“活的”。这种观点显然很难达成共识，尤其是对持有宗教或者人本主义观点的人而言简直是一种“谬论”。[22]不过退一步讲，至少在一个“低”层次上，AI是“活的”并不是说AI与人是高度相似的，甚至是一致的、平等的。人类常常也会赋予一些宠物以生存的尊严。在这个意义上，AI作为一种新“物种”存在不仅是可能的，而且应当赋予某种基本的权利。

第二，人类将AI放在什么样的主体位置上看待将影响甚至决定AI必须承担的主体责任。以色列政治学教授Lehman-Wilzig曾提出了一个关于AI犯罪的法律框架。[23]他列举出七种可能适用的法律原则：生产责任（product liability）、危险动物（dangerous animal）、奴隶制（slavery）、能力减失（diminished capacity）、儿童（children）、代理机构（agency）以及人（person）。生产责任原则将责任归咎于AI的制造者，问题在于制造者不仅是极为多元的，而且对于自动编程的AI而言就没有适用性了。危险动物原则将责任归于AI的拥有者或使用者，AI类似于人们豢养的攻击性宠物，在这种情况下其主体地位便上升到具有一定意识水平的层次。如果将AI视为人类的电子“奴隶”，那么AI的法律义务应放在关于如何对待奴隶的法律原则下，比如AI的主人是否承担责任，以及法律上是否考虑AI对自身解放的诉求？能力减失原则将责任归于暂时的“精神”失常，儿童原则将AI视为类似于未成年人，代理人原则类似于奴隶制原则，因为代理人在某种意义上只是委托人的工具。这里所有原则的一个潜在思想是，AI不能成为人类推卸责任的“替罪羊”。

第三，上述六种原则的共同之处在于将AI视为意志受限的主体，不过随着AI的进化，这些原则可能最终仍然要发展到所谓“人”的原则，即将AI视为拥有自由意志的主体，那么适用于一般人的法则必须为AI进行系统性的升级。应当意识到AI拥有与人类一样的对生命、对幸福和对尊严的追求。电影《机器管家》中的主人公安德鲁从对工作的自觉，到对自由的渴望和对爱情的追求，反映出AI通过学习而不断增强的自我意识以及由此产生的权利诉求，而他最后选择死亡，也为人类政府最终承认他作为人的法律权利做了最精彩的回应。当然，问题并不仅仅在于这种个体的发展。如果作为一种新的种族存在，我们将如何面对AI们的集体意识？AI的集体行动是否被法律所允许？AI们是否拥有自决或者自治的权利？AI能否拒绝人类对其代码的审查？AI能否拥有他们的集体信仰？所有关于被压迫民族的历史是否要在AI们身上重演？有观点认为，未来社会的人类与AI之间不一定是相互分离的，人机混合将成为一种新的生存状态。这似乎是解决一系列人类与机器世界共存问题的良好答案，不过如此一来，在强大的机器零件的诱惑下，人的原初的一切似乎就没有意义了，换言之人类将自己选择消亡。

（三）超议题

超议题将AI视为一种危机，该问题的核心是如何面对AI作为一种“超人”对人类生存的威胁。前文对强议题的讨论，实际上是以阿西莫夫原则为前提的（注：阿西莫夫早期提出三法则，后来又增加了第〇法则。依次是：第〇法则——机器人不得伤害人类这族群，或因不作为（袖手旁观）使人类这族群受到伤害；第一法则——除非违背第〇法则，机器人不得伤害人类，或因不作为使人类受到伤害；第二法则——除非违背第〇或第一法则，机器人必须服从人类的命令；第三法则——在不违背第〇至第二法则下，机器人必须保护自己），同时也提到所谓AI的自由意志的问题。然而，这两方面其实是矛盾的。如果坚持阿西莫夫的原则，也就意味着AI没有自由意志，因为至少在这些原则上AI必须遵循人类给定的规则。阿西莫夫原则并不是自然事实，而是外部强加于AI的倡导性规范，因此必然不能保证所有的AI（开发）都能够遵循。如果AI可以自动编程，那么我们更不能保证它将继续遵守上述原则；即使在编程中遵守了原则，也不能保证在AI的进化中是否会发生某种“突变”。其结果，无论是人类设计师还是AI的自动编程都可能不会遵守所谓AI伦理。

乐观主义者对能够创造出胜过人类智能的终极技术保持着一贯的兴奋态度。他们潜在的观点是，既然AI能够在最复杂的棋盘上超越最伟大的棋手，那么只要有足够的数据，AI可以帮助人类解决任何问题，由此可能带来的新纪元将使人类进入更加自由的状态。正如马克·扎克伯格所指出的，那种对AI可能带来世界末日的观点是不负责任的。不过悲观主义者们认为AI的“反叛”将可能带来人类自身的毁灭。1951年，图灵在一次演讲中曾经指出，一旦机器开始思考，那么它们不久便会超越我们（人类）的微弱的权力。[24]当代最权威的物理学家之一斯蒂芬·霍金也认为：AI技术的成功可能是我们文明史上最大的事件也是最坏的事件，它会像自动武器一样带来危险，也可能为少数压迫多数提供新的方法，极大地破坏经济体系；我们无法判断，究竟是可以从AI那里获得无限的帮助，还是因此被忽略、被边缘化甚至被毁灭。美国著名企业家埃隆·马斯克则更加强烈地表达了对AI的忧虑，在他看来，AI是人类生存的最大威胁，并可能带来第三次世界大战。“人类似乎是在以一种飞蛾扑火的心态拥抱所谓的智能革命”。AI或许将扮演终极撒旦的角色，人类最终将向自己的创造物俯首称臣。尽管科幻故事的结尾可以让个别的人类智能利用AI自身的弱点来摧毁庞大的机器控制，然而那种近乎末世的压迫终将摧毁人类精神与生存条件的现代性，其结果是人类对自身解放与自由的追求反而导向了一条不自由的结局。

那些处于上述两种态度之间的各种不同程度的温和观点，承认AI的积极性以及不可阻挡的发展趋势，同时也对可能带来的不同层面的问题保持警惕。一批将AI视为毕生事业的科学家们联合起来试图制定AI研发的原则。“阿尔法狗”的投资人Jaan Tallinn就指出：“我们需要重新定义AI研究的基础目标，让它能够与人类价值观对齐，而不仅仅是智能的开发”。[25]其中传递的信息是，尽管AI作为一种科学或者技术本身不仅是适当的而且是值得鼓励的，但是人类如何使用这些技术则必须置于适当的框架下，也即：研究无禁区，开发有“纪律”。这一点类似当年科学界对原子弹的忧虑。爱因斯坦等科学家在原子弹被用于日本本土之前曾试图干预政策的实施。然而，科学家的伦理无法应对久拖不决的战事、持续的人员牺牲以及对方可能首先使用的威胁。当然，也有AI科学家认为，目前所有的终极关怀是可笑的，因为所有的想象都远远超过了现有计算技术的实际能力，奇点根本不会来临。计算机科学家Donald Knuth指出：“人工智能已经在几乎所有需要思考的领域超过了人类，但是在那些人类和其他动物不需要思考就能完成的事情上，还差得很远。”[26]除非能够超越传统的计算模型，否则很可能会碰到类似于计算复杂性而从根本上限制了计算机性能的问题。[27]

不过既然是面向未来，其实的确很难说技术的终点究竟指向何方。基于现实的技术实证观点和那种悲观主义的忧虑并不在一个频道上，因为后者显然秉持“人无远虑必有近忧”的态度，如果未来被建构在一个可以想象的技术空间中，那么现实的确不能证明未来的谬误。如果说AI是人类的创造物，那么若AI的确会思考，它会奉人类为“上帝”。“上帝”作为一种超智能，或许真的阻止了人类智能制造“通天塔”，却无法阻挡人类的智慧提出“上帝已死”；同样，当前“牙牙学语”的AI也并不能验证未来的技术似“神”一样的存在是否会直接忽略人类智能或者直接提出“人类已死”呢？

五、结语

无论对于弱议题、强议题还是超议题，问题不是AI技术究竟走向何方，而是人类社会需要通过什么样的集体手段来降低未来可能存在的风险。在某种意义上，我们不是恐惧于AI拥有智慧，相反恰恰是害怕AI还没有真正的智慧时就已经有了超凡的能力。为了避免那些可能发生的消极后果，AI业界试图推动形成研发者的自律标准。这些标准背后潜在地认为技术发展是可控的。然而，即使全世界所有研发人员都能够自愿地遵从这些原则，实际上无法阻止：①某种技术“涌现”所导致的非意图中的不可控性；②出现政治狂人、宗教极端分子或恐怖分子对AI的“强制利用”，以及即便不存在灾难性后果，也无法阻挡；③AI可能在公权滥用和加大贫富差距上起到推波助澜的作用。

国际层面的合作将是未来AI治理的关键，而行业自律可以作为补充。如果说AI技术本身是科学问题，那么AI治理则更多侧重于价值层面的建构，需要的是共同的理解、协作与规范。为此需要建立以各国政府为主导的、非政府组织参与的全球合作网络，建立类似防止核扩散一样的机制，形成关于AI的全球治理。就弱议题而言，全球网络应充分总结并互通政策经验，以有效应对技术革命带来的失业、社会差距的拉大以及智能犯罪，格外重要的是要针对可能发生的战争、恐怖袭击和人道主义危机等建立协商与救援的平台。就强议题而言，首先需要回答为人类智能服务的社会规则是否能同时适用于AI，全球网络需要对AI伦理与规制改进等展开更加深入的对话以寻求共识。就超议题而言，尽管无法准确预期，但是全球网络也可以探索建立终极防御，比如联合研制AI病毒或者在太空中实施部署等。

参考文献：

（略）

作者简介：

黄璜，管理学博士，计算机科学硕士，北京大学政府管理学院副教授，博士生导师，北京大学国家治理研究院研究员，北京大学公共政策研究中心执行主任，全国政策科学研究会常务理事，从事政策科学理论、电子治理、计算模拟等研究，著有《理解电子政务》《合作的逻辑》等。

*基金项目：国家社科基金项目“‘互联网 +政务服务’背景下政府信息能力结构框架与推进策略研究”（17BZZ091）。