王培AI专栏 | 人工智能危险吗？
王培（美国天普大学计算机与信息科学系）
人工智能近来取得的一些进展引起了公众对其未来成就的极大期待，也将人们对其危险性的关注提升到了前所未有的高度。这方面的标志性事件在国际上是去年霍金、马斯克、盖茨等对人工智能可能危及人类命运的警告，在国内是围棋人机大战引发的大讨论。人工智能危险吗？学界对这个问题并无共识，所以下面的分析大都是我的个人观点。
对这个问题的简单答复是：在一个客机都能被用来撞大楼，像三聚氰胺、苏丹红等化工产品都能在食品行业发挥“功效”的时代，有哪种科技敢说自己的成果是绝对安全，不可能造成任何危害的呢？人工智能自然不能例外。任何科学技术成果都是既能有正面后果，又能有负面后果的。我们所能做的只是尽量用其利避其害而已。
以上的老生常谈当然不足以解除很多人的疑虑，因为人工智能不是一般的科学技术。既然人类称霸地球的主要凭仗是其智力，那么智力超过人类的机器自然应当引起警惕。会不会有一天“机器不仁，以人类为刍狗”，就像灾难片里描写的那样？这里的核心问题是人工智能是否可控。如果可控，那么其危险性就和其它计算机技术无本质差别。否则显然有危险，而且智能越高越危险。
这似乎是将我们人工智能研究者置于进退两难之境：如果我们建造的系统可控，大家会觉得它们其实没多少智能可言（当我们是骗子），而如果不可控，大家又会说我们危害人类（当我们是疯子）。我写这篇短文自然是要分辩说，其实还是有第三种情形的。
首先要回到很多关于人工智能的讨论都应该澄清的一点：在“人工智能”的旗下其实有几种非常不同的研究，而它们在几乎所有基本问题上都给出了不同的回答。这正是为什么我为《赛先生》写的第一篇就是《当你谈论人工智能时，到底在谈论什么？》。就目前的讨论而言，我们也需要区分几种不同的情况。
借用心理学的名词，让我们把一个计算机系统的输入看作一系列“刺激”，而将其对应的输出看作系统的“反应”。这样一来，系统的历史就是由一系列“刺激-反应”过程所组成的，其中所有的刺激构成系统的“经验”，而所有的反应构成其“行为”。在这种描述下我们可以区分三种系统：
· 计算系统：刺激-反应关系是完全被系统的初始设计确定的，因此相同的刺激永远导致相同的反应。用计算机科学的术语来说，这个系统的输入输出关系构成一个“计算”或者说“函数”，而与当前时刻或系统的经历无关。
· 适应系统：刺激-反应关系是被系统的初始设计和经历共同确定的，因此相同的刺激在不同时刻可能导致不同的反应，而且这些反应一般会随时间朝有利于系统的方向发展。仅从系统初始设计或刺激本身是不能确定系统的反应的。
· 随机系统：刺激-反应关系不被系统初始设计和系统的经历确定。一个观察者即使知道该系统以往的一切，也无法哪怕是近似地预料系统的行为。
如我在《人机大战赛前思考:计算机会有超人的智能吗？》中所分析的，传统的计算机系统和主流人工智能系统均属于计算系统，其行为基本由初始设计所确定。绝大多数机器学习系统也属于这一类，因为其“训练”过程实际上是设计阶段的一个必要步骤，而在系统交到使用者手中之后的经验已经不会对系统行为产生根本性影响了。计算系统的危险基本可以说是由设计（包括训练）中的失误或疏漏造成的。完全排除这种危险是几乎不可能的，因为现在还没有办法证明设计的完全正确性，更无法排除系统被有意或无意地用于其它出乎设计者预料的用途。但是，这种危险性并非人工智能或计算机所独有的，因此其应对也就不出“老生常谈”的范围。在目前的相关讨论中，那些主张“人工智能并不危险”的专家大多说的是这类系统。尽管他们说的基本是对的，其结论的有效性也仅限于他们所了解的那类“智能系统”。
随机系统当然是可以造出来的，让一个导弹控制系统用随机数决定发射时间和目标就行了。这的确很危险，但由于这种系统不满足任何正常的需求，没多少人真的在“研究”它们。如何防止一些狂人真的这么干也不是人工智能独有的问题，因此这里就不讨论了。没有根据认为智能高度发展的系统等同于随机系统。即使我们自己那些似乎“无中生有”的灵感、直觉、下意识、自由意志等等也只能说是超出了我们在某一时刻对自身的认识，而不能说是完全无迹可寻的。
真正属于人工智能独有的危险性问题是关于适应系统的。和计算系统不同，适应系统的行为不是完全由先天因素（初始设计）所确定的，而是同时取决于系统的先天和后天因素。这里的“后天因素”包括系统的全部经验，而不仅仅是一个有限的训练阶段。在下面的讨论中，“人工智能”是指这种系统，即《人工智能迷途：计算机的高技能等于高智能吗？》中提到的“通用人工智能”。
以我所设计的纳思系统[1]为例，系统的“先天”成分包含其“元知识和元能力”，它们使得系统以一定的方式和外界相互作用，并通过推理和学习来构建和调整其自身的目标、知识和技能，而这个过程中所用的“建筑材料”都来自于经验。作为一个通用智能系统，纳思不对经验的内容做任何限定。这样设计出的系统是“道德中性”的，既可以行善又可以作恶。出于安全性和工作效率等考虑，将来在把一个纳思系统置于一个具体环境中让它“独立生活”之前，会在其中“植入”某些目标、知识和技能。但这些先天成分的内容是和经验相关的，因此可能被系统依后天经验所修改。换句话说，这种“植入”相当于“积淀的经验”，因此没有在根本上改变纳思的基本设计原则，即所有和经验相关的都是可修改的，而只有元知识和元能力是先验的，且不受经验的影响。但元知识和元能力不直接确定系统的行为，而只是确定行为和经验的关系。
这种系统的“学习”和机器学习系统的“训练”过程不同，在于其结果并不收敛于样本，而是永远对未来的修正开放。这里学习不仅限于知识积累或更新，也包括目标演化和技能习得。这样一来，尽管可以将阿西莫夫的“机器人三律令”（译作“机器人三定律”是错的）之类的道德律令植入纳思之中，完全靠这种办法也是无法保证系统只行善不作恶的。主要原因有下面几点。
首先，并没有所有人都同意的具体道德律令。尽管的确存在某些普世价值，它们也是随着社会的发展而变化的。在人类自己都没有共识的伦理问题上，计算机应当听谁的？把某些人在某些时刻的观点作为“最高指示”植入人工智能中，未必会符合人类的长远利益。
其次，即使可能给智能系统植入一组“道德规范”，在系统面临一个具体问题时，往往发现这些要求会互相竞争甚至冲突，而且难以判定哪个行动是最“善”的。在面临“先救谁”之类的难题时，人们常常陷入进退维谷的境况。这种“理想的冲突”是不能通过对目标简单排序所能解决的，比如说曾经被广为传播的“集体的事再小也是大事，个人的事再大也是小事”就常常导致其实很不道德的后果。
最后，由于适应系统的知识是囿于其过去经验的，因此不可能准确预测其行为的全部后果。即使它出于最良好动机的行为也可能导致不幸的结局。在人类历史上，“好心”办成的坏事未必比恶意的来得少。既然人类如此，有什么理由期望人工智能可以保证其行为结果的“至善”呢？
在目前的讨论中，一种有影响的观点是“人工智能系统必须保证不作恶”。尽管出发点可以理解，这种观点是建立在对智能的误解之上的。比如说，常见的假设就是既然一个系统有高级“智能”，那它应该可以准确预见其每个行为的全部后果。实际上没人能做到这点，而且根据我的理论，也没有哪个人工智能系统可以做到这一点。“全知全能”的是“人工神灵”，我不认为有可能造得出来。
但上述结论并非说明我们对人工智能系统的安全性完全无能为力。适应系统的可控性是个程度问题，既不是完全可控，也不是完全不可控。设计者可以确定系统的先天设计，但一般无法完全确定系统的后天经验。为了提高系统的可靠性，可以先天植入有关控制信息（如以“道德律令”的形式），并在系统的“幼年期”通过教育（即控制其经验）的方式培育其目标、知识和技能的基础结构。这些措施将在很大程度上（但绝不是完全）确定系统的未来行为，而其不足之处将由其它机制来弥补。
比如说，谁应该对一个适应系统的错误负责？根据错误的性质，其责任主体可能是系统的设计者或教育者，也可能是系统自身。在这种情况下，我们的教育体系、法律体系和社会体系都需要做相应的调整。我的猜测是：防止人工智能作恶的办法原则上和防止人作恶的办法一样，尽管细节会很不同。这些办法不解决所有问题（所以还是有恶人），但也并非完全无效（所以人类社会还没崩溃）。
综上所述，克服适应系统的危险性的要点和难点在于对其后天经验的控制和影响。这不完全是个技术问题，而也是个社会工程。尽管我们可以对其进行各种设想，任何具体措施都必须等到我们对这种系统的行为方式有足够准确的认识后才能建立。那种“人工智能安全研究必须先行”的观点是不现实的，就像在飞机发明之前无法制定有效的飞行安全条例一样。有人大叫“等发明出来就晚了！”，这当然也有道理。因此我的建议是尽可能区分“科学研究”和“技术应用”。科学研究必须先行，但应当对实际应用加以规范。即使我们无法预见一项技术的全部后果，尽可能详细的评估还是必要的。随着人工智能研究的发展，我们对有关安全措施的认识也是会逐步深入的。像很多其它领域中的安全性问题一样，人工智能安全问题将是一个长期的研究课题，而一劳永逸地防患于未然是不可能的。
既然人工智能的确有失控的危险，那为什么还要研究它呢？像有些人呼吁的那样，把它禁止了不就完了？简单说来，这是因为既不该禁，也禁不成。
人工智能的研究动机远不仅仅是用机器人代替工人以便给老板省工资。如我反复强调的，在这面旗帜下有怀有各种目的的人。以我自己的研究为例，就是试图建立一个“广义智能理论”以涵盖“人类智能”、“计算机智能”、“动物智能”、“群体智能”、“外星智能”等等具体形式[2]。为了检验这个理论，我设计了一个逻辑模型，并且在计算机上实验它。这个计算机系统（纳思）不是针对任何具体应用的，尽管有可能在未来找到各种用处。这项研究实际上和逻辑学、心理学、语言学、哲学等领域的关系比和计算机科学的关系更近些，因为它是在研究智能、认知、思维、意识等现象的一般规律，而计算机只是检验这些规律的工具。禁止这种研究的理由大概可以被用来禁止所有学术研究了。“认识你自己”的确可能导致各种你不希望的后果，但浑浑噩噩真的更好吗？
从未来应用的角度看，我认为人工智能对人类的主要贡献将不是在各种职业中代替人，而是解决那些人难以解决的问题。比如在核电站和矿井发生事故时，有智能机器人结果可能就会完全不同。往更远处说，智能机器人在星际移民等事业中可能起决定性的作用。反对人工智能的人往往强调这项技术所可能带来的危险，而忽略了它在克服其它危险时可能的贡献。的确没有人能证明有人工智能的未来会更美好，但同样也没有人能证明没有人工智能的未来会更美好。我们只能权衡现有的正反证据以判断是否使用一项技术。如果只要有一点危险就要禁止，大概没有什么技术能用了。汽车每天撞死很多人，为什么不以“生命的价值高于一切”为由来禁止其使用？
至于为什么人工智能的研究是无法禁止的，可以看看历史上对科学研究的禁令有多少次成功过就清楚了，更不用说这个领域有如此诱人的前景。那么我们能不能只研究“安全的人工智能”而禁止“危险的人工智能”呢？这是不可能的，因为和智能所联系的“创造性”、“灵活性”、“适应性”、“自主性”等褒义词都蕴含着“不可靠”、“不可预测”、“不可控制”等贬义词。它们本来就是同一枚硬币的两面。现在那些“安全的人工智能技术”按我的标准根本算不上有多少智能。
总而言之，人工智能的危险性应当引起我们足够的重视。以目前的主流“智能技术”为参照所打的保票不足为凭，因其视野太窄，完全没有考虑到适应性的后果。而另一方面，对人工智能的无知或误解所引发的恐惧及由此触发的躲避或抵制也不会使人类更安全。人工智能有可能成为人类历史上影响最重大的科技进展之一，而越是如此，越要求我们的应对是建立在认真严肃的研究基础上的，而非仅仅靠直觉或臆想。
参考文献
[1] Pei Wang, Rigid Flexibility: The Logic of Intelligence, Springer, 2006
[2] Pei Wang, A General Theory of Intelligence, E-book draft, http://www.cis.temple.edu/~pwang/GTI-book/
了解作者信息和他在赛先生上已发表的文章，请点击页面左下角的“阅读原文”访问他的主页。
投稿、提供新闻线索、转载授权请联系：iscientists@126.com
商务合作事宜请联系：dll2004@163.com
更多精彩文章：您可以回复"年份+月份"，如201510即可获取月度文章，或返回主页点击子菜单获取最新文章、往期文章或直达赛先生微博。谢谢！
微信号：iscientists