来自一位人工智能顶级专家的警告：创造比人类自己更聪明的东西很危险
2015年1月，英裔美国计算机科学家Stuart Russell主导起草并第一个签署了公开信，呼吁研究人员放缓研发强人工智能的速度，更加关注人工智能能够做什么、以及人类希望其做什么，将“保持人工智能互利”作为长久目标。此后，包括微软、谷歌、Facebook等科技厂商的顶级科学家均对此声明表示支持，著名物理学、宇宙学家霍金也在公开场合支持该言论，指出强人工智能对人们构成的潜在威胁。
Russell今年54岁，是加州大学伯克利分校人工智能系统中心创始人兼计算机科学专业教授，他一直在关注人工智能的发展和影响。Russell写了200多页的论文，同时他还是人工智能领域里“标准教科书”-----《人工智能：一种现代化方法》作者（谷歌研究主管Peter Norvig也是该书作者）。但是，随着人工智能发展的速度越来越快，Russell对这一领域的担忧不断加剧。
近日，Russell来到中国参加由中国金融四十人论坛（CF40）旗下上海新金融研究院（SFI）主办的第三届互联网金融外滩峰会，并就人工智能对金融业的影响和中国同行分享了观点。他认为，“人工智能并不是万能药，不是所有的问题都可以用人工智能解决。”此外，他还强调了人工智能的危险之处，“人工智能还有一个与一般的技术风险不同的危险之处。创造比自己更聪明的东西，是有潜在危险的”。
而Russell现在所做的正是在避免人工智能向错误的目标发展，“现在我正在做的就是对人工智能研究做出调整，将我之前提到的问题纳入考量，避免超级智能机器向着错误的目标行进”。
Stuart Russell在互联网金融外滩峰会上发表主题演讲
大家都知道，人工智能就是使机器更加智能。在人工智能领域，这一概念的含义是机器能够最大化自身的价值。现在人工智能有很多应用，涵盖各个领域。比如自动驾驶，在不远的将来即将实现。交通行业有6万亿美元的市场价值，自动驾驶将会对该产业造成致命冲击。此外还有医疗诊断等应用。当你使用谷歌、百度等搜索引擎时，你就在使用人工智能。还有交易、发放贷款、财富管理等等。我想大家都知道，人工智能的发展正在加速。今年早些时候，我们已经看到阿尔法狗击败了围棋世界冠军李世石。一年前的预测认为人工智能需要十年才可达到如此成就，但实际只用了不到一年，所以人工智能的发展速度在加快。过去5年，整个行业吸收了大量投资，比之前60年的总量还多。
接下来，我来澄清一些关于人工智能的误解。人工智能并不是有感知、有意识的机器，我们并不研究自我意识，我们不担心机器某一天突然醒来开始憎恨人类。人工智能的研究也不完全围绕着深度学习展开。深度学习是人工智能领域的一门技术。此外大数据也是我们经常在这个领域见到的词。但是很多时候人工智能并不只围绕这两个概念开展研究。最后，人工智能并不是万能药，不是所有的问题都可以用人工智能解决。很多问题我们不知该如何解决，但我很乐观地认为，在未来我们很快就能够找到解决方法。
大家对人工智能的很多应用都已经非常熟悉了，比如资信评分等，就是一些机器对简单统计学的应用，这从上世纪60年代就开始发展了。在评估贷款风险时，人工智能技术的应用也越来越广泛了。在市场营销领域，寻找目标用户、直邮广告，以及针对单一用户提供个性化服务等方面，人工智能也发挥了作用。风险管理方面，人工智能可用来辅助判断贷款人是否会违约，检查是否有欺诈交易行为等。此外，机器人提供投资组合管理建议等，某种意义上也可以被称为人工智能技术，但这些现在还只是比较简单的算法。当然，它们也会在未来演变得愈加复杂。
此外我还想谈论的一个应用领域是，个人的日常财务管理。我并不是指年度投资组合调整，而是指日常交易。举例来说，人工智能可以告诉客户，如果你拐过弯去，就能花一半的价格买到同样的咖啡。如果你购买汽车服务，你以后就不必为另外一些服务付款了，这样可以省不少钱。这都是一些你希望你的叔叔、阿姨能告诉你的日常小事，不过你没有叔叔、阿姨每天专门负责照顾你的日常生活。有很多挑战者银行已经应用了这些技术，来更好地发展与单个客户的关系。比如在英国，有很多这样的公司。人工智能在改善人们的生活质量上有很大潜力，但是我们也还有很长的路要走，才能发展出能够支撑这一切的技术。
接下来我们看看机器学习在金融领域的标准应用方式。这种方式没有模型，只是利用数据，无需任何金融知识。研究者从结果已知的案例中收集大量信息，比如个人信用卡交易结果，用户是否如期还款。我们把这些信息收集起来，建立一个预测分类器。对现有用户和新用户，我们收集他们的数据，预测他们是否会违约，并基于交易记录，决定给他们多大信用额度。这些应用到了基于电脑的决策树学习、神经网络、深度神经网等技术，其实就是我之前提过的深度学习技术。一旦建立了分类器，客户有新的行为时，我们就可以借助分类器做出决策。人工智能在这方面的应用将有重大作用，如果人工智能可以比人类专家做出更好的决策，那它将是非常具有价值的，能节约几十亿美元的资金，以较低成本做出预测。
现在我给大家介绍一下深度学习架构（用PPT演示）。我们可以看到人们正在构建的数学模型的复杂程度。尽管看不到模型里的所有参数，大家也可以大致感受一下其复杂程度。在这个例子里，一共用到了6亿个参数，来识别自动驾驶途中的路标。此外有很多金融领域的例子，也具有相似的复杂度。建造这些模型需要花费大量的时间和人力，要决定需要多少参数，应该如何一层一层地架构起来。市场对在此方面有较多经验的专家有巨大的需求。我带的博士生就职于该领域，起始年薪50万美元。
人工智能的这种应用方式在某些领域取得了成功，但很多时候，人们有一个新产品，却没有产品使用数据。有一个新的客户，没有任何关于其行为方式的数据，但我们依然需要预测他的行为。有时环境变化也会带来影响。之前收集的数据不再直接相关，因为环境已经产生了变化。比如说英国脱欧后，英国的整个金融体系会发生变化，风险结构也会有所不同。所以用在英国收集到的数据预测该国未来十年的发展时，结果势必会受到影响，不如先前十年的预测结果那样准确。
此外，这种方式还面临着信息丢失、信息错误等问题。机器只能理解信息的字面意义，但很多时候信息的真实意义却有所不同。这种方式在吸收新信息上也会出现问题，比如要收集网络浏览信息，作为金融交易数据的补充，已有的模型不能分析新的信息，作出预测，这时就要重建一个模型。这种方式最大的问题在于，这些网络、决策树、深度学习系统，都不懂金融学，这是一种浪费，因为在座的各位对金融学都有非常深入的了解。举个例子，大家都知道货币的稳健性原则。如果我花100万美元买了一套房子，我就没有这100万美元了，因为用它买了这套房子。这个简单的事实在座的每个人都能理解，但是机器网络并不明白，它不知道什么是钱，什么是加减法，它需要从例子中学习，而这个过程会花费大量时间，其间机器还会犯很多低级错误。
另外，一些金融行业的数据并不是非常清晰、美好的，而是碎片化的，分散于各个公司间。我们经常看到这种情况，一个人有很多关系，没有任何一方知道他所有的关系。我们知道这个人以前的历史记录，但无法整合所有信息，描述他是一个怎样的人，预测他未来的行为。还有一些信息，即便你想要整理它们，也会出现问题。比如说，有一个人每月都买红酒，可能他只是喜欢喝酒。我们将红酒分类为酒精饮料。但如果他买的是1947年的拉菲，每瓶1万7千英镑，我们就不该将其贴上酒精饮料的标签，因为他买拉菲不是为了喝，而是作为投资，所以这是一个完全不同的分类。
最后，我之前也提到过，身份验证是非常重要，也是非常困难的。美国信用公司的数据库中一般会有超过6亿美国人的信息。但是美国只有1.2亿人拥有信用卡。在他们的数据库中，每个人会作为五个人出现五次。在印度，问题可能更加严重。在印度的银行体系中，人名与地址的对应率不到80%。每五次中，就会出现一次人名与地址对不上的情况。信息是错误的，这是严重的信息质量问题。
于是我们还有另一种人工智能的应用方式，建立一个对金融学和人类都有所了解的机器。这个机器了解地址、搬家、出生、死亡等概念。这种模型可以通过正规的概率语言建立，可以描述人和人的行为，以及他们参与的财务交易。我们可以像以往一样收集数据，但是基于这些数据和模型我们可以计算概率，进而做出预测。比如这个人会不会买这个产品，会不会偿还贷款，这两个人是同一个人还是不同的人。我们可以基于模型，计算概率，解决这类问题。
下面我来讲一讲这些模型究竟是什么样的。在座的各位对公司基础分析都有了解。如果你想对一个公司的股票进行分析，你要对它做基础分析，看它的交易、资产、经营市场、相关风险等等，凭此预测其财务结果。对个人来说也是同样道理，利用人工智能，我们可以分析几十亿人的信息。最重要的是要知道这些产品会有多少用户。我们针对每个人，分析那些会对他的财务状况产生影响的事件。他们出生了，教育需要花父母的钱，结婚要花钱，也会改变他们是否生育的概率，他们会有怎样的工作，什么时候会从租房转为买房，什么时候会搬家，会不会生小孩，如何支付子女的教育开销，什么时候退休，这些人生大事会影响人们的风险状况，也会影响我们对其财务交易状况的预测。我们可以针对个人建立这种模型，讨论这些事件如何影响一个人的财务状况、交易与现金流状况，等等。我们是明白货币的稳健性原则的。
此外我们还有数据，所以当一个人进行交易时，我们就可以判断这笔交易是否可行，数据是否可用，是否准确，是否属于正确的个人，等等。这种方式的优点是，这样建立起来的系统可以解释自己的决定。当系统说对不起我不能给您贷款时，或推荐某一款产品时，系统可以给出这样做的理由。这种系统可以非常方便地与自然语言界面连接起来，这个界面在个人银行系统中是十分重要的。我们可以非常直接地处理数据遗失等问题。
不过，更重要的是，我们可以通过更少的数据，做出更精准的预测，因为我们理解人类行为以及财务交易的基本原理。但这种方式也有缺点，最大的缺点就是，建立这种数学模型的成本高昂。我们需要建模专家，还要对实际数据反复实验。但这是一劳永逸的。每个人都会出生、上学、死亡、退休。有些人会结婚、生子。人生的事件或多或少是一样的，建立一个模型就可以一劳永逸，用人工智能的软件自动带入其他人进行分析。
下面我们稍微转换一下话题，谈一谈金融行业以及人工智能对金融行业的影响。我们都很熟悉P2P借贷，以及发展越来越迅速的API。API允许第三方编写软件，直接与银行与及其客户的账户信息连接。这样一来，即便我的账户在B银行，我也可以与A公司交易。如果A公司的界面比B银行好，那我就与A公司合作。金融行业会分出专门做界面的公司，在下面的银行，和掌握着资金、保管总账的人。这个过程可能会被区块链及其他相关技术取代，所以我们可能会看到很多大银行及其业务的蒸发，因为他们在个人银行以及个人账户关系业务上已经起不到什么作用了。
此外还有一个很大的变化，由于人工智能的出现，人们会越来越多地使用数字个人助理。在座的很多人都是高管，你们有私人助理，帮忙处理生活中的很多事。私人助理帮你买东西、订宾馆、订机票、到学校接你的孩子，等等。多数人的这些日常需求，甚至财务交易需求，都可以由一名数字个人助理自动打理好。银行的客户可能会变成越来越多的自动财务助手，而不是真实的人。财务助手获得授权代替主人进行财务交易。
另外一个很大的变化是关于交易系统的。在美国的交易所中，大多数交易已经交给电脑程序进行，这个趋势只会继续。我要谈一谈交易系统，因为它与我的最后一个主题“风险”相关。有的算法比较简单，比如套利算法。也有越来越复杂的，比如对单个股票基础面的分析。机器能够自动读取新闻，从彭博、SEC（美国证券交易委员会）等处获取实时信息，进行交易。我们可以看到其中一个很严重的问题，就是这些系统只能理解信息的字面意义。
近期有个例子，美联社的推特账户遭遇黑客攻击，发推说白宫遭遇袭击，奥巴马总统受伤。机器看到这条新闻，认为市场存在很大风险，所以直接抛售了股票。2分钟以内，超过1万亿资金从市场上蒸发。之后有人看到这种状况，说我并没有在其他任何报纸上看到这条消息，就打电话给华盛顿的朋友，对方说没有爆炸，所以这可能是假消息。20分钟后，市场做了自我修复。所以我们不能制造只懂字面意义的电脑程序，这一点至关重要。关于市场的每条信息都有可能是假的，可能是有人故意放出的，他们想从那些只看字面意义的人身上赚钱。
如果用几千个交易算法来预测市场行为和互动的话，也会有麻烦，因为规范远远落后于实际情况的发生。市场上已有实例。下面这个例子来自于图书市场。这是亚马逊网站上的一页，一本普通的生物书，售价约40美元。但是这两个卖家，一个以1800万美金出售，另一个是2200万，这是因为有两个机器人算法程序自动定价，两个算法间的互动出现了问题，所以它们一路把价格提到了2200万美元。这只是一个比较简单，并非特别危险的例子，因为不会有人真的花2200万去买一本书。但如果你有一个自动的个人助手的话，它可能就会买下来，给你造成损失。接下来的例子也是市场上的真实案例，这件事非常有名，发生在2010年。2到3分钟内，纽交所蒸发了10%的资产，总价值几万亿美元，之后又恢复了。这也是算法程序不理解市场，进行高速互动导致的灾难。更近一点，2014年，发生了一次更迅速的崩溃事件，这次不是整个市场，而是在0.1秒以内，有200支股票大跌，有些跌幅甚至达到了20%。这种发展太过迅速，超过了人们的掌控范围。这个例子是为了说明，如果我们把一切都交给机器，而机器又不理解自己在做什么，就会造成无法估量的损失。
长久来看，人工智能经过长期发展，最终会在所有领域做出比人类更好的决策。这需要很长时间，所以如果下周还看不到这种进展，请不要担心。我们的下一代和下下代大概可以看到人工智能做出比人类更好的决策。这些机器更具远见，考虑更周全。它们就像阿尔法狗一样，但覆盖的不仅是围棋领域，而是工作的各方各面。这对人类来说是个绝好的机会，可以帮助我们的文明，极大地提高解决问题的能力。在污染、战争、疾病、贫穷、气候等问题上，人工智能可以帮助我们。它给了我们机会，去选择人类的未来，而不是让资源冲突、贪婪、骄傲等去决定我们的未来。
但这样做也有弊端。我们的文明具备了更强大的能力，这种能力可以被用于实现错误的目标。在非常近的未来，机器可以控制一些全自动武器，决定攻击谁、在哪里攻击、杀死谁。这对于人类来说不是件好事，如果我们不马上做些什么的话，这很快就会发生。我们已经见到了其他技术应用，比如用于监控。但还有更为棘手的应用，比如说服技术的应用。不只是劝说人们购买某种商品，而是煽动人们为某个政党投票，或者向人们灌输对某个国家的某种特定偏见，这是非常危险的发展。此外人工智能技术也会造成经济结构的变化，许多工作岗位会因此消失。但人工智能还有一个与一般的技术风险不同的危险之处。
创造比自己更聪明的东西，是有潜在危险的。如果我们问黑猩猩是否乐于见到它们的祖先创造了人类。黑猩猩或许会说，不，我并不认为应该创造人类，他们比我们聪明，现在我们已经陷入危机，面临灭绝了。我们不希望自己与人工智能的关系，变成现在黑猩猩与我们的关系。这一点很早就有人提出了。NorbertWiener是控制理论的创始人，也是上世纪60年代非常著名的数学家，他说如果我们要给机器设定目标，我们要确保目标正确，是我们真正想要的目标。有一个很古老的故事，古希腊神话中的国王Midas，希望所有他碰过的东西都变成金子。他非常确定这就是他想要的。神满足了他的愿望。他的食物、饮料、女儿，都变成了金子。Midas王非常不高兴，最终死于饥渴与痛苦。所以当我们有了人工智能来满足我们的愿望时，我们要非常谨慎地确定我们到底想要什么。
实际上，现在我正在做的就是对人工智能研究做出调整，将我之前提到的问题纳入考量，避免超级智能机器向着错误的目标行进。当我们思考关于人工智能、经济、控制理论、运行研究时，我们想的是创造系统来实现我们的目标。今天我想要说的是，这是有问题的，这种目标是错误的。与此不同，我们希望能够保证系统在执行我们的要求时，能让我们满意。这是不一样的。
Midas王达成了他的目的，他实现了目标，但结果却使他十分失望。我们需要避免这种现象。怎样避免？这里有三个简单的想法：1、机器人只有一个目标，就是把人类幸福的最大化；2.机器人并不知道这意味着什么，机器人知道自己并不确定人类的幸福到底是什么，不知道我们到底想要什么；3、机器人通过观察人们的行为，来学习我们喜欢什么，人类的行为会揭示我们想要什么，不想要什么。在座的各位可能还记得经济学课上学过的博弈论。这就像一盘博弈。一共有两方，人类知道目标，机器人去实现目标，但是机器人并不知道本来的目标是什么。这就像一个委托代理博弈，但更有意思。
作为总结，我刚才讲了很多关于人工智能在金融领域的作用，其中一些最基本的技术已经应用了四五十年，比如数据整合、分析、预测、提出建议等。此外，我也提到了，如果有能够理解人类和金融知识的模型，我们会得到更好的结果。我们看到市场上的一些交易策略，已经变得越来越有效，可以帮助我们提高市场流通度和效率。
如果我们能够控制住这些可能失控的机器人，以及它们带来的风险，我们将创造出很多价值。可以说，交易就是煤矿里的金丝雀。这是英语里的一个谚语，金丝雀是用来检测一些可能出问题的东西是否真的有问题的。如果煤矿中有泄露，金丝雀会比人类提前出现反应，这样人们就可以去检查矿井中是否有危险气体流出。交易就像煤矿中的金丝雀一样，可以帮助我们测试我们是否可以控制好高速运作的人工智能所带来的风险。
最后，在人工智能进一步发展时，懂得如何控制人工智能系统，如何使人工智能系统所追求的目标，与人类的需求统一起来，也是非常非常重要的议题。
原创声明：本文为作者在第三届互联网金融外滩峰会上所做的主题演讲，由SFI翻译整理，未经作者审核，转载请注明出处。
近期Fintech主题文章精选：
万向控股肖风：区块链投资价值集中在数据层、通用协议层和商业应用层