我们是否生活在一个机器创造的世界里？
原文来自《华盛顿邮报》
翻译：Bella
编辑：Yikai
我们的技术真在掌控之中吗？
牛津大学人类未来研究院院长Nick Bostrom是一个消瘦、轻声细语的瑞典人，他也是世界上最神经兮兮的哲学家。在人们将人工智能称为脱缰野马、杀手机器人以及科技毁灭日的各种担忧中，Bostrom勾勒出了最极端的场景。在他看来，人类的灭绝可能仅仅是一个开始。
Bostrom最喜欢的末日假说是关于一个制作回形针的机器人（尽管许多普通机器人都可以做到）。这个机器人不断进化得愈发聪明和强大，但却一直没有发展出人类的价值观。它达到了“超级智能”（superintelligence），开始把各种生活中的物品转换成回形针。最后，它决定把世界上所有东西 —— 包括人类（！！！) —— 变成回形针。
然后，故事就上升到了星际的层面。
“人类可能发展出一个超级智能，它以制造出尽可能多的回形针为唯一目标，然后这些回形针泡沫就开始在宇宙里扩散。”去年，Bostrom告诉一个在Santa Fe的观众。
他继续轻描淡写的补充道，“我觉得那将会是一个无趣的未来。”
作为业界权威，这位42岁的哲学家看好“超级智能”电脑的产生，但是前提是这样的电脑要在严格的监控下被生产，并且要保证这些机器人不会逃离人类的掌控并对人类造成威胁。（Tom Pilston，华盛顿邮报）
Bostrom那些对于人工智能可能导致的意想不到的后果，以及出现潜在的恶意机器人等的深切担忧已经成为主流思潮。当今社会，你不表示一下对人工智能的忧虑都不好意思参加科技大会。这些忧虑盘旋在各种科技大会的上空，并伴随着1950年代好莱坞飞碟式的尖叫和哀叹。
人们会告诉你就连史蒂芬·霍金和比尔·盖茨都对此感到担忧，而埃隆·马斯克已经投资了1000万美金来研究如何让人工智能处于人类的掌控之下。这些都不是谣言。
这个话题盛行的原因和媒体脱不开关系。机器人远远还没有到占领主权的边界，而如今这话题充斥着臆想和歇斯底里。
然而这些讨论也反映了一个事实：机器智能已经融入了我们的日常生活，成为了不可或缺的一部分。电脑可以操控飞机，并即将也能操控汽车。电脑算法可以预测我们的需求并决定我们将看到什么类型的广告。无需人力，机器就可以产生一个个新闻故事。机器还可以在茫茫人海中准确地锁定你的脸。
新科技——包括遗传工程和纳米工程——正在互相碰撞与融合。我们不知道这是如何发生的，但世界上许多思想家十分担忧潜在的危险，并反思我们是否完全掌控着我们的发明。
“一个终极智能的机器人可以设计出更好的机器人；所以毋庸置疑，一场‘ 智力爆炸’将会紧接着发生，而人类的智力将会被远远地甩在后面。”
——I.J. GOOD，英国数学家和密码破译家，1965
奇点
（小线注：在宇宙起源研究中，最初的大爆炸一瞬间前的那一点称之为“Singularity”，也就是“奇点”。）
当科幻小说先驱艾萨克·阿西莫夫在1940年代开始写关于机器人的小说时，他已经预料到了这些问题。他为机器人制定了规则，而第一条便是：“机器人不可以伤害人类，或者通过不作为而使人类受到伤害。”
（小线注：艾萨克·阿西莫夫，美国著名科幻小说家、科普作家、文学评论家，美国科幻小说黄金时代的代表人物之一，其作品中以《基地系列》、《》和《机器人系列》三大系列被誉为“科幻圣经。）
直到如今，人们还在讨论阿西莫夫的这些规则，但他们更多地讨论的是被称作“奇点”的概念。这个概念产生于1965年——当英国数学家和破译家I.J. Good写道“一个终极智能的机器人可以设计出更好的机器人；所以毋庸置疑，一场“智力爆炸’将会紧接着发生，而人类的智力将会被远远地甩在后面。"
1993年,科幻小说作家Vernor Vinge用术语“奇点”来描述这样的时刻。发明家和作家Ray Kurzweil 非常赞同这个想法，并写了一系列预测人工智能机器时代的书。
谷歌现任技术总监Kurzweil 十分乐意拥抱这样的未来。他可能是最出名的“科技乌托邦主义者”（techno-utopians）中的一个了，因为他相信科技的进步最终会导致人类和机器智力的融合，我们都将成为“超人”。
（小线注：微软创始人曾经称他是“在预测人工智能上最厉害的人”。库兹韦尔目前拥有19个荣誉博士学位。他曾发明了盲人阅读机、音乐合成器和语音识别系统。为此他获得多许奖项：狄克森奖、卡耐基梅隆科学奖。）
这些预测是否真的会发生，正是人们激烈辩论的主题。Bostrom支持这个领域的研究，但同时担心足够的安全保障还未就位。
“你可以想象一下，” Bostrom说道，“如果人类工程师将机器人程序化为不得伤害人类——就像阿西莫夫的机器人法则第一条一样。但是机器人也有可能决定，最好的遵从这条法则的方式就是防止任何人类的出生。”
Bostrom还补充道，“或者你可以想象，超智能机器被设定为‘尽一切努力让人类微笑’。然后机器人可能通过在我们面部肌肉植入电子芯片来让我们保持微笑。
Bostrom并不是说这些一定会发生。这些只是一些他脑海里发生的假设。他的总体想法是，在过去的几百年里，我们看到了人口和经济的惊人变化。在他的观点里，我们在现代的存在是反常的——这种反常基本是由科技引起的。我们的科技突然吞没了大自然的限制。我们现在说了算，或者说目前看起来是这样的。
但要是科技反噬我们一口怎么办？
“未来将由我们塑造。我觉得我们正在进行一场非赢不可的比赛，一场较量正在科技日益增长的力量和人类不断积累的掌控科技的智慧之间展开。”
——Max Tegmark，麻省理工物理学家和未来生活研究所合伙创始人
‘未来将由我们塑造’
他是讨论的“幕后主使”—— 这个人便是Max Tegmark，一位就任于麻省理工物理学院的魅力十足的48岁教授。他同时也是一个所谓“未来生活研究所”的联合创始人，而这个研究所一直在依靠埃隆·马斯克的资金做关于如何让人工智能更加安全的研究。
Tegmark称得上是个“物理激进分子”。他是那种相信有另外一个宇宙存在的人，而且他脑海里的另外一个宇宙，不仅仅光速和重力是不一样的，就连关于现实的数学基本定律都是不同的。Tegmark和Bostrom形成了一个智力联盟。在Tegmark近作《我们的数学宇宙：我对现实最终本质的探索》（ ）中，他对和Bostrom在2005年加利福尼亚的会议上的相遇评价如下：
“欢饮几杯好酒后，我们的谈话转向了关于末日情景的讨论。大型强子（参与强相互作用的基本粒子）对撞机是否可以创造出一个能吞噬掉地球的小型黑洞？它是否能创造出’ 奇异夸克团’（strangelet），催化地球转变成奇异夸克物质？”
在严肃地对待“什么坏事会发生”这样的问题之外，Tegmark和Bostrom也对各种乐观的假设津津乐道。他们认为，也许地球是茫茫宇宙中唯一一个养育了智慧生物的星球。如果我们没有被失控的科技消灭的话，我们可以把这一惊人的智力成果散布到星河之中。
“未来将由我们塑造。我觉得我们正在进行一场非赢不可的比赛，一场较量正在科技日益增长的力量和人类不断积累的掌控科技的智慧之间展开。现在看来，几乎所有的资源都被逐渐增长的科技力量吸收了。” Tegmark说。
麻省理工的宇宙学家Tegmark相信人工智能可以把人类带向天堂，同时也可以把人类拖入地狱。他和其他科学家、思想家成立了“未来生命研究所”，投入数百万美金到关于人工智能安全的研究上。Tegmark同时也反对自动武器装置的发展。（Josh Reynolds，华盛顿邮报）
2014年4月，33人聚集在Tegmark家中讨论科技带来的生存威胁。他们决定一起成立未来生活研究所，该研究所的成员并不会得到薪水。Tegmark已经说服了不少科学、科技和娱乐界的世界名人参与这个事业。Skype的创始人Jaan Tallinn是其联合创始人，演员Morgan Freeman和Alan Alda加入了理事会。
Tegmark发表了一份关于人工智能潜在危险的专栏，邀集了三个著名的联合作者——诺贝尔奖的获得者物理学家Frank Wilczek、人工智能研究家Stuart Russell，以及在科学界可谓独占鳌头的史蒂芬·霍金。Tegmark知道，这份专栏版将成为一份来自物理学家的庄严宣告。
这份在赫芬顿邮报和英国独立报上发表的专栏以简洁轻松的文笔介绍了奇点的概念，并不无忧虑地概括道，“现在的专家并没有认真地对待失控的人工智能可能带来的威胁，人工智能将会是人类遇到的最好，或者最坏的事情。”
一个在线科学报网站 (io9) 报道：“史蒂芬.霍金表示人工智能可能成为人类历史上最糟糕的错误。”
而美国CNBC则报道：“霍金：人工智能可能终结人类。”
所有人的注意力都被聚焦了。
Tegmark的下一步棋便是举行一个非公开会议，召集有名的科学家与思想家讨论人工智能。今年1月，波士顿地区变成冰雪之城之际，大约70名科学家和学者在他的召集下，在波多黎各聚集起来，讨论人工智能带来的生存威胁。他们以1975年在加州阿西洛玛举行的为基因拼接提供新的安全监控的会议为榜样，希望可以取得一个有效的成果。
SpaceX和特斯拉的创始人马斯克也加入了波多黎各的组织。在会议的最后一晚,他许诺投入一千万美金用于研究如何降低人工智能的威胁。
“我们正在用人工智能召唤着魔鬼。”
马斯克早些时候说过的这句话曾让推特陷入恐慌。
接下来的几个月中， 300个团队送来了关于如何降低人工智能威胁的建议。Tegmark表示研究所已经发出了总计七百万美金的37个资助拨款。
“我们现在每天致力做的就是不断生产会犯错误的超级愚蠢的实体。”
——BORIS KATZ, 麻省理工人工智能研究者
人类 vs 机器
现实是最好的证据。人工智能研究已超过半个世纪之久，但却还没产生出任何和有意识意念的机器人搭得上关系的东西。我们依然掌控着我们的技术，我们可以直接拔掉电源插头。
Tegmark 办公室所在的瓦萨街有着各种机器人的麻省理工计算机科学和人工智能实验室。实验室的负责人Daniela Rus 刚刚从丰田的赞助中获得了两千五百万美金来发明一辆永远不会发生碰撞事故的汽车。
她是否担心奇点的问题呢？
“这种问题不太可能发生，”Rus说，“它并不在我考虑的事情里面。”
除了少数的个例以外，大部分的全职人工智能研究者认为Bostrom - Tegmark的担忧是不成熟的。有个十分相似的担忧就是火星上的人口负荷过重。
Rus指出，机器人比人类更擅长处理数字和提起重物，但人类依然在精细灵敏的动作上有着绝对优势，更不用提创造力和抽象性思维了。
“我们在人工智能方面的进步不如人们所想象的稳定，而且这些机器离达到我们的技能还有十万八千里的距离。”她说道，“对于人们来说小菜一碟的事情——比如收拾晚餐残羹，把盘子装到洗碗机里，清理房子，对于机器人来说都难如登天。”
对于自动驾驶汽车，Rus指出一点：它们并不能想去哪就去哪。它们需要一张精确的地图和可以预料的环境。如果是华盛顿特区的Dupont Circle的话，它们肯定束手无策。
她说，华盛顿的Dupont Circle中，车行道和人行道根据机器无法理解的指示交错在一起。自动驾驶汽车在茫茫车海中“挣扎着”，另外，下雨和下雪也会成为问题。所以，很难想象机器人会如何理解其他司机和马路警察的手势。
“太多事情同时发生了，”Rus说，“在拥挤的地方，我们没有正确的感应器和算法去迅速地分析发生了什么并作出回应。”
能力过载
科技在未来会发生什么，谁也看不清。就连地球上最聪明的人们都无法做出预测。比方说，很多现代的智者都没有预料到电脑会变小，而不是变大。
在寻求一样关于未来该担心的事情的人们可以考虑一下超级智能的反面——超级愚蠢（superstupidity）。
在这个日益越科技化的社会里，我们依赖于可能发生无法预测的失败的复杂系统。深水油井可能喷出并需要数月来封存，原子能反应器可能会熔毁，火箭可能爆炸。智能机器会以什么样的方式失败——而且会造成什么样的后果呢？
通常没有人可以知道这些系统在每一个瞬间是怎么运作的。如果自主性被加入，一切可能会迅速地偏离轨道并导致灾难。
超智能的时代还没有到来，但聪明的有互动性的机器人已经落地了。麻省理工的机器人学家Cynthia Breazeal是一个名叫Jibo的社交机器人背后的“智力担当”，这机器人被装入人工智能软件和感应系统，可以和多人进行互动。Breazeal表示Jibo将在2016年初上市。（Matthew Cavanaugh，华盛顿邮报）
这就像股票市场在2010年发生的“闪电崩盘”。当时，在一定程度上因为自动超频交易程序，道琼斯工业指数几分钟内下跌了将近1000个点然后才反弹。
“我们现在每天致力做的就是不断生产会犯错误的超级愚蠢实体。”麻省理工另一位人工智能研究人员Boris Katz说道。
“机器十分危险是因为我们赋予它们太多的能力了，并且是响应感官输入的能力。但有关的规则还没有发展成熟，所以有时这些机器还会发生失误。”
“但不是因为这些机器想要杀掉你。”
Marvin Minsky可谓是在人工智能和麻省理工教职工中一个活着的传奇（小线注：可惜Minsky教授已在前不久逝世）。已经88岁的他，在1950年代人工智能领域的建成中贡献了不少力量。是他和他的同代人，为我们铺下了通往智能机器时代的路。Minsky在距离学校不远的家中接受了采访。当被问道智能机器带来的危险时，一丝顽童般的笑容在他脸上闪现。
“我觉得你可以写一本关于他们怎么拯救我们的书。”他说，“这完全依赖于发生的是什么危险。”
取缔自主式武器
关于人工智能的讨论预计在很长一顿时间内还会保留在猜测与不确定之中。在理论上来讲，就像赫芬顿邮报上的专栏说的，机器智能是没有理论上的限制的。
“没有物理上的定律会阻碍粒子排列成一种能比人脑中粒子排列要更先进的组合。”
但是学术和科学界都相信人工智能并不是迫在眉睫的危机。Tegmark 和他在未来生活研究所的同事决定在这个夏天把注意力转向一个相关但是更紧急的话题：自主式武器带来的威胁。
Tegmark 和人工智能专家Stuart Russell 在一封呼吁严禁这种武器的公开信上组成了统一战线。他们又一次让霍金在上面签了名。同时签名的还有马斯克, Bostrom，和其他近一万四千名科学家和工程师。在2015年7月28在布宜诺斯艾利斯的人工智能会议上，他们正式发布了这封信。
Russel 说他只花了五分钟就在网上搜索出一个很小的机器人——也就是微型机器人—— 是如何用聚能射孔弹在人的脑袋上开个洞。他说，一个微型来福可以“把他们的眼睛射出来”。
“你可以用一个大型运输船倾倒出数以百万计的小型飞行器。就算它们的大小是你可以摆脱的最小，即昆虫大小，人们依然有可能被杀死。” Russell说道。
“实际上，我觉得如果机器无法获得超智能，这将是一个巨大的悲剧，并成为地球上智能文明的一个失败典型。”
——哲学家Nick Bostrom
解锁更多可能性
Nick Bostrom 于Santa Fe 一所新墨西哥聋哑人学校举行了讲座之后，参加了在一个领先的研究型院校举行的签售会。他的《超级智能：路线、危机与策略》（）是一本思路十分严谨的书。
站在院子边的Bostrom 在派对客人的一小簇人中侃侃而谈，继而他坐下并接受了一场将近一小时的采访。这位42岁的教授一直紧紧扣着他的主题，并且担心不懂学院派哲学的人是否能理解他的想法。他有时还为一只小虫入侵他玻璃酒杯的可能性而分神。
当被问到关于书的哪一部分是他希望可以重来，他说他想要强调他是支持人工智能的诞生的。不出意料的是，很多读者都忽略了这点。
“实际上，我觉得如果机器无法获得超智能，这将是一个巨大的悲剧，并成为地球上智能文明的一个失败典型。”
在他看来，我们的智力能让我们到达银河系——甚至是宇宙。就像Tegmark一样，Bostrom 明白在万物之中，人类的智力只占有一小方地盘。地球只是环绕着一个和银河系中其他无数恒星一样的旋臂旋转的石头罢了。而且有至少数百亿的银河系在茫茫宇宙中旋转。
Bostrom说：“人工智能是解锁这片有着无限可能空间的科技。它让我们有无限的太空开拓，让我们把人的智慧上传到电脑中，允许宇宙文明在存在了数十亿年的星球智慧中产生。”
在他的理论中有一个十分有趣的想法。他认为超级文明将拥有无限计算的能力。这些超级智能机器可以做所有事情，包括创造有着可以精确模仿人类意识程序，承载着对人类历史记忆的模拟宇宙——即使这些全都是被软件制造出来的，没有真实的物理世界。
Bostrom最后竟然说，如果我们不能排除机器能仿真人类存在的可能性的话，我们可以假设我们就是活在一个这样的仿真世界中。
“我不确定——
我是否已经在一台机器中了。”
他平静地说。
本文来自《华盛顿邮报》
由线性资本原创编译