万天千本103《我们最后的发明：人工智能及人类时代的终结》
第一部分 此书情境
【主要内容】人工智能帮你选择买什么书、看什么电影，甚至和谁约会！它把"智慧”放进你的智能手机里，很快它就将驾驶你的汽车了。它掌控着华尔街大部分的交易的命脉，控制着重要的资源的分配，比如水资源和交通基础设施等。但是，人工智能也可能威胁我们的生存。《我们最后的发明：人工智能与人类时代的终结》探讨了一味追求先进的人工智能技术可能带来的危险。目前为止，人类的智慧还是独一无二的，然而我们能够和大大超越人类智能的AI共存吗？或者说，它们会允许我们与其共存吗？
人工智能的发展如果失控，会导致的严重后果。人工智能是一把双刃剑，类似核能的利用，控制的好会有利于人类文明的进步，倘若失控将会后果严重到人类自我毁灭的地步。作者把人工智能说成是“我们最后的发明”，并不仅仅是为了“危言耸听”，他希望相关政府、组织为了我们共同的唯一的家园，能够未雨绸缪，防患于未然。
【作者介绍】詹姆斯·巴拉特（James Barrat），科普及解密类纪录片导演，20多年来一直关注人工智能领域的进展。多次为国家地理、探索频道、PBS等供稿或制作影片。曾采访过科幻大师阿瑟·克拉克（Arthur Clarke）、未来学家雷·库兹韦尔（Ray Kurzweil）、机器人制造专家罗德尼·布鲁克斯（Rodney Brooks）等人。
【出版时间】电子工业出版社2016年8月第1版，2018年6月第2次印刷。
第二部分 阅读情境
【读书插曲】
※2019年11月05日，在阅读马丁·福特（Martin Ford）的《机器人时代》时看到，在2013年出版的《我们最后的发明：人工智能及人类时代的终结》一书中，詹姆斯·巴拉特描述了他称为“忙孩子的情境”。当即下单购买，成为了第103本书。
※小编2017年3月17日启动的“每日读书半小时－－读百本书”活动2019年10月27日已经完成《千天百本：1000天，读的100本书》。准备继续下去，“万天千本”！完成了第103本，加油！
※最近看了几本科技的书，《数学之美》、《浪潮之巅》（上）、《浪潮之巅》（下）、《技术的本质》、《黑客与画家》、《人月神话》、《人件》、《超级数字天才》、《机器人时代》，还有这本《我们最后的发明：人工智能及人类时代的终结》。感觉短期内有看够的感觉，那就收收！看几本金融类的书吧，总之不能离“金融科技”的主题太远。因此《中国经济的定力》入选第104本书。
【阅读时间】2019年11月15日至11月17日。
【之前阅读】
提示：更多书目详见“王占祥骆驼之旅”微信公众号的“小编备忘”中的“阅读书目”栏目。
第三部分 精彩书摘
※三种类型的人工智能，一种是弱AI（Artificial Intelligence）或窄AI，即在某一垂直领域能力出众的AI，它可以根据你之前的选择推荐你可能喜欢的商品，或者能够在问答游戏或者棋类游戏中战无不胜。第二种AI，是与人类智力水平相当的通用人工智能，即AGI（Artificial general intelligence）。这种人工智能尚不存在。第三种即超级人工智能，ASI（artificial super intelligence），它比人类聪明上千倍甚至上万倍。
※我在新近召开的一轮AGI大会上，对大约200名计算机科学家做了个非正式的调查。我问与会者什么时候能实现通用人工智能AGI，并只给了他们4个选择：2030年、2050年、2100年，或者永远无法实现。结果是：42%的预期AGI将在2030年实现；25%选2050年；20%选2100年；2%选永远无法实现。
※作者设想了一套名为“忙碌小孩”的人工智能（AI），他在一台以两倍于人类大脑的速度运行的超级计算机上改进着自己的智能。他正在重写自身程序，尤其是涉及运算底层结构的部分，以便提高自己的学习、问题解决和决策资质。与此同时，他还调试代码，查找并修复错误，对照IQ测试表检验自己的智商。每次重写只需几分钟。他的智能顺着一条陡峭向上的曲线呈指数倍增长。每次重写迭代后，他的智能都能提高3%，他很忙碌。很快，它变得10倍聪明了，接着又达到了100倍聪明。短短两天内，他变得比任何人类都聪明1000倍，而且还在进步。--人类创造出了比自己更智能的东西：超级人工智能ASI。
※詹姆斯·巴拉特对ASI的态度比较悲观，认为超级人工智能会给人类带来无法预料的灾难。因为ASI具有高速的自我改善、自我复制的功能。一旦到达了某个奇点，ASI的进化会脱离人的控制，发展出类似人类生物动力的四种主要动力：效率、自我保护、资源获取和创造力。ASI会编写程序让自己越来越智能，当人类要切断它的电源时，它甚至会造出多个副本保护自己。
※艾萨克·阿西莫夫（Isaac Asimov）的机器人三定律。在1950年末出版的经典科幻小说集《我，机器人》收录的短篇小说《绕圈跑》里，作者介绍了自己的机器人三定律。它们融合在机器人“正电子”大脑的补缀网络里：
第零定律：机器人必须保护人类的整体利益不受伤害。
第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管，除非这违反了机器人学第零定律。
第二定律：机器人必须服从人给予它的命令，当该命令与第零定律或者第一定律冲突时例外。
第三定律：机器人在不违反第零、第一、第二定律的情况下要尽可能保护自己的生存。
※人类生物动力的4种主要动力：效率、自我保护、资源获取和创造力。
※人类掌握飞行，不是靠对鸟类的翅膀进行逆向工程。人靠的是观察鸟类，进行实验，而后推导出飞行的原理，再之后出现了相应的发明。认知科学就是大脑的“飞行原理”。
※莫拉维克悖论。
莫拉维克悖论是由人工智能和机器人学者所发现的一个和常识相佐的现象。和传统假设不同，人类所独有的高阶智慧能力只需要非常少的计算能力，例如推理，但是无意识的技能和直觉却需要极大的运算能力。这个理念是由汉斯·莫拉维克、布鲁克斯、马文·闵斯基等人于1980年代所阐释。如莫拉维克所写：“要让电脑如成人般地下棋是相对容易的，但是要让电脑有如一岁小孩般的感知和行动能力却是相当困难甚至是不可能的。”
※咖啡先生测试。
苹果联合创始人史蒂夫·沃兹尼亚克曾为图灵测试（它恰好表明了简单任务的复杂性）提出过一个“容易”的替代方法。沃兹尼亚克说，如果机器人能走进你家，找到咖啡机和耗材，为我们做上一杯咖啡，就应该认为它是智能的。你可以叫它“咖啡先生测试”。但它恐怕比图灵测试更难，因为这涉及到了推理、物理、机器视觉、访问庞大的知识数据库、精确操纵机器人执行体，构建通用机器人身躯等多方面的先进AI。
第四部分 延伸阅读
※希波克拉底誓言。
希波克拉底（约前460--前377），他建立了一种健康和疾病的平衡学说。据说现代西方的医学科学体系就是从他开始。
希波克拉底最为让人纪念的不是上述医学，而是他留下的《希波克拉底誓言》。这个誓言总共只有五百多个字（按中文计），但是产生的影响却非常深远。几乎所有学医学的学生，入学的第一课就要学《希波克拉底誓言》，而且要求正式宣誓，可以说医学界的人没有不知道希波克拉底和《希波克拉底誓言》的。
希波克拉底认为，人类正如宇宙中的其他部分一样，是由四种元素--土、气、水、火组成的，这四种元素和人体中的四种液体（黑胆汁、黄胆汁、血液和粘液）相对应。这四种液体处于平衡时，人就是健康的；失衡时，人就会得病。这种理论几乎一直延续到19世纪。
简短而洗炼的的誓言，向世人公示了四条戒律：对知识传授者心存感激；为服务对象谋利益，做自己有能力做的事；绝不利用职业便利做缺德乃至违法的事情；严格保守秘密，即尊重个人隐私、谨护商业秘密。
※弗兰肯斯坦之脸。
《弗兰肯斯坦》（全名是《弗兰肯斯坦--现代普罗米修斯的故事》，其它译名有《科学怪人》、《人造人的故事》等）是英国作家玛丽·雪莱在1818年创作的长篇小说。
该作讲述小说主角弗兰肯斯坦是个热衷于生命起源的生物学家，他怀着犯罪心理频繁出没于藏尸间，尝试用不同尸体的各个部分拼凑成一个巨大人体。当这个怪物终于获得生命睁开眼睛时，弗兰肯斯坦被他的狰狞面目吓得弃他而逃，他却紧追不舍地向弗兰肯斯坦索要女伴、温暖和友情；接踵而至的更是一系列诡异的悬疑和命案。
该作被认为是世界第一部真正意义上的科幻小说。
玛丽·雪莱通过弗兰肯斯坦的悲剧，对人类在自然界中的地位，以及应该如何拿握和使用科学技术，做出了自己的解释：人类在自然界面前应该保持一种敬畏，保持一种有限性，而不能无限制地追求对自然的认识和征服。如果人类盲目地试图驾驭或凌驾于自然之上，而对自己的行为疏于理性的抑或伦理方面的周全考虑，不可预测的可怕后果将难以避免。
弗兰肯斯坦故事的寓意是：如果为了领教大自然变幻莫测的力量，冲动行事，必将付出惨重代价。
※布莱奇利公园
曾经是二战期间的密码破译中心（别名X站），在这里，一群天才数学家组成的特别行动小组破解希特勒和他的高级统帅部使用的德国英格码和其他更复杂的代码。战争期间，在布莱切利公园，许多精巧的辅助设备和机器都被开发出来应用于密码的破解，其中有一件就是世界上第一台计算机--巨型计算机。
包括阿兰·图灵，1939年9月4日，就在张伯伦向德国宣战的第二天，图灵离开了剑桥，来到离布莱奇利公园五公里的雪纳利布鲁克恩德〔Shenley Brook End〕居住。他每天骑自行车到布莱奇利公园上班。因为患有对花粉过敏的鼻炎，图灵就常常戴个防毒面具骑车上班。
一开始在布莱奇利公园工作的只有大约二百人，到了五年后战争结束时，城堡和小木屋中已经多达七千人。
第二次世界大战后，公园内所有的踪迹都被毁灭了。这成为了布莱切利公园的一种保密文化，没有人讨论过一句关于开始到20世纪70年代中期的事情。许多在那工作的人也都不会轻易谈论这件事。在几千名原来的工作人员中，有一些成员得以继续为军方新的密码分析机构工作，但是大多数人都被遣散，转回了原来的平民身份。他们宣誓对在布莱奇利公园的经历保守秘密。
20世纪70年代左右，原布莱奇利公园负责Ultra情报分配工作的温特伯坦姆〔F.W.Winterbotham〕上校向英国政府写信，要求将这些秘密公之于众，因为此时世界上已经没有哪一个政府使用ENIGMA加密了，所以也已经完全没有必要再对破译ENIGMA一事保密。
1974年夏，温特伯坦姆写的《超级机密〔The Ultra Secret〕》一书出版，使外界广泛知道了二战中默默工作的密码分析专家的丰功伟绩。原布莱奇利公园的工作人员因此知道他们不用再为自己在二战中的经历保守秘密了，他们的贡献也为世人所称赞。
在1999、2000和2001年，在布莱奇利公园都举行“波兰日”的纪念活动以纪念波兰数学家的贡献。
2001年7月，基金会在布莱奇利公园安放了一块基石，上面刻着丘吉尔的名言：“在人类历史上，从未有如此多的人对如此少的人欠得如此多。”这当然是为了纪念所有在破译ENIGMA的行动中做出贡献的人们。
※阿西洛马准则。
阿西洛马人工智能23条原则由“生命未来研究所”牵头制定出，旨在确保人类在新技术出现时能顺利规避其潜在的风险。其突出核心成员有Stephen Hawking和Elon Musk。这个组织专注于由新技术和问题构成的潜在威胁，如人工智能、生物技术、核武器和气候变化等。
科研问题
1)研究目的：人工智能研究的目标，应该是创造有益(于人类)而不是不受(人类)控制的智能。
2)研究经费：投资人工智能应该有部份经费用于研究如何确保有益地使用人工智能，包括计算机科学、经济学、法律、伦理以及社会研究中的棘手问题，比如：
如何使未来的人工智能系统高度健全(“鲁棒性”)，让系统按我们的要求运行，而不会发生故障或遭黑客入侵?如何通过自动化提升我们的繁荣程度，同时维持人类的资源和意志?如何改进法制体系使其更公平和高效，能够跟得上人工智能的发展速度，并且能够控制人工智能带来的风险?人工智能应该归属于什么样的价值体系?它该具有何种法律和伦理地位?
3)科学与政策的联系：在人工智能研究者和政策制定者之间应该有建设性的、有益的交流。
4)科研文化：在人工智能研究者和开发者中应该培养一种合作、信任与透明的人文文化。
5)避免竞争：人工智能系统开发团队之间应该积极合作，以避免安全标准上的有机可乘。
伦理和价值
6)安全性：人工智能系统在它们整个运行过程中应该是安全和可靠的，而且其可应用性的和可行性应当接受验证。
7)故障透明性：如果一个人工智能系统造成了损害，那么造成损害的原因要能被确定。
8)司法透明性：任何自动系统参与的司法判决都应提供令人满意的司法解释以被相关领域的专家接受。
9)责任：高级人工智能系统的设计者和建造者，是人工智能使用、误用和行为所产生的道德影响的参与者，有责任和机会去塑造那些道德影响。
10)价值归属：高度自主的人工智能系统的设计，应该确保它们的目标和行为在整个运行中与人类的价值观相一致。
11)人类价值观：人工智能系统应该被设计和操作，以使其和人类尊严、权力、自由和文化多样性的理想相一致。
12)个人隐私：在给予人工智能系统以分析和使用数据的能力时，人们应该拥有权力去访问、管理和控制他们产生的数据。
13)自由和隐私：人工智能在个人数据上的应用不能充许无理由地剥夺人们真实的或人们能感受到的自由。
14)分享利益：人工智能科技应该惠及和服务尽可能多的人。
15)共同繁荣：由人工智能创造的经济繁荣应该被广泛地分享，惠及全人类。
16)人类控制：人类应该来选择如何和决定是否让人工智能系统去完成人类选择的目标。
17)非颠覆：高级人工智能被授予的权力应该尊重和改进健康的社会所依赖的社会和公民秩序，而不是颠覆。
18)人工智能军备竞赛：致命的自动化武器的装备竞赛应该被避免。
更长期的问题
19)能力警惕：我们应该避免关于未来人工智能能力上限的过高假设，但这一点还没有达成共识。
20)重要性：高级人工智能能够代表地球生命历史的一个深刻变化，人类应该有相应的关切和资源来进行计划和管理。
21)风险：人工智能系统造成的风险，特别是灾难性的或有关人类存亡的风险，必须有针对性地计划和努力减轻可预见的冲击。
22)递归的自我提升：被设计成可以迅速提升质量和数量的方式进行递归自我升级或自我复制人工智能系统，必须受制于严格的安全和控制标准。
23)公共利益：超级智能的开发是为了服务广泛认可的伦理观念，并且是为了全人类的利益而不是一个国家和组织的利益。
注：本文将归档在本公众号的“经济领域－读书健身－阅读书目”栏目。
行万里路，读万卷书
健康的体魄，健康的灵魂
生命在于运动，境界在于读书
每日步行一万步，每日读书半小时