112期圆桌对话|江晓原、于海激辩林龙年、危辉：有意识的人工智能要不要造？

编saying

满城尽是“人工智能”热，欲说爱时疑伊甸蛇。

上周六下午112期文汇讲堂“人工智能”专场在听众久久不散中将“人文解读四大未知疆域系列讲座”推向高潮。3小时的对话和提问中，自然科学学者和人文学者对人工智能的前景和所能带来的双刃剑展开了激烈的思辨。人工智能未来会是什么的事实判断，和人工智能利多还是弊多的价值判断，让出梅的申城夏日热“考”。然而，这场为了人类自身存亡的思考仅仅才开始，记得这是“深蓝”这个智能计算机出现的第20个年头。

愿读完这篇激辨长文后，您至少有了自己更多的质疑，彰显了人类智慧所长。

昨日现场提问请点“阅读原文”。明日刊发危辉主讲。

7月8日、复旦大学计算机科学技术学院教授危辉（左一）与华东师范大学脑功能基因组学研究所教授林龙年（左二）、上海交通大学科学史与科学文化研究院院长江晓原（右一）、复旦大学社会发展与公共政策学院教授于海（右二、圆桌论坛主持）做客文汇讲堂人文解读“四大未知疆域”系列讲座对话圆桌论坛。

圆桌论坛

于海：刚才现场PPT对嘉宾的介绍和我的同事危老师非常精彩的演讲，让我们今天的讨论有个基础，我先问危辉一个问题，你喜欢苏轼的“不识庐山真面目，只缘身在此山中”一诗，“庐山”是人工智能还是人类智能？

何谓不是“一个筐”的人工智能？

危辉：人类智能,它的复杂度被我们严重低估了。所谓“书到用时方恨少”，要模拟它了才知道有多难。

“阿尔法狗”并非第一个挑战人类尊严者

于海：今年5月份“阿尔法狗”以3:0战胜柯洁，让许多人开始忧虑人工智能对人类尊严的冲击。人类向来是极具尊严的，但“阿尔法狗”，这个人类创造的上帝，对人类打击颇大。但是我认为，最好的智能可能还是人类的智能。人类对其自尊心打击的承受远早于人工智能。首先哥白尼，提出了“日心说”，将人类和地球从宇宙的中心地位移除；接着马克思，宣扬唯物主义，认为衣食住行这类基础性的东西才是奠定历史的基础，而非人的理性和自由的意志；再是弗洛伊德，他以为白天人类光鲜亮丽的表现都是受到道德和规范的制约，夜晚的梦才能反映真实的人性欲望，欲望即力比多是人类发展的动力。尽管现在AI是热点话题，但其实目前智能可以做的事情是很有限的。真正的人工智能不光要模拟人的智能，还要模拟道德和情感以及审美、价值和信念。所以，先要明确，当大家都在讨论人工智能时，哪些说法是不准确的，不属于人工智能范畴的？

哥白尼，提出了“日心说”（左一）、马克思，宣扬唯物主义（左二）、弗洛伊德，提出梦的解析（右一）。

对人脑技能模拟才是人工智能，机械计算并不是

危辉：有人曾揶揄“人工智能是个筐，什么都往里面装”，虽然刻薄但也说出了一些现状。通常，当解决问题需要推理、决策、理解、学习这样的一些最基本的技能时，我们才认为它是跟人工智能很相关的。日常生活中真正和人工智能相关的技术应用，目前常见的例子是指纹识别、人脸识别、机器翻译等。很多通过机械的计算和机械的记忆实现的东西，我们一般不把它看成人工智能的本质应用。例如人民大学送快递的智慧小车，核心的技术是定位导航和无线通信，属于信息科技的进步，与人工智能关联不大。坦诚而言，现有的大多数人工智能算法只是对人智能的行为层面模仿，并没有进入到脑科学的范围内。

人脑有六大功能，语言、思维、意识是人独有

于海：林老师曾说过，世界上他最好奇的事情就是人是怎么记住这纷繁复杂的世界，人类的记忆到底生存在什么部位又是怎么进行储藏，储藏后怎么巩固和提取的？我知道所有的记忆最后要落到神经元上，那林老师是如何看待类脑和人工智能的关系？

林龙年：“类脑智能”是当今世界性的热议话题，纵观21世纪的人类科技，从微观到宏观都已经获得了飞速的发展，但是对脑科学，我们还不得不说，目前人类对大脑的工作原理仍然知之甚少。现有的脑学科研究主要关注人脑的六大认知功能：感知觉、学习记忆、情绪、语言、思维和意识。前三个功能是人类和动物所共有的，但后三个一般认为是人类大脑才特有的认知功能。人类拥有独特的、完整的符号语言体系；在思维上有着严密的逻辑推理，虽然在逻辑的底层是一些“不证自明”的公理，比如：A大于B，B大于C，A就大于C；同时拥有独一无二的意识体验，这也是人类自尊心的重要来源。目前我们对大脑的解释和研究主要集中在这六大认知功能上，在每一方面都有一些进展，但仍缺乏完善的理论体系来解释大脑到底是如何处理信息的，大脑智能在本质上又是如何实现的。所以从脑科学研究进展角度来说，由于我们对大脑智能原理的认知还非常有限，因此对于类脑的研究也只能处于一个相当浅薄的层面。

于海：那人的道德属不属于您刚才所讲的脑的功能呢？

林龙年：这应该属于意识的一种延伸。

于海：看来无论是人工智能还是脑科学的研究，终极目的是要打开人脑的秘密。

中国在人工智能领域的地位

于海：众所周知，人工智能作为新兴领域，是全世界都在竞相争夺的舞台。对于中国在这一领域的全球大战中是处于领跑还是跟跑的位置，现在取得了如何的成就，未来又有何潜力，都是我们关心的问题。有人认为，中国在这一领域有优势与美国竞争，是由于中国缺乏对隐私的保护，从而使得大数据得以实现。对于这一说法，两位老师怎么看？也请谈谈中国在人工智能领域已经获得和未来可能获得的成就。

除去美国，中国比其他国家更有优势，但原创不够    

危辉：改革开放以后，国家在科研经费、实验设备的改造、学生人才培养方面的投入愈来愈多，多年的积累使得中国在国际的人工智能研究平台上表现卓越。具体应用上，比如机器翻译，目前国内有不少企业在人机对话和中文、英文的相互翻译上已经处于世界一流的位置，当然也得益于使用汉语的人群最多，在相关系统和软件的开发上也进行地风生水起。在声音、文本多媒体技术方面，例如大规模的视频监控和图像，都颇有建树。2010年上海世博会中，在场馆入场就是运用了人脸识别的技术，平均每天要对比100多万人次的人脸，没有娴熟的技术是无法应付得当的。

从学术领域的几个微观点上来看，首先，中国人在国际人工智能领域发表的论文越来越多。最明显的一个例子，去年美国要召开一个人工智能的学术性会议，时间恰巧与中国春节重叠，以至于组委会决定将会议推迟一周开，让众多中国学者得以参加。这说明中国学者的参与度直接影响了会议的质量；同时，越来越多的中国学者在世界最顶级的期刊上发表论文，也证明中国学者在人工智能领域的研究处于领先地位。就我个人而言，近四年我在国际期刊发表的论文，每年被引用的次数都超过40次；每周的下载量也超过40次，其中2015年夏季有两篇SCI论文在线发表一周内就被下载超过700次。这也反映了国外同行对中国人的观点和原创性的研究越来越感兴趣，中国现在做的研究也极具先进性和代表性。从这几个角度来看，中国在世界范围的人工智能研究上，虽于美国稍逊一筹，但对比其他国家有极大优势，毕竟我们人才梯队更大。

危辉指出中国学者在人工智能领域的研究处于领先地位。

当然，我们也有欠缺的地方，现在在原创性的研究上中国还稍欠力度。以“阿尔法狗”为例，从学术上理解，“阿尔法狗”的研究价值不是很大，但其商业价值颇高；目前国内的企业恰恰是在“阿尔法狗”研制成功之后才认识到它的重要性，才纷纷跟着成立人工智能研究部。所以我们这方面的能力要加强，对原创性的研究的应用价值要有前瞻性，少做跟风性的研究，不能国外有一个新概念出来，就蜂涌而上，当风头过后一窝蜂撤掉，更要着眼于质量而非数量。

中国要争取下一波人工智能高潮的原创性引领

林龙年：世界强国对脑科学的研究均颇为重视，美国、欧盟在2013年就已推出了相关脑计划，中国的脑计划也正在酝酿中，期待不久能尽快启动。关于国际地位问题，对我们脑科学研究来说，目前美国还是第一位的，中国是否是第二位，不好说。至于人工智能，其实这一波人工智能研究兴起的起源不在中国，在加拿大，是当初很受冷落的几位搞神经网络的学者，不断的坚持和持续研究，再加上互联网带来的大数据和电脑计算能力的提升，促使了这波以深度学习为代表的人工智能的繁荣。现在这个研究话题热门起来了，我们的跟风研究也非常快，论文数量很多，但正如刚刚危辉教授所言，我们缺乏原创性的研究。很显然，这波深度学习绝对不是人工智能发展的顶点，只是发展过渡阶段的一个台阶，关键是要对下一个台阶有前瞻性。美国国防部有个高级研究计划局（DARPA）,这个机构经常会设立一些非常前沿的项目，比如早期对互联网和GPS的研究，都是源于它的资助。它在2008年就资助了一个很有意思的项目：开发与哺乳动物大脑具有相似形态、功能和构架的认知计算机，分派给IBM、惠普和修斯研究所三家单位来研发。2011又进行了第二轮资助，一直到2014年，IBM发表论文宣布他们做出了人类历史上第一款仿脑芯片：真北芯片（TrueNorth）。所以，我觉得这种前瞻性的科技布局，对于我们国家和企业以及机构来说，是更需要优先考虑的。

林龙年认为，中国要争取下一波人工智能高潮的原创性引领。

于海：现在很多国内学者将脑研究和其他学科联系在一起，譬如北京大学的汪丁丁教授主持翻译的《神经元经济学》，你觉得神经研究是不是已经不仅关乎人工智能，而且进入到像经济学这类古老的学科领域，甚至每个学科？

林龙年：人类日常生活都是由大脑控制的，包括我们的经济活动，以及良心、道德这一切不可能脱离了大脑而存在，所以大脑任何的研究成果都与人类生活当中的各个方面有关联性。当然，并不是每个学科必须关联，关联度也有大小。

于海：最后权威的话要让江老师说，前面讲人工智能和脑科学在中国的发展，你觉得你有什么断言或者评价？

中国工业机器人独步世界，但要重视社会隐患

江晓原：我补充一点，与他俩所说相得益彰。因为人工智能范围很广，所以工业用机器人也被归入人工智能的范畴之内。据说现在中国在工业用机器人使用方面处于领头羊的位置，但在欢心鼓舞的同时，我们也要意识到大批工人失业的可能性。在社会没有做好准备工作前，就一味地鼓励这样做，会存隐患，所以我建议，这种工业用机器人，如果能在产品生产技术上更新换代，则可以考虑，若仅仅出于降低经济成本，我觉得地方政府不应该鼓励，甚至出台政策，因为结果可能得不偿失。中国现在走得快，当然也要考虑到并存的风险。

类脑是人工智能发展的方向

于海：作为学习者，我想弄清楚图灵测试和类脑两条线是否承前启后，也关心精神和身体是怎样的因果作用？这些只有从大脑工作的机理开始理解。虽然第一步的人工智能还是“很笨”，但不等于它不会进步，因此我们要讨论一下类脑有否可能，也就是它的路线图，这已经接近思想试验了。

从林老师刚才介绍的人脑的六大功能来看，人工智能科学家不会满足于只是模拟智能，从一开始的运算逻辑，到感知逻辑、认知逻辑，还要模拟情绪、意识等人类独有的功能，听说现在已经有了欲望的算法，把欲望变成程序植入机器中，以此类推还应该有情绪算法、恋爱算法、信仰算法。神经科学的进步，会促使这个模拟走到哪一步呢？

历史教训：以逻辑主义做人工智能是误区

危辉：虽然神经生物学研究者称对大脑了解很少，但我们做类脑研究的计算机专家，已经在根据对视觉研究的一些成果来改进我们的算法，即严格仿照大脑的机制来设计计算模型，对我们有很大的帮助。可能以后的计算结构和此前标准的图灵计算范式完全不一样。

这里需要澄清一个误解。在1950年代，计算机界非常推崇按照逻辑主义做人工智能，曾辉煌过20年，到1990年代还是很热的，如非单调推理等。后来发现很多复杂的问题解决不了。当时人工智能界流行一个金科定律：为何飞机成功了？那是因为我们放弃了对鸟的模拟。所以，推论出如放弃对大脑的模拟也能取得人工智能的成功。但逻辑主义流派的多年实践表明此路走不通，所以还是回过头来走模仿大脑的路线。目前来讲，这条线路还是非常高效——要研制和大脑机制很像的计算机。

深度学习和大脑机制关系不大   

这样来审视一些应用，显然存在方向性误区。目前有两个现在特别流行的技术，一个叫EEG，只是通过电极帽取了我们头皮外的信号，而对信号怎么分析和分类，用的是传统的方法，这些信号分析和模式分类技术跟大脑机制是没有深刻的关联。还有是功能磁共振技术，这种技术最后分析结果是说大脑的哪两块工作起来相关联，它就是一般的信号处理、图像的处理技术和模式识别的技术，它的时间分辨率和空间分辨率都不足以从很深的层面揭示大脑的工作关系。而且认知心理学一直都承认这一研究手段在被试选择、理论假设上的缺陷。这两种技术更准确的说是用现代信号处理和数值计算手段来分析取自于脑外部的数据，而不是类脑计算。

科学与人文学者的智慧争论，引发现场听众热烈反响。

另外是深度学习，我个人觉得它与大脑机制的相似性很牵强。三个证据，第一个是大脑皮层六层，里面神经元分两种类型而且分布不同，而在深度学习的网络里，计算单元完全不分类型；第二个我们的皮层的层数是有限的，就六层，而且最上面一层还没有神经元胞体，而深度学习动辄就上百层，大脑没有这么多层；第三，大脑是很多脑区协同工作，而且大脑工作时，有很多自上而下的反馈， 例如外膝体有70%的连接是从上面往下的投射，但是深度学习模型里根本不考虑，只是往前推，没有如此关键的反馈机制。如果一定要把深度学习放到类脑的路线图里，我觉得过不了几年会失败，因为它解释不了大脑的工作机理。

大脑尚未研究清楚，无法判断类脑能走多远   

林龙年：我觉得深度学习把网络分成多层，应该是类脑的成分，这是一个进步。我们脑科学家虽然获得了视觉相关脑区的网络层次结构图，但说实话对它的功能，还不能很完整地解释，只能给计算机界提供一些概念去使用。从脑科学角度来看，目前的类脑研究还应在起步阶段，“类脑”这个叫法也主要是人工智能界这么称呼的。

于海：你做人脑研究，你的评判有权威性。

林龙年：说实话，我现在对于大脑怎么工作也不太清楚，让我评判类脑可以走多远有点勉为其难。但是，人脑奥秘没有研究出来，是否就一定不能研究类脑呢？也许并非完全相悖，说不定在某些方面可以相互促进。

神经元研究是否会扩展到文化元和社会元

于海：危老师说，视觉识别研究很接近大脑机制，因此已经取得局部的前沿成绩。那你可以从人脸识别，做人脸美丑的识别或人品的识别吗？作为科学史家，江晓原非常关心科学的限度。对人类社会来说最高的原则是存在，所以中国文化讲“天地之大德曰生”。所有的道理必须服从人类生存的第一原则，如果人工智能最后的结果是让人类灭亡，就有悖于这个最高原则。

所以，我在想，科学家想通过神经元的研究，把人脑的智力过程看透，是否接着还该把人性看透，这样研究就会从智性走向德性走向情性，神经元研究要扩展到文化元和社会元更广的领域里，辐射到人的善恶、美丑、真伪等价值领域。

科学的双刃剑是否可以克服？

于海：尽管危辉一开始认为人工智能事实上比较“笨”，它还有待完善，但是很多人大唱赞歌。

人工智能带来便利，但也会改变心理如只想和智能人相处

我个人体会，人工智能确实会带来生活的极大便利，我们现在的国际交流要用英文讲课，我是我这个年龄段最早上社会学英语课程的老师，现在已经是复旦大学内教社会学的英文课程最多的一位了，当年曾在英文上苦下功夫，但现在我们发现这些并不那么重要，人工智能已经能既快又准地做双语翻译，哪怕有口音，因此，基本的功能是完全可以替代，这就让我们要不得不讨论一个老生常谈的话题——如何看待科学的双刃剑。

关于科学带来的是进步还是退后，教化风俗还是败坏风俗，用马克思的异化学说来分析——科学是人这个主体创造的，但反过来背叛主体，给人类带来伤害。所以这一节的标题是我们和“我们”。最近5G要出台，手机就是最好的AI的终端，它可以最贴心地为你服务，也会带来生活方式的改变，包括心理的改变。比如，我想跟一个人工智能机器人结婚，它依照我的意愿设计，性格百依百顺，长相也优于现实中的帅哥靓女。江老师曾言，人类在玩两把最危险的火，一把是生物技术，一把就是人工智能。林老师同时“玩”着，危辉把计算部分扔掉奔类脑而来，您怎么看？

如果中国人不做，其他国家科学家也会做，怎么办？

江晓原：人工智能专家们来面对公众对其危害的质疑时，经典的回答是：一个新技术发明了，导致一些旧岗位失去，但会产生一些新的岗位，以此安慰公众。但是这句话和此前同样是他们所说的“90%的岗位可以替代”这一条不是非常矛盾吗？这90%中不包括新岗位吗？只要这句话此刻有作用，就是这世界上剩10%的岗位可以从事。我认为这种事情一旦发生，人类社会就必然不可逆转地不稳定了。更不用说人工智能还可能会政府甚至毁灭人类。

林龙年：不一定，我们把他们灭了，或他们把我们灭了，应各50%的概率。

江晓原：如果这样，现在干嘛还要把它们研究出来呢？这会让双刃剑两个刃越来越不对称，而且祸害一端越来越大。过去，我们认为科学技术是无限美好、尽善尽美，但现在我们需要引入一个维度——科学技术会带来危险，因此有些技术要从源头上阻止它发展。

于海：像林老师坚持做大脑的研究，坚持去解密记忆编码之类。

江晓原：我要是国家基金委肯定不给他钱。

于海：即使他不想把这个成果用到人工机器上，只研究人是怎么记忆，怎么有情绪，怎么做道德判断呢？

江晓原：我不赞成给钱。国家基金委拿的是纳税人的钱，如果某私人大老板愿意资助他的科研，我没意见，他完全可以做，但如果我有投票权，就不赞成给他拨款。    

林龙年：我们国家不资助，美国、英国国家基金会资助本国科学家去研究，当一个国家科学技术停止发展时，其他国家不会停步，那后果只能是，将来我们这个国家就处于百年前的“落后挨打”或被灭掉的局面。

对于科学家来说，我们只是想知道这个世界未知的东西，这是深藏在人类的好奇心中，对于我们脑科学家来说，一个终极的问题是研究智能，我们利用动物的脑研究人类有无意识，按江老师的说法，显然也是恶，因为我们杀了动物，确实是！但是得到的回报是，我们获得的是脑科学的知识，反过来可以拯救脑疾病的患者。

于海：科学本身是中立的。

江晓原：我先提醒大家一句著名的西方谚语——好奇害死猫！

林龙年：好奇也造福人类。

江晓原：的确，我们不做别人就会做，这个事情有一部分的实际情形确实这样。爱因斯坦是造原子弹的“曼哈顿工程”的推动者，他写信给罗斯福总统说，纳粹德国在研究原子弹，会威胁美国这样的自由世界，由此，大家看到了目前的发展现状。但晚年他签署了宣言，要求禁止使用核武器。因为爱因斯坦认识到了，这个事情本身是恶的，只不过当时不得已做了。

前两天我在复旦大学出版社刚出了一本书《今天让科学做什么》，把科学技术分成了四种类型，一类是充满争议没有必要做的，一类是充满争议现在不得不做的，等等。人工智能属于有问题但是现在不得不做的，不得不做就是因为你说的理由。比如说美国人现在最热衷的就是军事用途的人工智能，和当年搞原子弹相类似，所以如果我们发展军事用途的人工智能，也应该以当年搞“两弹一星”的心态来搞。

江晓原认为，中国现在在工业用机器人方面走在世界前列是比较危险的情况，“高速发展总是与高风险并存。”

科学和哲学如何分手，霍金晚年为何又回归哲学？

林龙年：听起来好像你们人文科学对我们自然科学有很大的偏见。我的理解，哲学是一种思辨，在人类生产力尚很落后时，人求温饱后只能依赖大脑的思辨来理解世界，因为人脑先天赋有思辨的功能，这就是哲学的起源，也是当时人们认识世界的唯一方式。但思辨的对错靠什么来判断？难以判断，因此只能看当时有多少人相信。而科学是一种实践，随着人类生产力水平的提高，人类可以通过不断的实验来认识世界。五个苹果，你数是五个，他数也是五个，在地球上数是五个，在外太空数也是五个，科学实践的结果不会因为时空不同而有差异。因此，最早从哲学里脱离出来的是数学，后来物理学、化学、生物学、心理学，这时你会发现科学能达到的领域，哲学就逐渐退出。简单点说，哲学是思辨，科学是实践。在科学实践尚不能达到的未知领域，你永远可以去思辨，但思辨的结果总是让人觉得各有其理；而一旦可以用科学实践去验证的事情，我们只能选择相信科学实践的结果，因为科学最求的是真，它通过不断的实验来探索世界背后的真实原理。

江晓原：您是说，因为有了科学的真，所以可以把哲学逼退，科学进来以后，哲学没有资格讲？我的看法恰恰相反，霍金晚年把很多的领域都还给哲学家了，他的《大设计》里有哲学思考，他发现科学未必能提供真理，他特别强调了我们对于世界图景的描绘，我们并不能知晓外部世界的真相。因为存在着未知，好多科学家最后都会回归到哲学，对未知的事物你可以去想，而思辨的结果并无对错，也无真假。 

霍金所主张的＂依赖于图像的实在论＂，强调了人类有过多种描述外部世界的图像，今天所用的图像也不是终极的。而所有的图像在哲学上都有同等的合理性。

霍金所主张的＂依赖于图像的实在论＂，其实是将科学上升到哲学。

为何要把老虎养到吃人时才着急，而不是最初就预防？

江晓原：刚才说我是技术悲观论者，的确。请问危教授，您有一张PPT是谈到了一些危害，比如人工驾驶的汽车撞死人算谁的罪等等，你既然看到了这些危害，你觉得你们能为此做些什么呢？

危辉：说实话，现在对于这些危害，我们的认识还很浅，因此，我们会继续地把技术往前推。     

江晓原：你不觉得有问题吗？

危辉：的确有问题，以无人驾驶为例。2016年在拉斯维加斯全球消费电子展上的自动驾驶技术，汽车过十字路口要看红绿灯，理论上装一个摄像头即可，但现实场景中很多的红颜色和绿颜色与红绿灯很相似从而干扰感知，结果怎么解决的呢？到路口的时候，GPS会告诉我经纬度，我把所有的十字路口都做一个IP地址，通过GPS指引来访问交通信号灯网站，得知当前的红绿灯状态，以此决定是否开车过去，这件事情理论上听起来非常完美，但只要有人黑掉了网站，就把红绿灯的信号改变了，车就会发生事故。但对于技术设计者来说他觉得这一新手段没尝试过，那就去试试。 

江晓原：谢谢，我听到了一个很生动的回答。我曾在以前访谈中说过人工智能的危害，养虎为患是个常识，但总有借口“它还小，离吃人的时候还很远”。现在很多人有同样的逻辑。在考虑好这些问题之后再养虎，这样的逻辑不是更合理吗？那你到底是出于什么想法去做的呢？   

危辉：我们更多的考虑的是技术的挑战性或者是可行性，至于有风险，可能是未来的事情，不会首先顾及到这点。

江晓原：这是科学家的可怕。

林龙年：科学家不可怕。自古以来对人类伤害最大的是战争，战争是谁发动的？很少是科学家发动的战争。

江晓原：战争比起那些科技最后给我们带来的危险，那要是小得多，比如说刚才危教授提到的电影《终结者》，就是人工智能对人类发动的战争。

科学是中立的！双刃剑存在于使用者的立场？

于海：我们现在是在圆桌讨论，作为科学家有这样的观点，我用中性方法做出来的科学成果，它有可能危及一群更大的人群，当然有可能资产负债表上它的得多于失。江老师所说的“曼哈顿工程”，对于爱因斯坦一批科学家来说，他们觉得有责任要拯救自由世界，因此加急在希特勒之前做出研究。所以今天我们说的克隆技术，就有伦理限定，当技术可能破坏掉我们日常遵守的伦理底线时，科学家是否要考虑可能的后果，还是依然觉得科学真理高于一切？

于海认为人类的智慧里不仅包含科学上的前进，还有伦理上的思考。

林龙年：科学的双刃剑问题永远存在，毫无疑问，祸是使用它的人造成的，不是科学家造成的。我们现在对于科学危害的任何恐惧，对民族的生存没有任何帮助，你不做别人也会做，整个人类社会的发展不会因为我们害怕它而有任何的停止。

如克隆技术般立法，人工智能不触碰“意识”底线

危辉：刚才于老师讲了克隆技术已经立法，这是很好的先例。我们同样会想一件事情，人工智能是否会要和克隆技术一样有立法？去年3月15日，“阿尔法狗”击败李世石后，我听到一个小伙子和他母亲的对话，小伙子说，“它把人打败多少次，都不用奇怪，如果有一天它知道故意输棋给你时，才要担心呢！”这话很有道理，如果说我们做类脑计算，从模拟人的计算到推理到人的记忆，一旦模拟到人的意识时，就可能要刹车。有两个很好的例子，第一是电影《机械公敌》，男女主角拼命要保护一个机器人，但公司要把它毁了，因为它是唯一进化出自我意识并自己会做梦的的机器人。 第二是电影《AI（人工智能）》，主人公小男孩是人工智能，父母因为事故失去了儿子特别想念他，用号称最先进的人工智能技术复制了儿子，他除了永远长不大，和真实的孩子一模一样。但是最后他的父母死了，这个孩子依然年轻，永远不死，他沉浸在对父母无限的思念中，最后不得不把自己沉到海里求灭亡。

所以，这两个例子在告诉我们，研究人工智能是否应该有底线——不可触碰“人的意识”。

江晓原：补充一点，你刚才说那个小伙子说要是计算机知道故意输棋就很危险了，我以前在文章里谈过，真正心怀不轨的人工智能，有可能约定好一个暗中的原则，就是不要突破图灵测试，明明能通过也不能让它通过。

林龙年：我觉得有意识的机器人会是未来类脑智能研究的一个非常重要的发展大方向，各国肯定会投大量的资源去做这件事。

未来的人工智能发展必将是多学科和相关制度的协同发展

于海：我们今天在台上，看上去好像互相有点冒犯，这就是学术讨论。科学家要解决问题，他们一定非常实在，林老师作为脑科学家，说大脑真的只懂了一点点，这是严谨的态度，危老师，计算机科学高手，把计算机看成是很笨，他让我们人类有点信心，知道在计算领域中最后达到人的灵巧度和人的智慧度还有很长的路要走。但是我和江老师是哲学人文出身，我们喜欢脑洞大开，我们会关心这件事情走下去的两个限度。其一是伦理限度， 机器人如果真的有意识，具有的智能等于甚至超过人类，我们该怎么相处？其二技术限度，是否会走到这一步，需要多久？我们要把这些问题提出来，不是要去挑战科学，而是要去挑激科学，让科学边往前走，边注意伦理限度。

所以未来机器人的前进，肯定也不是科学单兵突进，它仍然需要我们人类现在创造的所有的制度，文化的、政治的、协商的制度包括我们现在国际的制度去约束和规范。如今天两位科学家所说，因为人类的智慧是几百万年甚至40亿年由生物进化过来的，这才让我们人类智慧耗电很少解决问题很多，这是大自然的杰作。恩格斯说过，“人类思维是人类进化史、地球进化史最美的一朵花。”所以我想咱们的智慧里包含不光是科学上的前进，还有伦理上的智慧和考虑。 

 （整编 李念 孙立帆）

精彩瞬间

四小时的互动里，人文学者与科学学者们达成了共识，“正在发展中的人工智能需要多学科和相关制度的共同推进，这样的科学才能造福于人”。

夏天总是用炽热来拥抱人类，现场听众也在用热情拥抱人工智能。

讲堂负责人李念总结“人文解读四大未知疆域”系列讲座，指出文汇讲堂去年走过100期后愈发主动追求一种社会责任和担当，携手学者嘉宾大家和知识听众“大家”一同，身怀国际视野和责任，以人文和科学双重思维，培育理性说理文化。

开场前危辉点评讲堂小报内容

嘉宾于海细读讲堂宣传册

在贵宾室，讲堂宾主合影。左起为林龙年、危辉、李念、江晓原、于海。

相关链接：

现场拍摄|袁婧，周文强

微信编辑|袁圣艳

wenhuijiangtang长按二维码关注我们