1月5日，在南都观察的“年度对话”上，我们邀请了五位嘉宾谈论“技术时代的爱与怕”。
科技跟每个人的关系如此深入而具体，数据的隐私，基因的权益，社会治理中安全与自由的平衡，医疗选择中优生和权利的轻重。在这些场景里，科技应该有边界吗？更重要的是，谁有权来决定边界？科技创造使我们向前发展，人文思考帮我们辨认道路。
以下为本次对话下半部分的文字整理。另有现场直播的回放，扫描二维码即可观看。
▌你在做什么：科技的伦理边界在哪里？
余盛峰 ：不管是人工智能的伦理，还是大数据的伦理、生物编辑的伦理，归结到一起都会涉及到科技伦理的问题。之前也发生了一起与人脸识别有关的案件，浙江的一位老师以“保护隐私”为由，将一家使用人脸识别系统的动物园告上了法院。不管是人脸识别案件，还是贺建奎的案件，从社会大众到国家司法，对于技术伦理的争论都越来越多。我们过去所谓的技术伦理，主要沿用的是18世纪建立的自由主义伦理，那这套伦理体系在今天是否依然站得住脚？接下来也请各位老师来谈一谈科学的伦理和法律的规范，人与技术应该怎样共生共处？ 刘 锋 ：关于科技伦理的探讨，我认为是存在困境的。因为有一些底层的问题没有解决，比如人类的进化有没有方向。假设我们的进化没有方向，而是以任意的方向来进化，那我们为什么会有一个统一的伦理？所以在进化的方向没有一个统一的明确目标的情况下，谈论如何建立统一的伦理始终会是一个悖论，非常困难。如果假设进化有统一的方向，比如拥有更多的知识，对宇宙有更强的改造能力，在这个假设中，要达到目标，第一我们要生存下去，第二我们要发展下去。以这两个条件为基准，我们才可能取得全人类的共识，从而建立一些基础标准。比如在科幻电影《2012》中，负有责任的总统会让科学家先离开，因为他们代表着人类未来发展的希望。
我们在探讨伦理的边界时，首先要先解决伦理如何制定的问题。毫无疑问，科技是帮助我们生存、发展的有利武器，但这个武器的前提也一定要确保人类的生存和发展可以持续。
吴国盛 ：太阳底下没有新鲜事，现在很多有关科技伦理的问题其实是旧的伦理和新的现实的冲突。比如中国人的伦理是从农耕社会中生长起来的，并没有被科技浸染，与西方的科技伦理有很大的差异。贺建奎案中，在事情刚发生的头两个小时，中国的官方媒体很多是表示赞扬、肯定的，认为这是中国科学发展的荣耀，但很快有科学家站出来反对，赞扬的稿子也就被撤了。可见一斑，中国人的伦理观念和现在科技发展的问题有时是不搭的，所以在讨论伦理问题之前，我们要先搞清楚我们的伦理是什么。我们都知道现代科学和技术来自西方，它们自带一套伦理，而这套伦理和我们的传统伦理是非常不一样的。当然还有一些科技发展的问题是西方的前沿领域也没有办法解决的。比如刚刚季老师说的“电车难题”，牺牲一个人还是牺牲五个人？如果一个人是爱因斯坦，而另外五个人是马上要枪毙的囚犯呢？不知道怎么办，即使是人工智能出现了也没有办法解决。虽然这个问题只是一个理想实验，但它在提醒我们人类的有限，人类再怎么做也不能达到完美。而在实践的过程中，我们要做的就是不断的反省。现在很多的高科技，包括大数据、人工智能、生物技术等带来的伦理问题实际上是两种伦理意识的冲突。我们接受了来自西方的科学技术，却不愿意接受西方科学技术背后的伦理意识，这本身就是问题。比如在西方的科学伦理中强调个人至上，个体权利不可侵犯。但在中国，大家都觉得刷脸很方便，根本不考虑隐私的问题，所以这不是技术的问题，而是我们的伦理意识中就缺乏对个人意识和个人权利的保护。现在很多的伦理冲突，主要问题还是东西方之间的伦理差异，只不过是借助高科技这件事情更尖锐地凸显出来。 余盛峰 ：大家似乎都觉得关于技术伦理的问题，还是需要回到对人类社会古老伦理难题的思考。想解决今天的伦理问题，还是需要回到经典，从古典思想家中寻找思想的资源。如果说我们要重新思考科技伦理的边界，那谁有权来决定边界呢？如今，一些互联网巨头公司是拥有话语权的，某种程度上它们也正在确立相关领域的技术伦理。公共部门也是如此，比如现在“天网系统”无处不在，那这些摄像头是否获得了我们的知情同意？再比如公安部门为了应对犯罪采集我们的基因信息，是否会侵犯我们的隐私？但普通老百姓在这个过程中似乎并没有什么话语权，我们要如何应对这些问题呢？ 季卫东 ：我们可以从发展迅速的人工智能角度去看这个问题，数据对于推进人工智能迅速成长是至关重要的，那数据要如何获得呢？我在国外使用Facebook的时候，发现它会迅速尽可能地公开化你以及你朋友的信息并向你推送周边的人，这个功能的设计和微信很不一样，我就琢磨是为什么？目前世界上只有两个国家真正称得上是数据大国，一个是美国，一个是中国。美国的宪法体制决定了国家对个人尊严和隐私保护的重视，所以它的数据和隐私在虚拟世界中是分割的、碎片化的，因此想要获取更多的数据就需要借助技术手段打破中间的壁垒，所以会出现这种尽可能地搜集数据、利用数据的功能设计。而在中国，公众的隐私观念非常薄弱，采集数据相对容易，出于方便，大家也很乐意提供自己的数据。所以从发展人工智能的角度来看，中国的这种体制是更有利的，因为它使得大数据搜集很容易，为人工智能的发展提供了充足的养料。但另一方面，当把大家的隐私都暴露出来时，社会变得更透明，也可能变得更容易受伤害。但之前我们提到当人工智能精密度越高，就越不可解释，也就越容易黑箱化。在这里，我们看到一对非常尖锐的矛盾：社会是透明化的，而算法是黑箱化的，这就很可怕了。这里根本的问题在于我们的价值取向，如果我们想推动人工智能的发展，那中国现在的体制也许是更有利的。但从维护隐私的角度看，你会看到欧盟通用数据条例中规定个人对于自己数据的使用有提出异议的权利，在没有充分理由的前提下，可以要求中断数据的使用与处理。这是一种非常尖锐的对立，我现在没有结论，我先把这个问题抛出来，因为我觉得这是未来的社会治理中非常关键的一个问题。 徐英瑾 ：其实历史上，最初的符号人工智能并不一定要和大数据结合在一起，也没有黑箱性与不可解释性之类问题。但是现在人工智能发展到深度学习阶段就不一样了。虽然说你用来训练系统的数据越多，它的学习能力就越强，但这个结果是怎么得出的，却不得而知。之前Uber的自动驾驶汽车撞死了人，却查不出它为什么没有识别成功，这些没办法解释清楚的问题就构成了很大的隐患。我认为可以探索一条不同的技术路径，比如小数据人工智能，它不需要大数据的输入。但在某些领域中它可能比现在主流的人工智能具有更强的灵活性，这样，它就能在商业应用中占有一席之地。所以我们个体能做的也许就是找到一种新的技术路径，利用技术的力量去对抗技术。 余盛峰 ：两位老师讲了两种不同的思路，一种是试图从法律的角度来规制、控制技术，另一种思路就是用技术来对抗技术。而这两种不同的思路，也已经激起了很多讨论。
回到生物伦理的问题，卡夫卡有一句名言：“生命之所以有意义,是因为它会停止。”而现在整个生物技术的发展似乎都在不断挑战人类的寿命极限，而伴随着技术的发展，我们未来的社会可能会出现新的分化，有钱人可以花钱买寿命，没有钱的人就没有办法延长寿命。人工智能的发展也带来了类似的问题，它取代了很多工作岗位，影响了很多人的就业，所以说技术的发展过程中免不了会给整个社会带来新的挑战，我们也请几位老师谈谈他们的看法。 吴国盛 ：技术和文化之间不是单向决定的，而是双向互动的。每一种文化实践的背后都有其技术手段，而每一种技术背后也有其意识形态。过去我们庸常的想法是技术是工具，由人类控制和决定。但其实不然，比如互联网技术，它背后的意识形态很明确，就是开放、互动、平等、分享。再比如电话，电话至少两个人一起使用，一个人没法通话，所以电话机技术就是一个促进交往的技术。有时候我们就是在被技术决定，比如想要乘坐火车，就得守时，本来我没有守时的习惯，但我经常需要乘坐火车，我就养成了守时的习惯。所以，使用这些技术是可以改变我们的习惯的。有时新技术的出现会导致我们的恐慌或其他类似的反应，但需要注意，这种恐慌不见得就是合理的，也不见得就是需要完全避免的。今天中国社会面临两层问题：第一个是，从西方引进的科学技术如何影响我们的传统文化和伦理体系；第二个是，中西方面对最前沿的科技发展都存在不适应的问题。在中国，有关新技术的立法是相对容易的，过去一二十年确立了很多有关高科技的立法，但取得社会共识是困难的。因为中国的立法仍主要由精英阶层决定，就像贺建奎事件的判决，主要是受到了中国一批一流生命科学家的观点的影响。而这些生物科学家大多从西方留学归来，也带回了西方生物技术背后的伦理意识。但普通老百姓根本搞不清楚这些事，也不是很明白这背后涉及的伦理矛盾。因此在中国，这些问题也会更复杂一些。 刘 锋 ：很多人都担心人工智能会不会取代自己的工作岗位，从我们的研究角度来说，对人类工作冲击最大的不是人工智能，而是人工智能加上互联网，这两个要素加在一起的复杂系统才是真正的冲击力量。比如在互联网上建立购票系统，可能导致售票员全部下岗。所以说人工智能和互联网的结合在以后确实会对我们的工作产生很大的冲击。在工业革命时期，很多手工业者失业了，他们也担心终有一天被机器替代。但总结过去的经验，我们发现很多工作被新技术取代后，更多的工作也因新技术的产生而涌现出来，而这些新出现的工作是当时的科学家、未来学家所无法想象和预测的。我们现在也能看到这样的趋势，快递行业的兴起、网红的兴起，都是我们之前想象不到的。当然这背后也涉及工作是否平等的问题，这种问题可能更多取决于我们如何利用新科技，谁离新科技更近，或者谁能更好地利用它，或许谁就可以从中获得工作的机会，获得更大的收益。 刘 伟 ：很多人误解了现阶段的人工智能。现在谈到人工智能，常说数据、算法、算力，但这些并不是人工智能的核心，而是自动化的核心。固定的输入、可编程的输出、可预知的结果，这是自动化。不确定的输入、不可编程及不可预期的输出，这是智能化，在这个基础上能够自主地趋利避害，才是真正的智能。人在决策过程中，是直觉决策加上逻辑决策，而现在的计算机全部都是逻辑决策，并没有直觉，这是我们要注意的一个问题。而且人还有一种很厉害的能力叫做反思。反思是对各种假设的复盘，在这种复盘中，我做一件事就相当于别人做一百件事。所以我们一定要用自己的脑子去琢磨人工智能的弱点，才有可能成功对抗它。 余盛峰 ：虽然现在智能机器已经发展到一个非常强的水平，但我们的直觉、想象力和情感，可能仍然是机器无法实现的一个维度。在一个新的技术时代，我们有期待也有惧怕，那么我们需要在政治、社会和经济的结构上做哪些调整来迎接这样一个新的时代？ 徐英瑾 ：不要把鸡蛋都放在一个篮子里，这是一个基本的概率学问题。在未来的数据管理中，如果少数人（无论是商业还是政府部门）控制了多数人的信息，形成信息寡头，将所有人的鸡蛋放在一个篮子里，这件事情就会非常难办。有一个好的办法是利用我们古代“虎符”的思想，君主和将军各持一半的虎符，拼在一起才能调动军队。所以我们可以想办法对数据进行拆分，使得大家必须合作行动，用这种方法对各个主体进行制衡，而这样的社会对于普通大众来说也相对安全一些。当然，想要支撑建立这样一种架构，一方面需要法律的保障，另一方面也要在技术层面上找到使其落地的可行方法。另外一点，现在的人工智能离我们期望的人工智能仍相当遥远，很关键的原因在于我们没有办法全面细致地去解构和模仿人类长期进化所形成的心智架构。虽然心理学界现在有很多相关的研究，但没有形成一个统一的人类智能活动的肖像，遑论进入算法化的阶段。但倘若能把这些事情做成，我们就可以颠覆现在所有的主流人工智能技术。最后一句话来总结：我希望用技术打败技术。 吴国盛 ：我今天主要讲的是技术和文化，也就是技术与人，因为文化代表人，二者是相互互动、促进的关系。我们身处的是一个差异比较明显的时代，因此我们有幸见证新技术如何与旧文化相互博弈、改造。改革的结果一定是新文化吸纳了新技术背后所蕴含的有关人性的东西，每一项新技术的出现，其背后都有人性的支撑，没有哪项技术从一开始就是反人性的。之所以可能会产生一些反人性的结果，是因为技术在进化的过程中经受了选择，以致于产生了一些预料不到的结果。从这个意义上来说，技术突进时代的怕是有限的，一些科幻小说和科幻电影所揭示的场景，不可能某一天突然到来，中间一定有一个过程。在这个过程之中，只要我们社会系统是健全的，能够很好地处理传统问题，那么它处理新问题的能力也不会太差。每个人都清楚自己的利害关系，所以新技术出现后，个体可以在健全的社会系统中发出自己的声音，或许是像徐老师说的那样发明新技术来遏制旧技术，又或许是像季老师说的通过法律的方式进行调节。所以，我想表达的第一点是，在技术突飞猛进的时代，不必过分地忧伤和恐惧，技术自身会相互综合和调整。
其次，高科技并不都是可怕的东西。新技术本身代表着人与人之间新的爱的方式，比如互联网时代我们可以认识更多的人，体会更多的生活方式、爱的方式和与人打交道的方式，这本身是一件好事。技术给我们的生活提供了更多可能性，而一个社会的活力程度和健康程度与社会的可能性是密切相关的。所以，如果说非要我提出一个技术时代社会发展的原则的话，就是这个技术的出现会不会遏制多样性。如果它可以促进多样性，我们就觉得这是好的，即使暂时会有一些不好的结果，问题也不大。而如果新技术的出现会使得大家变得千篇一律，那肯定是不好的。同时，当新技术出现的时候，每个人或多或少都会有所抵制，但我们每个人也会根据个人的情况来决定用不用，怎么用。比如说手机，现在多数人肯定认为虽然有坏处，可还是好处更多，所以我还是会用，但这个社会并不要求每个人必须使用手机，而是你自己权衡利弊进行选择。总结起来，我还是倾向于认为高科技创造“爱”的可能性更大，过分的“怕”是没必要的。 季卫东 ：在越来越广泛的智能网络化社会将有哪些改变呢？首先我们会发现自己整个生活被嵌入到硬性的规则体系中去了。你如果开车，一打开导航，马上就会听到“前方有监控、前方限速”等等。在越来越多的场景下，人工智能很轻易地将法律规则以一种硬性的方式强加给人，至于这是好是坏，现在也没有定论。而另一方面，所有的这些强制是由人工智能来实施的，你察觉不到强制，所以会进入一种感觉不到强制，却又无所不在强制之中的状态。其次是刚刚提到过的“算法黑箱”的问题。在维护社会秩序的时候，我们都特别强调责任，要推行问责制，但算法黑箱会导致无所问责，因为它不可解释、不可说明。那要怎么办呢？用人工智能来监督人工智能可能是人类的一个选项。还有一种比较乐观的说法，就是在智能技术和区块技术之间达成平衡，智能技术强调“合”，是数据的汇总利用；而区块技术强调“分”，注重各自的独立性。如果能在二者之间达成平衡的话，我们可能在人工智能时代探索出一条可行的道路。 刘 伟 ：刚刚提到的“分”和“合”，我们行话里叫“弥聚”，也就是“弥散、聚合”的简称。我们说的弥聚不是人工智能的弥聚，而是人和机器之间的弥聚，人做方向性的事，机器做过程性的事，也就是常说的“人机融合”。在发展越来越融合的趋势下，人会越来越技术化，技术也会越来越人性化，这是一个双向的交互。
另外我们发现，想要解决科技端的问题，最重要的是引入东方思想。东方没有哲学，只有思想。哲学讲逻辑，但东方的哲学思想是不讲逻辑的。可人的逻辑不是系统的逻辑，而是零碎的逻辑。爱因斯坦说过科学技术有两大支柱，一个是实验，一个是逻辑。现在这两个支柱千疮百孔，需要用中国的传统思想来进行改造。 刘 锋 ：在技术层面上，我们现在面临着一个非常庞大的技术系统，它对我们产生了越来越强烈的影响，但这个系统在世界范围内仍然是掌控在少数巨头组织中，比如庞大的互联网公司，它们对我们的影响某种程度上已经超过了政府对我们的影响。在我看来，未来20年左右，我们可能不会从技术的角度去解决这个问题，而是从组织结构，或者说是股权的角度去解决这个问题。这些巨头是否一直会被一个小的管理集团控制？或者说有一天这些企业会由全人类掌控，它所提供的服务会变成基础设施。我认为这是将来会发生的转变，是一个不可避免也不可逆的过程。而今天谈到的区块链技术或许可以为之后实现全人类管理的愿景提供技术支持。至于人类的未来会怎样，这是一个很大的课题。人工智能到现在也不是一个成熟的学科，它的基础理论还没有建立起来。而我们是否能确立一个人类未来统一的发展方向，这个方向又会如何影响科技的未来，也是不清楚的。
提 问 ：如果人与技术不断融合的趋势不变，那么未来人类主体性会间接消失，还是实现最纯粹的无实体的主体性？ 吴国盛 ：人类进化中并没有一以贯之的原则在支配，新技术会生成一些新的人性，只是和传统的人性会依然保持价值关联。我们身体和大脑经过几百万年的自然进化，短期内不会改变样貌，不会说鼠标就能让手退化，车轮就让双腿失去价值。我们的怕和爱都是肉身的局限和日新月异的技术之间的冲突带来的。技术如果能让你活到150岁，重要的还是幸福、舒适、和谐、美和爱这些永恒问题。 提 问 ：“不立文字，直指人心”，跳跃了文字阶段直接用图像和更丰富的感触来认知世界，会不会是一种更大的提升和跨越？而信息传播技术的发展，是不是可以创造更高维度的沟通工具？ 徐英瑾 ：在采集狩猎时代，早期智人打败尼安德特人，在于智人的发音器官恰好能够发出更多音节，音节构出更多的句法，通过空气振动这样简单的编码方式就可以向部落传达具体的作战部署。非常简单的物理符号构成的排列组合就完成了信息的传播，优势在于占用的信道小。最初的象形文字进化到现在，就是因为事无巨细的图画耗时耗力。曾经有人提出汉字也应该拉丁化，理由就是书写效率更高。同样，日常交流图像传输会占用很多信道，虽然5G技术会提高信息传播速率，但对于稳定、精准这样的要求而言，直接的语言表达性价比显然更高。德国新康德主义卡西尔说“人是概念符号的动物”，我认为这个观点不会随着技术时代的到来而改变。 提 问 ：据说到2030年，人工智能将会取代很大一部分人的工作，虽然与此同时也可以创造新的岗位，但新岗位能否足量？在技术时代，每个人都能成为人工智能的控制者吗，为防止被淘汰应掌握什么不可替代的技能？ 季卫东 ：的确，人工智能在很多领域已经替代了人类工作，而且有可能会做得更好，但相对来说人工智能更擅长的是机械化处理和计算，它在其他方面有很多局限。一是它不具备常识，难以形成必要而充分的知识体系；二是它不能真正理解语言和文化。在法律领域中，初级律师的一些工作可以交给人工智能做，但是法律也强调“五声听狱讼”，强调人情世故，计算机就无法合情合理地判断了。中国传统哲学讲天人合一，把无主体性与极端主体性短路结合在一起了。人机混合的技术以及智能网络化将可能真正实现这样的图景。似乎整个地球有40亿万张蜘蛛网存在，所有人通过互联网、人工智能，使个体主体性不断沿着网络伸延，但实际上又在网络博弈过程中失去了主体性。这其实对社会治理、法律制度设计，都提出了空前的挑战。电影《极乐空间》就提出通过人工智能建立一个理想国，但只有有钱人才能去，剩下的人就留在充满阶级斗争和杀戮的荒废地球上，我们当然希望这不要成为现实。 提 问 ：如何看待各种APP的年度大数据（比如网易云听歌数据），未来会不会有一种类似于“集体云记忆”的技术手段重构或解构个体记忆？ 刘 锋 ：这个问题可能反映的是人工智能加上互联网所形成的“云端智能”的关系。记忆也是智能一种，如果把全人类的记忆整体剥离到云端存储，人类本身会剩下什么？在过去的50年，互联网从4台计算机发展到今天连接40亿人口、数百亿设备，同时形成了庞大的云端系统，世界愈发成为一个统一体。上个世纪威尔逊就已经提出过“世界脑”的概念，当时的科学幻想今天已经有百度、谷歌在实施了。人类在未来选择判断方向、决策路径，选择合适的解决方法时，或许可以从庞大的云端集体记忆中去获取积累几千年的知识，不断的发展补充，寻找更好的答案。 刘 伟 ：这个问题触到了未来科技的一个重要发展方向——智能的命门。人的智能和智慧是从记忆开始的，记忆不仅是存储，智能界目前最大的瓶颈是机器的表征系统。“人机融合智能”就是想把两种完全不同的表征方式整合在一起，优势互补。老子说“道可道非常道，名可名非常名”。“名”就是定义、概念、命名，涉及到表征问题，也涉及到记忆问题。人的表征系统太灵活了，任何一个系统都可以和万事万物相关联，所谓“一花一世界，一树一菩提”，机器就没有这种系统整合思维。维特根斯坦在《逻辑哲学论》里面的第一句话“世界是所有事实的总体，而不是事物的总体”。事实就是联系，整个世界是由各种联系构成的，而不仅仅是单纯的物理属性。儿童心理学这门学科就是研究人从小到大是怎样来表征世界，怎样记忆和形成认知的。人的学习能够产生一种不确定范围的隐性规则和秩序。小孩学新单词会根据不同语境练习使用（可能组合搭配错误），机器只能利用固定的上下文无法变化生成。东方思想最厉害的一本书是《易经》，讲变化，其中有三个关键词：第一个词是“知几”，表示看到事物细微变化的苗头和征兆；第二个词是“趣时”，表示把握住时机和变化；第三个是“变通”，随机应变。这才是真正的智能化，机器做不到自己灵活变通，只会按照规则和概率处理问题。有人说阿尔法狗失败的那盘棋它再下也还会失败，因为机器只会无限的循环，而真正的高手是跨领域跨学科的，就是维特根斯坦说的“家族相似性”。人把大自然看成一个整体，而不仅仅是一个数学公式或物理现象。大家经常谈的“自主系统”包含了控制、期望和很多模块，人的智慧就在于把各模块整合在一起。记忆是自主的第一个模块，它不同于存储，包含单向性的选择和双向性的匹配。计算机简单的计算叫“刻舟求剑”，感知智能是“盲人摸象”，认知智能顶多是“曹冲称象”。只有人才能洞察万事万物，洞察宇宙、洞察生命，才会有“塞翁失马，焉知非福”的体悟。现在大家认为基因编辑有罪，但一旦未来人类脱离地球就需要这个技术了，“罪人”就可能变“功臣”，伦理法律会随时间发生变化。点击关键词，阅读更多文章