【大都讲坛】李修全：“人工智能的风险挑战与治理”讲座实录

B D A I L C 

 欢 迎 关 注 

荡舟 · 吴冠中 

“人工智能的风险挑战与治理”

讲座实录

主讲 / 科技部中国科技发展战略研究院研究员

国务院《新一代人工智能发展规划》起草组主要成员

李修全

整理 / 黄圆胜 李瑞 贺强玉 

开 场 环 节

汪庆华教授（主持人）

各位老师、各位同学大家晚上好。非常感谢科技部中国科技发展战略研究院研究员、国务院《新一代人工智能发展规划》起草组主要成员李修全先生，今天能够来法大分享他在人工智能这一领域的研究心得。今天讲座的主题是“人工智能的风险挑战与治理”。今天同时到场的还有清华大学法学院鲁楠副教授、科技部中国科技发展战略研究院袁立科副研究员、北京师范大学法学院马剑银副教授、中国社会科学院大学互联网法治中心执行主任刘晓春、中国政法大学刑事司法学院李小恺讲师、《文化纵横》杂志执行主编余盛峰博士、中国政法大学法学院董静姝讲师以及来自京东、美团等企业的代表担任与谈嘉宾。下面有请李修全研究员发言，大家欢迎。

主 讲 环 节

李修全研究员（主讲人）

各位老师、各位同学大家晚上好。非常感谢汪老师的邀请！很高兴今天有这样一个机会，能将自己在人工智能这一新兴领域的研究心得和学习体会和大家分享、探讨。我们知道，近几年人工智能在全球范围内加速发展，掀起了技术发展的潮流，就人工智能的发展阶段而言，目前人工智能已经在部分领域取得突破性进展，并开始向多个行业渗透和应用，未来将成为新一轮经济社会变革的核心驱动力。信息技术变革所催生的数字经济是当前全球经济发展的主要动能之一，2017年全球市值最高的十大巨头企业中有七家企业的发展模式为数字化经济模式，包括美国和微软、谷歌以及中国的腾讯和阿里巴巴。智能化时代的来临将大大拓展数字化经济发展模式的深度和广度，为经济发展带来新的广阔空间。我国对迎接智能化时代给予了高度的重视与战略定位，国务院《新一代人工智能发展规划》正是在这一背景下发布的，该规划定位为国家层面人工智能发展的中长期规划，并作为面向2030年打造我国人工智能先发优势的指导性文件。

值得注意的是，虽然人工智能的发展潜力巨大，但在人工智能进入生活造福人类的同时，仍有一系列问题有待解决。人工智能作为一种新技术，本身是中性的，它带来正面还是负面影响取决于人类如何应用它。如果缺乏规范和约束，人工智能技术就可能用于操纵公众认知、破坏商业规则，并在网络秩序、军事伦理等方面带来新的挑战和冲击。比如前不久发生的Facebook个人数据泄露和滥用事件，就是试图利用数据分析来影响和控制公众的认知和判断，从而影响其政治偏好，这有可能会破坏既有的政治伦理。也有不少互联网平台开始利用大数据智能技术，通过深挖消费者消费或者浏览记录，洞悉消费者偏好，从而利用算法“杀熟”。因为用户的消费偏好，会导致其议价能力下降，商家利用掌握的信息优势，对特定用户收取更高费用，建立起依靠个性化算法杀熟的赚钱模式。网络领域和军事领域同样面临新的挑战。比如在军事领域，2018年4月4日，有3100名的谷歌员工联名发出公开信，向谷歌的CEO Sundar Pichai 进言，要求让谷歌退出由美国国防部主导的Maven计划，反对谷歌利用人工智能解读视频图像，以提高无人机识别和打击目标的准确度。

而未来人工智能应用中的风险挑战，远不止如此。人工智能是影响面广的颠覆性技术，将向全社会各领域渗透式发展，而且其发展带有很强的不确定性，可能带来多方面的社会影响。首先人工智能的发展会导致部分行业的消失或升级换代，许多任务可能会由人工智能所完成，同时随着人工智能技术应用也会创造一大批新工作岗位，大部分人都需要学习和掌握新的技能来适应社会就业结构的调整。同时，人工智能的深度应用也可能导致冲击法律与社会伦理、侵犯个人隐私等新问题，这一系列问题将对政府管理、经济安全和社会稳定乃至全球治理产生深远的影响。人工智能对生产力的改造升级，也将带来生产关系的深刻变革，这就可能会导致不同社会群体的贫富分化逐渐加剧的局面。此外，比尔•盖茨、斯蒂芬•霍金等人也在担忧，如果人工智能发展到超级智能阶段，这时机器人或其他人工智能系统能够自我演化，并可能发展出类人的自我意识，从而对人类的主导性造成威胁。尽管目前尚处于弱人工智能阶段，如何让机器具有自我意识还没有找到任何可行的思路，但盖茨等人的警示也提醒我们需要思考人工智能拥有自我意识之后的风险。

随着人工智能技术的成熟，它们正在逐渐替代人的很多决策行为，其在伦理方面带来的新挑战也将旋踵而至。比如人工智能技术的应用，正在将一些生活中的伦理性问题在系统中规则化。如果在系统的研发设计中未与社会伦理约束相结合，就有可能在决策中遵循与人类不同的逻辑，从而导致严重后果。

再比如针对机器人的教育，未来机器人不仅有感知、认知和决策能力，人工智能在不同环境中学习和演化，还会形成不同的个性，而这是受其学习环境和学习方式影响的。作为机器人使用者，他们需要承担类似监护人一样的道德责任甚至法律责任，以免对社会文明产生不良影响。

还有需要从伦理方面考虑机器人的权力，在医疗、司法、军事等领域很多决策结果可能涉及人类生命等根本利益，其最终决策权应当保留在人类手里。如何限定人工智能在审判分析、疾病诊断和智能化武器方面的决策权，也是一个需要考虑的问题。

因此，《新一代人工智能发展规划》强调人工智能治理应与发展并重。既要加强人工智能研发和应用力度，最大程度发挥人工智能潜力；又要预判人工智能的挑战，协调产业政策、创新政策与社会政策，实现激励发展与合理规制的协调，最大限度地防范风险。

应对人工智能带来的负面影响，首先必须确保智能系统的决策行为满足社会伦理的要求。其次，系统不应做出非预期的行为，这就对系统的稳定性和安全性提出了要求。再次，要能够防止蓄意恶意使用，分为技术拥有者的恶意应用，比如前面所讲的在政治和商业领域的恶意应用，以及非技术拥有者的恶意应用，就是技术入侵和劫持的问题，比如自动驾驶汽车系统和智能家居系统的入侵，并且功能强大的人工智能工具被不法分子掌控，可能会带来更大的风险。最后，要确保系统在运行以后还能为人类所控。

在新一代人工智能发展规划里，有一个基本的考虑，就是一个体系，双重属性，三位一体，四大支撑。其中一个体系是技术创新体系，要培育中国在人工智能领域的科技创新能力。而双重属性就是要把握人工智能技术属性和社会属性高度融合的特征。人工智能对人类社会的影响和改变将远远超过之前的技术，所以在规划里把社会属性提到了跟技术属性并重的层面上。比如在人工智能研发布局中，除对我国人工智能在基础理论、核心算法，以及关键设备、高端芯片、支撑体系、重大产品与系统等方面薄弱环节进行重点部署之外，也将设立专题加强人工智能对经济社会综合影响及对策研究，包括针对人工智能发展可能带来的法律法规、伦理道德、隐私保护、文化教育、公众认知、公共治理等方面的系列综合问题开展多学科的交叉研究。

规划中也提出了几方面的具体应对措施，首先是要进行风险研判，加强人工智能技术发展的预测、研判和跟踪研究，坚持问题导向，准确把握技术和产业发展趋势。增强风险意识，重视风险评估和防控，强化前瞻预防和约束引导。

第二，就是开展立法研究。目前欧盟、美国等人工智能技术起步较早的国家和地区，已经意识到机器人和人工智能进入生活将给人类社会带来的治理问题，并着手开展了立法探索。新一代人工智能发展规划中针对人工智能立法研究方面也提出了具体措施，包括开展与人工智能应用相关的民事与刑事责任确认、隐私和产权保护、信息安全利用等法律问题研究，建立追溯和问责制度，明确人工智能法律主体以及相关权利、义务和责任等。重点围绕自动驾驶、服务机器人等应用基础较好的细分领域，加快研究制定安全管理条例，为新技术的快速应用奠定法律基础。

第三，建立伦理准则，包括建立伦理道德的框架，还有人工智能产品研发设计人员的道德规范性规则，加强人工智能潜在危害与收益的评估，构建人工智能复杂应用场景以及突发事件的冲突解决方案。

第四，就是评估和监管，建立人工智能监管体系，实行设计问责和应用监督并重的双层监管结构；促进人工智能行业和企业自律，切实加强对数据滥用、侵犯个人隐私、违背道德伦理等行为的管理，加强人工智能产品和系统评估，开发系统性的测试方法和指标体系，建设跨领域的人工智能测试平台。

此外，人工智能还应该更多地被应用于促进社会文明进步和可持续发展，这也是人工智能发展坚持技术属性和社会属性并重的重要内涵之一。比如人工智能技术在保障社会安全、打击网络犯罪、提高隐私保护等方面都将提供更加强有力的技术能力，增强整个社会的安全；人工智能的应用也会促进社会公平，减小区域差异，包括智能教育、智能医疗等技术，都将有助于减小不同地区、不同群体之间的条件差异，使他们公平地享受整个社会文明的成果。以上是我报告的主要内容，请批评指正，谢谢大家。

与谈环节

01汪庆华教授       谢谢李修全研究员的报告。人工智能带来市场变革的同时也带来了生活方式的变革，对于人工智能可能存在的滥用，以及如何从法律角度进行风险防范，这些都是我们需要考虑的。国家已经成立了四个人工智能的应用平台，足见国家对于人工智能发展的重视。算法不仅可以改变生产力，还在改变生产关系，人工智能作为一种智能体，它不一定是机器人，它可能是任何我们想要它呈现的形态。关于人工智能的风险防范，一个行之有效的方法就是代码的开放。这也是我想请教您的一个问题，就是人工智能领域内是不是还有一些可以细分的领域，在这些领域内是不是应该算法透明化？还有一个问题就是，你怎么看待类脑智能和机器智能的关系？他们之间是一个什么样的关系？第三个问题就是，为什么在国务院《新一代人工智能发展规划》里面有一句话说，开展和人工智能应用相关的民事和刑事责任研究。那为什么没有行政责任？作为一个公法领域的研究人员，这也是我比较关心的，再次谢谢李老师的报告。02鲁楠副教授       谢谢李老师的介绍，帮助我了解国家在战略层面上对人工智能的布局。今天主要有三点体会。第一，目前法学界对于人工智能都聚焦在技术上，但人工智能引发的大部分问题在我们对于社会关系的思考中都已经存在了，所以技术的进步和人文社会科学是相互促进的。第二，就是人工智能的发展前景究竟是给人带来更大的自由，还是更大的压迫？我们希望多大的自由，就需要忍受多大的不安全，自由和规制之间不是一个完全矛盾的关系，而是一个相互消长的关系。人工智能未来的发展我们当然要给它赋权，可另一方面，人工智能可能会对全社会产生控制，但这或许并不取决于人工智能本身。李老师说技术是中立的，所以我觉得还是取决于人自己。我们还是要回到对社会制度以及伦理道德的反思。否则，我觉得技术发展得越快，可能造成的社会影响越大。第三，目前在新技术革命的驱动下，我们法学界对新技术革命的学术关注度逐渐上升，这是十分乐见的现象。同时，在整个人工智能发展的规划中，其实暗含着四种思维模式，即技术决定论思维、代码决定论思维、理性决定论思维以及生产决定论思维。这些思维方式的潜在威胁都是必须要认真反思的。这些就是我的几点体会，谢谢大家。03余盛峰博士       今天听李老师的演讲确实有非常大的收获。第一，当前，技术进化的趋势已经使得全球不管是主权国家，还是跨国公司都被技术驱赶着走，使得我们以前对技术的认知在很多方面都已经变得不再适用。其中一个不适用的要点就是对于技术是具有中立性的认识。一旦技术进化的速度到一定程度之后，我们就可以发现它不再是中立的，它实际上在改变整个政治权力的结构。所以，技术是中立的这样一个命题，可能会不自觉地放松我们对风险的认识。所以我们认识人工智能风险的时候，需要用新的眼光去看待。传统的法律治理思路，社会政策思路以及产业政策思路，可能在应对人工智能这样一个问题上都失效了。如果我们还是通过立法，通过行政执法，通过司法这套思路去应对这样一些问题，可能会遇到越来越大的挑战。相反我觉得有必要在技术系统本身演化的立场上去考虑，进行内部规制。就是把技术母体作为一个系统来认识，它内在的趋势，它所产生出来的内部的权力结构是什么？然后我们根据这种内在的演化的权力结构，从它内部创造出一种权力制衡的机制。比如我们如何通过开放源代码，或者通过加密技术，可能会起到更好的保护作用，而不是通过立法。比如在技术系统内部重建一个18世纪宪法革命的类似的一个模式，产生出来一个权力制衡的结构，我觉得才有可能解决目前我们遇到的问题。如果还是采用传统思维，简单通过一些制定法来提供权利保护，已经完全不足以应对这样一种现代技术发展的步伐。04袁立科副研究员       我想简单谈几点体会。首先是人工智能的立法需求，如何立法，哪些领域需要先行立法，这是我们想向各位法律专家学习的。第二，立法的价值导向问题，尤其是当新兴技术出现的时候，怎么去平衡这种价值导向，包括立法模式的选择问题。企业现在希望政府部门开放一些数据，把社会安全领域包括银行信用领域的一些数据开放，但这一方面可能有垄断的风险，第二，管理的缺陷可能会滥用，包括更重要的安全问题。以上这些问题想跟大家进一步交流，谢谢。05刘晓春主任       我想说我们在讨论这些行为合理性的时候，整体上还是一个应用科技伦理的问题，这个问题可能真的不是一个新问题，因为人类有了科技之后一直就是这样的。在这个意义上，不同的新技术伦理或者说处理规则方面，我们可能还有共通的治理方式。刚才余老师提到技术作为一种权力控制的形式出现的时候，当政府和大的商业组织可以去利用信息不对称去运用数据资源的时候，恰恰需要有一些机制来对抗这样的权力。我个人认为有这样一个矛盾，就是我们总是在设想技术会怎么去发展，我们试图先去治理它，但这恰恰是不可能的，你没有办法预判，就像一开始大家以为互联网会是一个纯粹的精神家园，其实现在完全不是这样。技术本身有一个不确定的演变，试图以一个事先的中心化的控制模式提前画好框框，恐怕容易产生一种内在的紧张关系。所以我们可能更希望通过市场的竞争，通过技术自行的演化去进行这种分布式的创新，以解决我们面临的问题。在这个意义上我认为技术可能是中立的。我就讲这些，谢谢大家。06董静姝博士

       首先，人工智能时代的确已经来临了，不管是自然科学也好，还是社会科学也好，都对人工智能表现出了非常强烈的研究兴趣。但是我想他们各自侧重的关注点是不一样的。对自然科学来说，更多的是关注技术层面。对社会科学来说，更多的是这个技术带来的社会影响方面，比如这个技术是不是我们需要的。对于社会科学来说我们会探索如下几点。第一，包括人工智能在内的科技进步是如何改变曾经塑造人类社会的生活法则。从大处来看，大到世界观和认知世界的层面，从小处来看，小的语词含义随着科技进步我们对其的理解也不断翻新，比如人类。原来我们对机器人和人类的区分非常明确，但随着人工智能的发展，就如刚才李老师所说，侵入式的人机接口，让人们能实时捕捉人类大脑皮层的信号，再与外界的机器连接。这就让机器与人类的区别不如原来那样泾渭分明。而且对人类概念的不断翻新，我们未来可能就要面临一个问题，现在虽然看起来是天方夜谭，就是我们周围的世界是真实的还是虚拟的。立法层面，我们对科技的进步要保持什么样的态度。立法上全盘接受可能是不行的，必须要有节制。但节制的界限就是我们要思考的问题。

第二，就是科技的进步比如AI的进步与我们自由的关系。法学界和哲学界都是一直在讨论的。一方面科技的进步给我们带来了很多自由，人类生活很多方面都解放了，但另外一方面，人工智能也在绑架我们的自由。比如像一些科幻小说那样，在未来，因为人工智能比我们运算速度快，比我们健壮，人类可能被他们征服。还有更为隐秘的方式就是，如今人工智能不断渗透政治、金融等各种领域。代表自由的决策权逐渐由人类让渡到机器手里，这就是自由被绑架的表现。现在我们是数据的输出和拥有者，但自由被绑架下的未来，数据的输出和拥有分离，人工智能掌握了更加全面的数据，我们就处在一种被监控的处境下。这是我们需要警惕的。

最后，很多学者对人工智能持积极态度。认为人工智能可以便利人类生活。但是我的担忧是人类社会内部的分工。虽然未来人工智能的发展看起来会便利人类生活，但可能大部分技术都掌握在社会百分之一的精英手里，百分之一的人是否有足够的动力将掌握的人工智能技术服务于剩下的百分之九十九的人呢？这是值得思考的，其是否加剧了社会的不公平？以上是我的几个问题，希望能和各位专家交流。谢谢。

07汪庆华教授        感谢董静姝博士的发言。我很认同你所说的，未来可能会把人类的决策权交给人工智能。理性留给机器，感性留给自己。而且你提出人工智能会加剧社会的不公平也是很可能的。下面有请西北工业大学的张敏教授发言。08张敏教授       张敏教授：我想就人工智能的应用方面谈谈个人的想法。人工智能的应用冲击现有的法律关系中主客体的关系。现在对人工智能的法律主体的讨论主要有主体论与工具论两种观点。刚刚李老师的演讲表达了人工智能要在人类控制之下发挥作用的工具论这种观点。但是有些人工智能的机器人在特定场合会作诗、会有一些拟人活动，在知识产权领域也有专家在讨论智能机器人的作品是否拥有著作权的问题。这就可以看出，我们如今不完全把人工智能当做工具，所以纯粹的工具论是不成立的，但是我也不同意将人工智能当做一个法律主体，我觉得可以参考法人制度，即在特定领域有一定的行为能力。我们不必颠覆现有的法律框架，而利用现有的法律框架来研究人工智能的法律主体问题。

汪庆华教授（主持人）：张老师讨论了能否赋予人工智能法律主体资格的问题，如今在现有技术上可能还没有达到这种程度。

张敏教授：我想补充一下，我并不认同要将人工智能赋予完全与人类一样的法律主体资格。但是可以类推法人制度。法人制度更多的是财产责任，若人工智能出现法律问题，也可以承担财产责任。

鲁楠副教授：我同意张老师的观点。如果能用财产责任解决人工智能的侵权问题，对于受害人的权利保障会很有利。

09京东法律研究院付伟先生       现在人工智能技术发展速度非常快，很可能一个项目的源代码量就是百万级千万级，这是需要大量投入的。而且公司之间技术差距会越来越大，随着这一技术差距的增大，我们如何能够保证公平地获得人工智能的技术和能力，从规制的角度上来该怎么样来解决，这是我想跟大家一起探讨的。我们想的是从技术角度可能一定要继续攻关透明计算的问题，包括把一些规则嵌入到人工智能和技术的创新之中，这需要科学家的管理，科研人员自律以及整个行业的自律。当然最终还需要国家层面上的法律规制。10美团点评法律研究中心刘笑岑女士       我想从企业的角度谈谈这个问题。第一，企业一般不是从宏观伦理立法层面来考虑，更多的是考虑在收集利用数据时法律的障碍。现在我们国家建立的信任体系都是基于对人的不信任这一假设，未来人工智能的时代，信任体系会更复杂，主要是人工智能对人类的不友好。目前，还主要是现行制度对机器的不友好，当前以个人同意为核心的个人信息保护体系可能会阻碍人工智能的发展。第二，对于数据跨境传输领域，目前虽然有些讨论，但更多的是在风险防范方面，对此领域的发展问题讨论很少，而且国内只有一些政策出台，没有相应的法律法规指引企业数据跨境传输的发展。第三，欧盟即将公布的GDPR。这个法规要求企业要公布数据利用的逻辑，但是这只能针对弱人工智能，随着人工智能的发展，数据利用必将进入黑箱阶段。此外，如果人人都行使不让数据库使用个人数据的权利，那么人工智能的发展空间还剩多少呢？以上就是我的几点看法，谢谢。11李小恺讲师      关于技术黑箱的问题，我也想谈谈自己的看法。人类历史上有很多黑箱，比如中医等等。推进人类历史发展很多不只靠理论研究，很多依靠实验科学。技术发展有自身的规律，在法律层面我们应该做好该做的，不仅要建立好基础制度，更要建立配套制度，不能只停留在出现问题再解决问题的阶段。第二，就是证据问题，电子证据的理论发展还不完善，在人工智能领域很多问题无法解决。第三，是整个制度资源配比问题。比如对个人隐私的过度保护会不会演变成日后对人工智能的使用权的问题。我觉得，人工智能作为生产力应该得到大力发展的战略是没有问题的，但是法学对此问题的研究还是比较落后的，基本制度还没有研究好。目前的思路很多还是对问题的预判，但是我们的预判是否准确，这是值得思考的。12美团点评法律研究中心罗治兵先生       就刚才老师的发言想再补充一点。刚才提到的黑箱，虽然看起来很神秘，但是否可以通过一种“技术手电筒”，让我们看到黑箱里面东西。目前在技术领域对此是有研究的，通过技术手段了解黑箱是如何计算的。第二，关于技术中立的问题。我认为技术是否中立并不会影响我们利用技术，只不过会影响我们一套关于技术的论证体系和话语体系。
13京东金融研究院刘元兴先生       人工智能其实也渗透在金融领域。我想谈谈如何探索出一条智能金融的监管模式。我们是不是可以将传统金融归传统金融管理，智能金融采用技术手段来监管。还有李老师提到的法律人格的问题，世界上主要有三种模式，一种是赋予人工智能法人的资格，还有就是德国的立法例是给动物一定的权利资格，人工智能与之前的两种不一样，它可能会发展成有思想的主体，是否可以考虑给人工智能半人格的法律主体地位，这值得思考。14汪庆华教授       我们的讲座从晚上七点一直持续到现在，整整三个半小时，从信息的密度和时间的长度来说，完全是研讨会的规模，谢谢报告人和各位嘉宾的智慧与耐心，今天的讨论就到这里。再次感谢各位专家学者和同学们的参与。

郑板桥

往期荐读

编辑：钟柳依

欢迎点击“阅读原文”