新刊速递|高铭暄王红：人工智能时代，我们如何识别刑事风险？（上）

互联网 +人工智能的全新时代在深刻地改变人们的生活方式和社会秩序的同时也带来了新的技术风险与刑事风险。

——原文标题《互联网 +人工智能全新时代的刑事风险与犯罪类型化分析》

内容提要

人工智能在互联网、大数据、云计算等的共同驱动下迎来了第三次发展浪潮，并推动着传统互联网和工业物联网进一步向智能化迈进。互联网 +人工智能的全新时代在深刻地改变人们的生活方式和社会秩序的同时也带来了新的技术风险与刑事风险。基于我们当下所处于并将长期处于的弱人工智能发展阶段，人工智能仍然属于“工具”和“产品”的范畴。人工智能的工具化是犯罪工具进化的必然结果，这使得部分传统犯罪的犯罪形式变得更为复杂，社会危害性扩大，由此带来了犯罪全面“智能化”的演变。人工智能产品的设计者、生产者应当履行保障产品安全的法定义务，生产不符合保障人身、财产安全的国家标准、行业标准的人工智能产品，造成严重后果的，可能触犯生产不符合安全标准产品罪。人工智能产品的生产者在知道或应当知道已经投入流通使用的缺陷人工智能产品致人损害后应当积极履行召回义务以避免危害结果的进一步扩大，否则对扩大的结果应当承担过失责任。人工智能产品的所有者、使用者应当严格遵守人工智能产品的安全操作、管理规范，未履行合理注意义务、安全管理义务，造成严重后果的，相关责任人还有可能承担相应的刑事责任。

 “人工智能”(ArtificialInteligence，简称 AI)这一概念创造可以分为两个部分，即“人工”和“智能”，前者是指由人类制造的机器或者开发的程序系统，后者是指模拟人脑能动性的思维和智慧，简言之，即“智慧机器”。

人工智能旨在研究和开发可以模拟人脑智慧的机器应用或程序系统。人工智能虽然最初是从计算机学科的范畴中分支出来的，但是现在已经成为一门广泛包括信息论、控制论、仿生学、生物学、神经科学、心理学、数学、逻辑学、经济学、语言学等多门学科在内的前沿交叉科学，其范围几乎涵盖了自然科学和社会科学的所有学科范畴，与基因工程、纳米科学并称为“二十一世纪三大尖端技术”。

01

人工智能的刑法前沿问题提出

(一)提出背景:互联网 +人工智能的全新时代

人工智能的第三次发展浪潮

在互联网、大数据、云计算等的共同驱动下，人工智能迎来了第三次发展浪潮。2016年Gogle公司的DepMind团队研发出的 AlphaGoTols在韩国首尔举行的人机围棋大战中，以4∶1的绝对优势击败了世界围棋第一人李世石九段，吸引了全世界的目光重新聚焦在人工智能这个热门的前沿科技上。

各国政府、高校、大型互联网企业纷纷加大项目政策支持和资金人才投入，以抢占人工智能技术的全球制高点。在美国白宫2016年10月发布了《为人工智能的未来做好准备》和《国家人工智能研究和发展策略规划》两份重要报告后，我国政府也于2017年7月印发了《新一代人工智能发展规划》，部署了我国人工智能国家发展战略。

谷歌公司和苹果公司竞相收购最有潜力的人工智能初创企业，微软宣布投资500万美元用于地球人智能计划，Facebook则成立了两个独立的人工智能研究实验室。中国的科技三巨头阿里巴巴集团、百度公司和腾讯科技则投以巨资分别在新加坡、美国建立人工智能应用联合研究机构和实验室，以加快推进中国的人工智能产业创新。

人工智能与互联网的关系

网络化、数字化和智能化是计算机互联网发展的三个阶段。从 Web1.0时代的“人机互动”到Web2.0时代的“人人互动”再到 Web3.0时代的“空间互动”，可以说互联网的上半场首先解决了“网络化”的问题，计算机与人、计算机与计算机、人与人之间利用 Internet技术建立了相互之间的有效联系。

随着网络用户规模的急剧扩张和互联网的极速发展，在线数据呈指数性爆发增长，大数据技术将在网络交互过程中获取的庞大数据信息依托云存储和分布式数据库进行管理分析和深度挖掘，实现了互联网的“数字化”。

互联网、大数据为人工智能技术的应用奠定了在线平台和数据源基础，是人工智能再次崛起的三大基石之一。进入到互联网的下半场，人工智能作为主角即将登上时代的舞台。

人工智能不仅使计算机信息系统升级为人工智能系统，成为智能计算机，还凭借其三大技术支撑(大数据、新算法、超级计算能力)和六大主要应用(自然语言处理、语音识别、计算机视觉、图像识别、机器人、无人驾驶汽车)将在传统互联网与工业物联网之间架构“类互联网大脑”模型。

总之，人工智能技术在互联网“网络化”、“数字化”的滋养下逐渐走向成熟，反过来又反哺推动着互联网进一步向“智能化”迈进。

(二)问题的提出

范围的限定

人工智能根据智能水平的高低可以分为弱人工智能 (Weak ArtificialIntel ligence)、 强人工智能(Strong Artificial Inteligence)和超强人工智能(Super Artificial Inteligence)。弱人工智能是指具备了一定推理能力和解决特定问题能力的智能机器或者系统，由于弱人工智能的技术发展水平尚没有达到模拟人脑意识思维的程度，所以弱人工智能仍然属于“工具”的范畴，与传统的“产品”在本质上并无区别。

如果说弱人工智能仅是“类人”级别的人工智能，强人工智能则属于真正意义上“人类”级别的人工智能，即强人工智能能够像人一样独立地进行认知、思考、推理、创造和解决问题等，正如电影《人工智能》中的小男孩大卫和《机械姬》里的艾娃。超强人工智能则是指人工智能已经跨过“奇点”，打破了人脑受到的维度限制，其计算和思维能力远超人类，在所有领域都比最聪明的人类大脑更智能。

显然，我们当下正处于人工智能发展的初级阶段，即弱人工智能的阶段。中国人工智能学会理事、南京大学计算机科学与技术系副主任高阳教授指出:“弱人工智能距离强人工智能还有相当漫长的一条路，我们距离图灵刻画的人工智能依然十分遥远。”

因此本文仅在弱人工智能的范畴下讨论人工智能可能涉及的刑事犯罪与刑事责任问题，至于对可能产生自主意志、人格独立的强人工智能甚至是超强人工智能则不予分析评价。法律，特别是作为最严厉的、最后手段的刑法，还是应当在前沿科技的狂热中保持一些冷静和克制。

人工智能可能涉及的刑事犯罪问题

人工智能这一新技术革命在深刻地改变人类的生活方式和社会秩序的同时，也带来了新的法律风险与挑战。比如沙特在授予世界上首位“女性”机器人索菲亚“公民”身份后便引发了对人工智能有限法律电子人格与机器人权利的争论。

对于人工智能可能涉及的刑事犯罪问题，目前刑法学界开展的研究少之又少，作为前沿中的前沿问题，仅华东政法大学法学院的刘宪权教授率先发表了 《人工智能时代的“内忧”“外患”与刑事责任》和《人工智能时代的刑事风险与刑法应对》两篇新作，刘文大胆地设想了具有辨认能力和控制能力的强人工智能产品在设计和编制的程序范围外进行自主决策并实施犯罪的情形，提出了要从源头防控人工智能产品在研发和使用过程中存在的多重刑事风险的规制建议。

本文也尝试着探索人工智能可能涉及的刑事犯罪与刑事责任问题，但基于我们当下所处于并将长期处于的人弱人工智能的发展阶段，认为仍然作为“工具”和“产品”属性的弱人工智能可能涉及的刑事犯罪主要存在以下两种情形:

第一，行为人利用人工智能实施其他犯罪，造成了严重危害社会的结果。在这种情形下，由于第三方行为人才是实施犯罪行为的主导者，人工智能产品仅因作为犯罪工具才直接作用于被害人，因此本文称之为“工具利用型”犯罪类型。

第二，由于人工智能产品自身的缺陷，特别是智能系统的运行故障，从而导致严重危害社会的结果发生。在“产品缺陷型”犯罪类型下，虽然人工智能产品直接作用于被害人，但是由于人工智能产品作为“物”不能为此结果承担责任，因此通常情况下我们会考虑认定产品的设计者、生产者、所有者、使用者或者管理者作为危害结果的责任承担者。

02

人工智能的技术风险与刑事风险

(一)人工智能的技术风险

前不久刚刚去世的伟大物理学家、宇宙学家史蒂芬·霍金在生前的最后几年对人工智能十分关注，他曾表示:“人工智能的崛起是人类历史上最好的事情，凭借这场新的科技革命，我们或许可以挽回上一场工业革命给自然界和人类社会带来的破坏，然而人工智能在未来可能对人类生存带来毁灭性的威胁，除非我们学会如何规避、控制风险。”

霍金的“人工智能威胁论”在目前的弱人工智能阶段听起来似乎有些危言耸听了，但是警惕人工智能可能产生的风险是十分必要的。

人工智能自身的风险主要是技术不足风险，即受现有技术发展水平的制约，人工智能技术自身仍然具有许多不确定性和复杂性。谷歌旗下的公司 Waymo最早从2009年开始无人驾驶汽车项目的研究，为了测试无人驾驶系统的准确性还专门建立了 Castle结构化测试区，通过栅栏分割设置了规模庞大的测试路口和交叉路口，然而结果证明无人驾驶汽车即便能完全掌握 Castle模拟测试区所学的驾驶技能，在没有司机的情况下，仍然无法通过安全路上测试，最主要的原因还是在于发挥人类眼睛作用的多方传感器系统仍然无法对复杂多变的路况环境进行精准的感知和定位，这可能给无人驾驶汽车路上行驶的安全性带来致命性的打击。

人工智能自身的风险还表现在它的反自然性。按照器官投影学说的观点，技术是人体器官的延伸，人工智能不正是机器对人类大脑的模拟吗?然而进化的同时也是退化的开始，人工智能技术可能会封闭人类的一些器官经验，造成某种程度上人类大脑或者其他器官的生物退化。

应当说人工智能技术最大的生存威胁还是在于人为制造的风险，尤其是人工智能与互联网、大数据的结合，促使人工智能的技术使用风险变得更为紧迫，由此带来的严重危害后果也更加难以防控。

浙江绍兴破获的全国首例利用人工智能打码平台侵犯公民个人信息案，就是先利用人工智能技术识别图片验证码再通过撞库软件非法获取公民的个人信息。黑客杨某搭建的“快啊”打码平台运用人工智能机器深度学习训练机器，可以快速有效地识别图片验证码，轻松绕过互联网公司设置的账户安全登陆保护，给网络诈骗等网络黑产产业链提供了犯罪便利和犯罪工具。

此外，霍金对人工智能的过度担忧还缘于人工智能技术向军事领域的渗透，特别是美国、俄罗斯、韩国、乌克兰、以色列等国家对“杀人机器人”的研发。大国之间展开的人工智能军备竞赛可能叩开智能化战争的大门，给人类带来毁灭性的灾难。

在 2017年人工智能国际会议上，上百名人工智能专家联名上书联合国，呼吁禁止在战争中使用致命的自主武器和杀人机器人，并抵制与任何国家合作研发人工智能武器的计划。

(二)人工智能的刑事风险

“互联网 +人工智能”的全新时代，正如狄更斯所言:这是个最好的时代，也是个最坏的时代。 

人工智能的技术应用范围十分广泛，包括工业生产、汽车制造、通讯运输、医疗临床、教育培训金融会计法律、个人家庭生活等各个领域。工业机器人替代流水线工人进行全自动化机械生产，无人驾驶汽车给谷歌的多个数据中心送货，达芬奇手术机器人协助医生开展高难度、更精密的手术治疗，智能律师Ross可以识别当事人的自然语言、根据自身系统的法律知识储备回答问题、提出解决方案并记录法律系统的变化，人脸识别技术应用到银行金融账户管理、铁路机场安检，甚至是大学上课签到和宿舍管理......这些人工智能真正实现了“人工智能，让生活更美好”的期许。

然凡世间物，皆有两面性。

就以无人驾驶汽车为例，一方面可以减少因驾驶者错误操作或者长途疲劳驾驶所带来的交通事故，另一方面也有可能增加因自动驾驶系统发生故障或者人为入侵破坏自动驾驶系统而引发的交通事故。风险社会理论的一个重要意义是让人们重视人为制造的风险，人为制造出来的风险也正是人工智能刑事风险的主要来源。

具体而言，本文认为涉及人工智能的刑事犯罪风险大致可以分为三类:

第一，直接对人工智能的智能系统实施犯罪。这是对人工智能本身实施的犯罪。人工智能的智能系统是指能够产生人类智能行为的计算机系统，所谓的智能在现阶段至少应具备自动获取信息、自动学习知识、逻辑推理演绎、应用解决问题等多方面的能力。

人工智能的智能系统在本质上属于计算机信息系统的较高级别，对人工智能的智能系统实施犯罪实际上就是对计算机信息系统的犯罪。智能系统的运作过程大致可以简单地看作是 “输入——输出”的流水作业，输入的是智能系统的处理对象，包括大数据和知识等，按照机器深度学习算法的方法论将存储的数据和知识通过云计算平台进行计算分析，最后输出处理结果、结论。

不难发现，在人工智能的智能系统中存储了大量的数据和信息，如果这些可能涉及身份隐私、财产安全，甚至是国防军事利益的数据和信息被恶意入侵，并被破坏智能系统的犯罪分子非法获取并利用，进而实施侵犯公民个人信息、诈骗、窃取国家秘密或者其他犯罪，可能会发生严重的社会危害后果。

对于行为人实施的直接针对人工智能的智能系统的犯罪，本文认为可以考虑适用刑法第二百八十五条、第二百八十六条和第二百八十七条的相关规定进行处理。

第二，利用人工智能技术实施传统犯罪。随着人工智能的飞速发展，犯罪技术也变得更高级起来，犯罪工具将与人工智能一同进化。

美国国家情报局局长 JamesR.Claper就曾警告过关于人工智能技术的恶意使用问题，人工智能在给人们生活带来便捷的同时也扩大了在线世界的漏洞，使得网络和我们都变得更易受攻击。

2003年卡耐基·梅隆大学年仅22岁的研究生路易斯·冯·安设计出了“全自动区分计算机和人类的图灵测试”方案，即我们熟知的验证码技术，以此来阻止自动程序盗取在线账户。然而除了人工智能的技术研发者，犯罪分子也一直在部署计算机视觉软件以对抗验证码技术，短短七年前黑客便颠覆了验证码技术的安全保护功能。“如果你两年没改验证码了，它就会被一些机器视觉算法操控。”美国加州大学圣迭戈分校的计算机安全员 StefanSavage表示说。

人工智能技术作为高级犯罪工具给犯罪分子带来了极大的犯罪便利。首先对于初次或者准备进入网络犯罪但是没有技术经验的潜在犯罪分子来说，可谓搭上了高科技的“顺风车”。曾经火爆地下市场的 Blackshades程序软件就被形象地称为“盒子里的刑事特权”，它能让完全不懂技术的犯罪分子在计算机上轻松地部署一个勒索程序或者通过鼠标点击来进行视频或者音频窃听。人工智能提供的这项技术便利可能会因此增加初次网络犯罪的几率。

除此之外，人工智能技术还在一定程度上帮助消除了犯罪的障碍，降低了犯罪的难度，扩大了传统犯罪的社会危害性。例如在电信诈骗中，犯罪分子通常在耍“猜猜我是谁”的骗术中存在声音被识别、骗局穿帮的风险。谷歌公司旗下的人工智能研究部 DepMind团队开发出的新程序可以模仿任何人的声音，并且听起来比任何语音系统生成的声音都要自然，极大地缩小了自然语言与人类语言的差距。人工智能的这项语音伪装技术在电话中就极易被犯罪分子用来伪装身份实施诈骗，并且还有助于降低诈骗失败的几率。

第三，对人工智能产品未尽安全生产、管理义务的犯罪。人工智能产品发生致人死伤的严重危害后果多发生在工业机器人和无人驾驶汽车领域。根据美国职业安全健康管理局的统计数据显示，在过去30年间大约发生了30多起与机器人相关的死亡事件。

最近的一次是2015年的7月，在密歇根州的一家汽车零配件制造商厂内，维修技师万达·霍尔布鲁克在执行日常保持机器人工作秩序的职责时，突然被装配线上的机器人抓住，机器人像装载拖车悬挂装置组件一样对被害人的头部进行操作，导致被害人头骨被压碎身亡。

被害人的丈夫将这家工厂和为这家工厂提供机器人配件及安装的5家机器人厂商一并诉至法庭，并在诉中表示:“机器人没有被正确设计、制造或测试，才导致安全系统和设备突发故障(未尽安全生产的责任义务);并且130区域的机器人不应当进入 140区域，也不应当尝试在已经装上挂接组件的夹具内加载挂接组件(未尽安全管理的责任义务)。”

工业机器人通常被用于执行高危、高强、高重复性的任务，因此如果机器人厂商设计研发、生产制造出来的机器人不能符合保障人身、财产安全的国家、行业标准，机器人的所有者、使用者或管理者在超出安全操作、管理规范外使用机器人，就有很大可能造成严重的危害后果。

由于工业机器人、无人驾驶汽车在本质上没有超出“物”的范畴，不过是植入智能系统的“智能产品”罢了，因此这些 “用于销售”的工业机器人、无人驾驶汽车必须符合《产品质量法》第十三条的规定，即“对可能危及人体健康和人身、财产安全的工业产品，必须符合保障人体健康和人身、财产安全的国家标准、行业标准;未制定国家标准、行业标准的，必须符合保障人体健康和人身、财产安全的要求。”

特别是工业机器人、无人驾驶汽车的硬件设备均受整个智能系统的控制，因此确保智能系统的稳定、安全是实现工业机器人、无人驾驶汽车整体安全性的关键因素。

这是赋予人工智能产品的生产者安全生产义务的法律依据，如果生产者制造出来的机器人或者无人驾驶汽车不能符合保障人身、财产安全的国家标准或者行业标准，并且造成严重后果的，相关的责任人就可能触犯刑法第一百四十六条规定的生产、销售不符合安全标准的产品罪。

人工智能产品除了在生产环节可能涉及产品生产安全带来的一些刑事风险，进入到流通使用环节，由于人工智能产品具有很多新技术的不确定性和复杂性，因此作为人工智能产品的所有者、使用者或者管理者可能还需要遵循一定的安全操作、管理规定或要求，例如工业机器人被投入到工厂的生产流水线上作业，对生产负有组织、指挥或者管理职责的负责人、管理人就必须按照机器人的安全操作、管理规定以保障机器人和普通工人的生产工作安全，如果未尽安全管理义务造成严重后果的，相关负责人还可能承担其他过失责任。

未完待续，原文首发于《暨南学报》（哲学社会科学版）2018年第9期

点击“阅读原文”