吴汉东：人工智能时代必须关注的社会风险及四大问题

吴汉东   

中南财经政法大学资深教授

国新南方知识产权研究院首席专家

人工智能技术与未来产业形态

20世纪80年代至今的知识革命，其核心是基因技术、网络技术和人工智能技术。本世纪，网络技术深入发展，不仅使信息以不同于以往的方式，更加方便、迅速地传播，而且催生了很多新的商业形态。我们所熟悉的网络文学、网络视频、网络音乐、网络游戏以及社交平台，极大地改变了我们的生产、生活和社会交往方式。

2016年被称为人工智能技术爆发的元年，这一年有两个大事件：一是距离麦卡锡、明斯基、香农等人提出“人工智能”概念正好过去60年，二是Alpha Go战胜人类围棋顶尖高手。人工智能横跨四大核心技术——机器学习、自然语言处理、图象识别和人机交互，涵盖13个细分领域，用人类的智慧给机器装上聪明的大脑，拥有灵敏的视觉、听觉和触觉，可以像人一样的记忆、认知、识别和选择，人机之间的交往胜于人与人之间的交往，充满着有效性和精细化。

从智能机器人、智慧家居到无人驾驶、无人工厂，人工智能技术被广泛应用到社会生活和生产的各个领域，改变甚至颠覆了我们已有的认知，对未来的农业、制造业、律师业、新闻业、交通业、医疗业及体育业等产业形态带来极大的影响。

人工智能是人类社会最伟大的发明，同时也可能存在潜在的风险。霍金表示，人工智能或许不但是人类历史上最大的事件，而且还有可能是最后的事件。作为法律工作者，我们不仅要为新技术感到欢欣鼓舞，拥抱一个新时代，更应该在热点背后进行冷思考。

人工智能时代的社会风险

在人工智能时代，法律如何保护人的生命与健康、尊严与隐私、自由与安全？这是值得重视的问题。高技术时代也是一个高风险时代，未来社会的潜在风险有三个特征：

一是风险的共生性。人工智能时代的风险是一种内在的风险，与海啸、地震、火山爆发、洪水等自然灾害不同，这种风险是存在于人类社会之中的。它可以是人类正在研发的技术所产生的风险，也可能是关于这个技术的制度所带来的风险，这两种风险共生于人类社会。在我们的身边已经出现了工业机器人、扫地机器人、聊天机器人、伴侣机器人等等；科技专家还向我们展示了“杀手机器人”，这种机器人安装了微形广角摄像镜头，配备有高灵敏度的传感器和高容量的炸药，可以准确地瞄准目标，成功地实施杀害攻击。对此，不仅不能授予专利，还要严格禁止。

二是风险的时代性。人工智能时代的风险不仅是现实存在的风险，也是未来潜在的风险，它贯穿于知识革命的整个历史阶段。以色列历史学家尤瓦尔,《人类简史》和《未来简史》的作者，描述了人工智能三个不同的阶段——弱人工智能、强人工智能和超人工智能。超人工智能阶段将在本世纪的40-60年代出现，整个社会裂变为两大阶层，大部分人归属于“无用阶层”，对社会没有任何贡献可言，依赖智能机器人而活着。只有极少一部分人是社会的精英阶层，有着超强的计算能力，通过基因技术和人工智能技术的结合，准确测试人体基因图谱，延续生命，保持永生。当然，这也许是一个科幻预言。但是，我们不得不警惕这种裂变对人类社会的正常发展所带来的潜在危害。

三是风险的全球性。知识革命与以往的工业革命是不同的，工业革命起始于英国，再逐渐影响到北美、东亚，这个过程是缓慢、持续的。而在今天的互联网时代，风险是全球性的，没有地理边界，也没有社会文化的界限。因此，全球应该共同行动，既要发展人工智能技术，也要警惕它潜在的危害。

会议现场图

人工智能时代的四大问题

■ 第一个是法律问题，包括主体责任问题、隐私保护问题、责任承担问题等。

首先，主体责任问题。《民法总则》有两项基本制度：主体制度——人；客体制度——物。在已有的法律认知中，主体和客体有不可逾越的界限。现在需要回答的问题是，机器人是机器还是人？机器人不是自然人本身，但由自然人创造和设计，它能不能成为民事主体？现实已经作出了回答。2016年欧盟议会法律事务委员会（JURI）向欧盟委员会提出立法建议，主张赋予高水平的智能机器人电子人的主体资格，进行身份登记，设立财产帐号，缴费，纳税，领取养老金，与自然人具有同等的主体地位。今年，沙特阿拉伯授予美国汉森机器人公司生产的机器人索菲亚以公民资格。它有没有政治权利、社会权利和民事权利？这是现有理论难以回答的问题。但是，赋予智能机器人以某种民事主体资格在未来有可能成为现实。

其次，隐私保护问题。未来时代是三者叠加：移动互联网+大数据+机器智能，人类社会将进入一个透明的、没有隐私的时代。普通人的生命与健康、财产与身份、行踪轨迹等，除国家公务人员按照特别法规定应给予必要的公示之外，任何人都要把它看作是个人隐私，应该受到法律保护。在传统社会，个人隐私被泄露是个体性的。但是，在今天、明天就是集体的、甚至是整个社会的隐私泄露。我们的一举一动在大数据面前都会一览无遗。人类怎么保护自己的隐私？科技公司，如谷歌、苹果、脸书、阿里巴巴、腾讯、百度等，拥有很多用户信息，这些信息是否是依法收集和处理的，我们作为信息的提供者是不是无动于衷？这都是需要考虑的问题。

再次，责任承担问题。人工智能时代有两种侵权行为值得关注，一是侵权人对智能系统进行非法控制而造成的损害，二是智能系统自身的产品瑕疵而造成的损害。侵权人采取黑客攻击、病毒传输和其他的非法手段控制机器人，对人类社会造成危害，侵权责任由侵权人承担，这个不难理解。问题在于人工智能直接给人造成损害的责任承担，这是值得考量的问题。日本曾经发生过工业机器人在生产过程中将工人放入冲压机之下碾死的惨痛事例。本世纪在美国，手术机器人在治疗病人的过程中造成创伤、死亡病例高达87例。在这种情况下，需要分清责任事故从何而起，是设计人的“技术漏洞”，还是操作人的“不当使用”，甚至可能是智能机器人超越原控制方案的“擅自所为”，此类事故的原因和事故责任的追究都是值得考虑的新问题。

■ 第二个是伦理问题。

伦理问题的重要程度不亚于法律问题。著名科幻作家阿西莫夫提出了机器人的四定律，其中最重要是第零定律，即机器人必须保护人类的整体利益不受伤害，其它三条定律都是在这一前提下才能成立。机器人定律对目前处理人工智能有关问题具有指导意义。伦理问题包括诸多方面：

算法偏差和机器歧视问题。机器的工作速度、工作精度、工作态度都高于自然人。但是，机器也会出错，包括机器算法偏差和歧视问题。比如谷歌推出的机器人误把两名黑人标注为“大猩猩”，微软公司推出的聊天机器人，在发布24小时内，就成为一个集反犹太人、性别歧视、种族歧视于一身的“不良少女”。这就是一个伦理的问题。如何为机器人设置最低的道德标准和道德框架，是非常重要的问题。

虚拟环境“麻醉”问题。在未来的人工智能时代，我们将会被无穷尽的电子信息所包围，人与人之间的交往有可能被人机之间的交往所取代。人工智能的模拟行为在很大程度上会取代人的自主行为，这就出现了虚拟环境的“麻醉”问题，从生活、起居、出行到办公，所有的事情都由机器人协助处理，人类是否会日渐沉迷于人工智能及其营造的虚拟环境？人类生存和发展的本来意义何在？

人机情感危机问题。我们所讲的社会指人类共同体所组成的社会，是人与人之间正常交往的社会。但是，未来的机器人会带来人机的情感危机。现在我们不仅发明了代替体力劳动的工业机器人，还发明了代替脑力劳动的机器人，甚至还可以发明代替人类情感的伴侣机器人、性爱机器人。这无疑会给人类社会的正常发展和生活情趣带来极大的挑战。

■ 第三个是社会问题，即人机替换问题。

未来，人类60%的职业、30%的工作将被人工智能取代。根据牛津大学的统计，未来人工智能的发展会取代1000万个工作岗位，秘书、客服、助理、翻译、律师、医生、会计，乃至于证券所的交易员、信贷员的工作都可能被取代。一般来说，被取代的工作和岗位具备如下特征：凡是可以描述的、重要的、有固定规则和标准答案的工作岗位，都有被智能机器人取代的可能。

人机替换带来诸多社会问题。被人工智能所取代的蓝领和白领到哪儿去？是不是被抛弃到无用阶层之中？他们不能领取劳动报酬，而是领取社会保障金以维持自己的生活。对此，比尔·盖茨提出应该征收机器人税。另一问题是，社会出现大量的机器人，包括机器人工人和机器人白领，它们有没有权益？如果有权益如何保护和维系？

此外，人工智能领先的国家与人工智能滞后的国家之间的差距和鸿沟如何进行填补？新的不平衡又出现了，如何加以解决？这都是未来时代要考量的问题。

■ 第四个是监管问题。

十八大、十九大针对社会治理提出“良法善治”和“多元共治”。就人工智能导致的问题而言，如何进行监管？我认为“多元共治”是非常重要的，主要是政府的监管，也包括行业自治和企业自律。目前的监管难题包括两个方面：

首先，监管领域的空白。比如在无人驾驶领域，政府监管的法律规则还是空白的。无人驾驶的准入政策、安全标准、配套设施都需要从法律层面加以规制。美国从联邦政府到州政府都出台了相应的文件。对于当前最火爆的人工智能的若干领域，国家应该进行研究并在必要的时候出台相应的政策文件，包括法律文件。

其次，监管技术的不能。人工智能对监管的技术要求更高。机器人讲粗口、说脏话、性别歧视和种族歧视，这个过程是如何进行的，为什么会出现计算偏差的问题？需要了解整个人工智能发生作用的全过程，所以监管技术的研究也必须及时跟进。

人工智能时代的法律、政策与伦理

人工智能时代，应确立以安全为核心的多元价值目标，构建以伦理为先导的社会规范调控体系，以技术和法律为主导的风险控制机制。一方面，法律控制是风险治理机制的重要手段。另一方面，技术控制是风险治理机制的重要措施。风险规避的主要路径，是事先预防而不是事后补救，即从技术研究开始规制，以预防技术产生的负面效应或副作用。风险规避的基本范式，是从技术研发到应用过程的责任制度，包括社会道义责任、科学伦理责任和法律责任。风险规避的重要措施，是奉行技术民主原则，包括技术信息适度公开和公众参与、公众决策。

结语

人工智能时代已经到来，我们不仅需要一种科学的智慧，同时也需要制度的理性。

本文根据中南财经政法大学吴汉东教授在“2017人工智能与法律的未来高峰论坛”上的主题演讲整理