讲座实录丨郑戈：《黑镜》中的社会信用评分

2020年6月9日，中国政法大学法学院大数据和人工智能法律研究中心成功举办了“大数据和人工智能法律前沿问题”系列讲座第十期。本场讲座以“《黑镜》中的社会信用评分”为主题，是“科幻与法律专题”系列讲座的第二场。

本场讲座的主讲人为上海交通大学凯原法学院教授、交大人类伦理委员会委员郑戈老师，郑戈老师近年来专攻人工智能、区块链和基因工程等前沿科技领域的法律和伦理研究，此次讲座主题便是结合科技伦理热剧《黑镜》，讨论近期因健康码、支付宝/微信信用分而饱受关注的社会信用评分制度。中国人民大学法学院未来法治研究院副教授、副院长丁晓东老师，清华大学法学院副教授、清华大学智能法治研究院副院长刘晗老师，上海师范大学法政学院副研究员吴玄老师，作为本场讲座的与谈嘉宾。研究中心主任沈伟伟老师担任本场讲座主持人。本次讲座通过线上方式展开，吸引了将近两百名听众。

主讲环节

讲座一开始，郑戈老师首先从人的社会属性出发，来阐明现代社会评价机制的重要性。结合社会学家戈夫曼、莫斯、福柯的研究，郑戈老师分析了权利本位的法律观试图将个人理解为孤零零地面对整个世界的个体，但我们个人身份的认同实际上是由我们想让别人如何看待自己以及我们如何向别人呈现自己决定的。在《黑镜》中，个人生活在智能算法所营造的“强化现实”中，通过人与人之间的虚拟交往形成自己的社会身份。每个人都戴着植入眼内的智能眼镜，其中的算法与智能手机和其他可携带智能设备实时同步，使得个人通过以显示屏为媒介的自我呈现和再现来经历社会世界，而这个显示屏及其背后的算法会给每个人一个从0到5的分数。分数越高，一个人的社会地位越高，越能享受到租车、租房、出行、找工作、交友、选择婚配对象等方面的折扣和便利。而无论是剧中的自拍，还是我们当下的发朋友圈，都是这种评分文化的日常驱动机制。而剧中女主角故事所呈现的，恰恰就是一位“屌丝之上，名媛未满”的4.2分这一纠结的生存状态。

接着，郑戈老师阐述了隐私权的概念及其演变。自十九世纪末布兰戴斯著名的“隐私权”文章以来，传统的隐私权概念已拓展为“独处、亲密关系、秘密和自治”四个向度。它以个人的人身为圆心划出一个个同心圆，保护个人私人空间和私密关系的秘密性。但这种基于空间想象的秘密模式随着技术的发展而遭受了颠覆性挑战——信息技术的发展使得个人主义的“隐私孤岛”与现实脱节。在通信和电话时代，公与私的边界是相对明确和固定的。但随着互联网进入物联网阶段，即使在家里独处，个人所使用的手机，佩戴的电子设备，乃至家用电器均在随时随刻将个人同网络链接起来，向服务器传送着各种信息。1983年，德国宪法法院提出了“信息自主权”概念，多年之后又在2008年的判决中提出了“信息系统中的信任与整全性权利”。再之后2018年，欧盟GDPR将个人数据定义为“关于任何已被识别出（identified）或者可被识别出（identifiable）的自然人的任何信息”。该条例强化了个人对涉及自身的个人数据的自主控制权，同时，个人数据具有可携带性，数据主体可以将个人数据从一个平台完整地带到另一个平台，平台服务商不得施加不合理的限制。为了使隐私权和个人数据保护的成本降低，许多国家和地区也设立了专门的行政机构或法定独立机构，以简便快捷的程序来处理公民的隐私权诉求。

随后，郑戈老师在社会治理层面阐述了社会信用评分问题。在人工智能时代，对人口和财产进行统计、认证、分类和评分是国家治理的基础，其中的认证能力被学者称为“国家基础能力的基础”。现代社会人、财、物的快速流动给认证带来了很大的挑战，同一个人在不同的场景会以不同的假名、行为方式和表达方式而出现，乃至有人戏称“在互联网上没人知道你是一条狗。”但人工智能技术为互联网时代的“编户齐民”提供了新的技术手段，使“社会计算化”成为可能。所谓“社会的计算化”，是指随着互联网的普及，越来越多的社会活动都通过互联网进行，人类因此而在互联网上留下海量而且相互关联的数据足迹，基于这些数据足迹，大量原本不可追踪、检索、汇编、计量和运算的社会活动，变得可以追踪、检索、汇编、计量和运算。与过去由政府主导的认证工作不同，如今的社会计算化主要是由商业力量推动和控制的，这给治理工作带来了新的问题。政府一方面需要与平台企业合作来获取数据、购买产品和服务，另一方面又需要作为企业与消费者之间的中立第三方来对企业进行监管。而且政府获取的数据质量和能力，并不一定比企业强。此外，机器学习也在很大程度上助力实现社会信用评分机制。机器学习的“推理”方式是基于统计学方法的归纳推理，目前的智能算法善于从海量数据中找出规律和模式。如果再由人工给不同的行为模式贴上标签，比如反社会倾向、潜在恐怖主义分子或者政治上激进等等，就可以由机器来针对某种标签所代表的人或行为进行监控、预测、甚至自动采取“行动”（比如断网、断电、列入某类服务的“黑名单”等等）。智能算法还可以根据平台用户的搜索记录、购物记录、点赞记录等等对用户进行评分，授予不同的VIP等级和相应权限。而政府也可以利用政府信息平台上的可得信息来对个人进行社会信用评级，确定需要重点监控的对象，甚至剥夺某些失信者的特定民事权利和自由（比如乘坐飞机动车）。

阶层固化是当代社会面临的首要社会问题之一，郑戈老师认为，“高端人口”不仅垄断着资本，而且日益垄断着社会资本、文化资本乃至文化的再生产机制（教育）。大数据时代的来临强化着这种垄断，使社会流动日益困难。由于人认识到自己的局限性，所以在设计规则的时候所考虑的都是所谓常人标准，即以具有中等智力和体力水平的正常人作为规则可行性的判断标准。而且，为了形成稳定的社会秩序，法律往往还会设置比常人标准更低一些的安全线。从这个意义上讲，法律是一种保守的社会力量，不以满足具有创新能力的人士的追求“更快、更高、更好”的野心为目的。在技术发展和社会－经济结构变化缓慢的农业社会和早期工业化社会，这种保守倾向使法律发挥了很好的维持社会稳定的作用。但在人工智能时代，它却使法律滞后于技术和经济的发展，使那些把握先机的人获得了巨大的边际回报。比如，互联网金融和电子商务在中国的迅猛发展就是在相关法律缺位的情况下发生的，等到立法者开始制定规则来规范这个领域，法律所约束的只是后来者，并且自然地巩固了先占者的垄断地位。同时，先占者又利用已经积累起来的经济、技术和资源（数据）优势开始抢占未被法律规制的新领域。如此层层递进，最终使得循规蹈矩、永远在法律规定的范围内活动的人们与他们之间的差距越来越大。

在现代社会，个人也日益成为量化的自我。个人脸上戴着谷歌眼镜，手上拿着苹果手机，手腕上戴着苹果手表或Fitbit手环，脚上穿着耐克智能运动鞋，大部分醒着的时间都在上网，即使在没有上网的时候，可穿戴设备们也在上网，把你的位置、运动状态乃至心跳、脉搏都传送到某个服务器。个体成了一个个量化的自我，一个被设备和网络监控、测量和管理的人。人们生活在一个智慧城市，可能感到生活极其便利，然而总觉得有哪里不对。因为你经常接到陌生人的电话，他们了解你的个人信息，并向你推销量身定制的产品。你生活中不愿意被人知道的事情有时突然出现在网上，被陌生人和熟人围观。这一切之所以可能，是因为互联网信息技术已经发展到“大数据”和“物联网”时代。连接到因特网的不再只是个人电脑和服务器，而是各种各样的物品，小到智能手环，大到整个住宅。这些物品会把测度到的相关数据通过网络上传到存储装置。而云存储和云计算的出现又大大降低了存储和处理数据的成本。

上述的种种变革正在冲击着现有的法律概念和法律思维方式，呼唤着法律和规制上的范式转换。郑戈老师指出，迄今为止的整个法律概念体系都起源于农业社会，工业化和城市化虽然带来了一些概念和原则变化，但改变也是局部的。法律总体上还是假定责任源自于过错，过错损害了法律确定要保护的权利和利益，导致了损害结果，有损害就要有法律救济。基于这种原理，法律总是滞后于损害的，只有当行为造成了实际损害之后，法律才能介入，介入的目的也是恢复此前的状态。互联网的出现和普及改变了人们之间的交流和互动方式，而大数据技术的发展则使互联网的潜能发挥到了一个新的量级。大数据科技与认知科学和人工智能的结合使行为主义很可能变为明日黄花。预测性和引导性数据分析可以通过个人化的识别、分析和干预“植入”意向和行为动机，从而改变法律的作用场域。从法律的角度看，大数据改变着个人与政府、个人与企业、个人与个人的权力关系格局，挑战着法律回应社会问题的方式。第一，个人意图的边界以及相应的主观过错概念变得模糊不清。第二，数据的实际占有者与使用者之间的界限也越来越难以判定。第三，正因为如此，过错的判断越来越困难，当明显的损害结果发生后，要追溯到最初的过错，往往需要经过无数个环节，每一个环节上都可能产生“蝴蝶效应”，几何级数地放大损害结果。第四，过错与损害结果之间的因果关系越来越难以确定。由于数据传播渠道的多元性和复杂性，判定因果关系越来越不可能。第五，大数据存储和处理使得政府和其他大数据拥有者能够更准确地作出预测，从而防患于未然，采取非惩罚性的干预措施改变事情的发展轨迹。第六，最重要的是，大数据技术的发展正在使孔德在一个半世纪前试图建立的“社会物理学”成为可能。

郑戈老师最后得出结论，算力是当下社会最常见的一种权力类型，具有遍及性、渗透性、不可见性等特征。传统的公私法分野和权利保护模式已不足以驯服算力，大数据和人工智能时代的来临，呼唤新的法律和治理模式。郑戈老师最后也给大家呈现了几个信用评分的场景限定型应用方案方面的典型案例。首先是分布式信用评分，如：乘客与出租车司机之间的互评；餐厅客户与服务员之间的互评。这些互评，只影响客户和商品/服务提供着在特定平台上的信用，而不影响该场景之外的社会信用评分。其次是集中式信用评分，比如金融征信方面的中国人民银行征信中心，企业信用方面的国家企业信用信息公示系统和北京市企业信用信息网，社会信用方面的中国信用网、中国执行信息公开网和联合惩戒机制，以及健康信息方面的健康码系统。

与谈环节

在与谈中，丁晓东老师首先从数据和隐私方面谈了自己的见解。丁老师认为，评分机制其实一直存在，朋友圈点赞便是一种社会化评分机制，而社会化评分实质上即是一种信用的传递。在社会化评分当中，严格的隐私保护已经成为社会共识，但也需要认识到，人们既有保护隐私的渴求，也存在获取更多信息的渴望。就像阿伦特所说的，隐私其实是表达的是一种匮乏，因为在古希腊的含义里面是觉得公共生活比起私人生活具有意义。因此，个人信息保护与流通边界地划定，是一个值得关注的重要问题。正如人们既有被人了解的渴望，同时也不愿意被人了解过多信息而受到支配，同样在互联网环境中，人们一方面不希望商家了解自身的大量信息，另一方面又希望享受大数据给生活带来的便利。比如同学们大一选课的时候，同学们希望看看哪个老师课最好，希望选到像戈叔这样的好老师，但是其实同学们是一无所知的；对戈叔来说一样，面对大一新生，他其实是一无所知的。这个例子体现了信息自由流通和个人信息保护相互之间的紧张关系。在某些情况下，可能并非社会评分机制存在问题，而是传统的社会评分机制在现代社会中还有待进一步完善，法律也尚未及时对其进行有效规制。时代在变，社会评分机制同样需要做出调整和改变。接着，丁老师就算法对法律的挑战，提出了自己的两点思考。如果说机器人的算法是一个黑箱，那么人脑是否也是一种黑箱？而人之为人，究竟是因为纯粹的理性还是因为包含了各种情感因素的主观意志？

刘晗老师首先接续了丁晓东老师有关人的本质这一问题。刘晗老师认为，某种程度上，人的本质就是社会评价，八卦便是社会评价的一种表现形式。传统社会中，社会评价通过口耳相传，而在现代社会而通过平台采集数据后形成的用户画像表现出来。据此，刘老师提出了一个“高清社会”的概念，它是相对于传统“低清社会”而言，大数据环境下，人的行为能够更加轻易的被采集、上传和分析，在大数据中，个体的行为基本无处躲藏，仿佛高清电影般可以被还原到具体细节。传统社会中，关于人的社会评价总有一个来自组织的客观标准，而在现代社会，个体的社会评价来自于形形色色的网络平台和平台背后的算法，人的存在愈发依赖于这种平台和算法中形成的社会评价。这就引出了和法律直接相关的、郑戈老师指出的困境：在社会信用评分下的“高清社会”中，传统的法律思维受到冲击和挑战。第一，在传统“低清社会”中，法律看到的可能是一个模模糊糊的抽象人，“法律面前人人平等”，更容易保证法律的公平性，但是在“高清社会”，人的具体细节无处躲藏，法律的公平是否能够得到保证？第二，在“高清社会”中，通过算法加持，法律的针对性更强，针对某些群体的偏见增强（比如机票购买中的价格歧视），这就使得“法律的普遍性”理念受到挑战。算法背后是否真的依照数理逻辑运行？是否存在人的意志因素进行操控？第三，“高清社会”使得正义女神摘掉那层蒙眼布，而蒙眼布恰恰是正义女神作出公正裁决的要件。那么，留给大家的问题是，“高清社会”中，法律公正是否还有可能？

吴玄老师认为，个人的社会评价体系包括道德标准和生活习惯等诸多方面。个人处于社会交往中，社会评价无可避免，但这种评价往往是隐形的，个体无法得知其影响究竟有多深。事实上，早在19世纪末，美国已经逐步建立起平台为主体的商业评价体系，以方便商业合作，即使是美国首富，如果不主动融入社会信用评价体系，在商业活动中也寸步难行。换言之，整个我们今天所讨论的社会信用评价体系，是跟商业社会的运作密不可分的。另一方面，我国现在大力推动征信体系的建设，其背后的动因在于，失信惩戒相对于法律来说也是一种社会治理的软力量，社会中的有些数据和信息也只有具备主体性优势的政府可以获得，这种政府公共数据的再利用方式，如果管理得当，可以有效发挥大数据的潜力。当然，这种情况下如何对政府权力进行有效规制从而保证政府更好履行职责，也成为值得关注的重点问题。

结语

本期讲座继续透过科幻作品中呈现的社会现象，分析现实中各国在大数据和人工智能时代面临的社会治理问题。如各位老师均认同的，《黑镜》已经超越了科幻片的范畴，是一部超现实主义、反乌托邦作品，其中几乎每一个场景都可以我们的生活中找到对应物。通过《急转直下/Nosedive》故事情节，各位老师为听众们呈现了一场精彩的讨论，从人的自我意识、社会属性到当下社会结构面临的变化、各国的治理实践等多个视角，反思算法控制之下个人社会评价的问题，并相应地引发了对法律和社会治理模式未来出路的讨论。本场讲座延续了科幻照进现实的风格，相信郑戈、丁晓东、刘晗、吴玄老师厚积薄发的讲授和深入浅出的交流将为听众们对“社会信用评分”这个时下热门议题产生带来更多的思考和共鸣。