赵洲洋 | 智能社会治理中的民众权益保障： 困境、挑战与优化

●  

摘要

  ●

人工智能（AI）等大数据技术已深度应用于社会治理与公共服务供给，构建了智能社会治理与服务，推动了民众权益范围的扩展、程度的深化与享用的便捷。但其在就业、社会救助和司法等领域的应用，对民众权益也构成了重大威胁。人工智能等技术的运作嵌入而非超越既有的权力关系；同时，掌握数字技术能力的差别模糊和弱化了侵权方的责任，削弱了传统上行之有效的追责机制；此外，数字技术对高技术企业的赋权，令公私权力面临嬗变，使得一些未经授权的行动者可以监视和侵扰民众、传播虚假信息、破坏公众对知识的信任；而自动决策系统基于预设而非参与的算法决策，可能对无法发声的群体造成更大伤害，进而可能导致权力与财富不平等的再生产。应对数字技术给民众权益保障带来的挑战，需要努力确保新技术的开发和使用以尊重和促进人的基本权利为基础和原则。同时，必须重新审视传统公共和私人之间权责的区分，以有效应对与技术创新相关的国家和企业行动所产生的后果。

●  

作者简介

  ●

赵洲洋，中共中央党校（国家行政学院）政法部讲师

本文载于《社会科学》2022年第6期

目  次

一、问题的提出

二、智能社会治理与服务中民众权益面临的结构困境

三、智能社会治理与服务模式带来的新挑战

四、优化智能社会治理与服务的路径

一、问题的提出

技术对人们享有权利和福利产生了巨大且深远的影响。信息时代越来越多的技术创新、迭代都以数据为基础。与以往的技术相比，数据与数字技术更加灵活、更易于流动，使其影响的范围更大。以大数据、云计算等数字技术为基础，使机器实现感知、认知、决策、行动等智能行为的人工智能，更是引领了新一轮科技革命和产业变革，增强了人类自我改造能力，丰富了社会治理的实践方式，营造了空前透明的社会环境，推动人类社会迎来人机协同、跨界整合、共创分享的智能时代，助推了民众权益的扩展、深化与享有的便捷。中国顺应时代地提出，推动互联网、大数据、人工智能和实体经济深度融合，建设智慧社会。智慧社会是高度网络化、数字化和智能化的社会，其基本特征是在数字化基础上实现万物感知，在网络化基础上实现万物互联，在智能化基础上使社会更智慧，它是面向生活过程与社会细节的治理和服务模式的发展愿景，也将改变人们的社会连接方式，重组生产组织方式，重塑生活方式。

面对智慧社会带来的变革且作为智慧社会建设的重要方面，党的十九届中央历次全会提出“建立健全运用互联网、大数据、人工智能等技术手段进行行政管理的制度规则”，“以数字化转型整体驱动治理方式变革”，“科技支撑的社会治理体系”与“信息化支撑的社会管理服务平台”等要求，要求将大数据、云计算、人工智能等前沿智能技术运用于社会治理场景。对此，各地近年来纷纷出台各类举措，释放创新潜力，为利用数字技术进行智能社会治理与服务建设进行了有益的探索。越来越多的治理主体加入智能社会治理中来，基本形成“政府+公民+企业+组织+科研机构”的多元治理模式。在就业、教育、卫生、养老、社会保障与救助以及司法等社会治理与服务领域，通过判别服务对象、登记服务信息、预测可能的风险与服务内容等数字技术，公、私治理主体已经将云储存、算法决策、人工智能与数字识别等数字技术应用于社会治理与服务。以数字技术为支撑的智慧社会治理与服务具有明显的高效性、预测性和混合性，增强了社会治理的整体性、回应性、开放性和合作性。但同时它也具有不透明性和部分自主性。为了应对人工智能(AI)、间谍软件和数字化国家等数字技术的影响，有研究者批判性地指出，如果不能从根本上改变对技术和私人行为的理解进路，就难以确保新技术的开发和运用会尊重和促进民众的根本利益。那么在以数字化技术为支撑的社会治理中，是否存在数字技术难以突破的关于权益保障的结构性困境？数字技术的发展又为什么难以缓解甚至加剧一些结构性矛盾？与此同时，将数字技术应用于社会治理与服务又对民众的权益和问责体系带来了什么新的挑战？又应该如何解决这些结构性困境与新兴挑战？中国和欧美国家几乎同时开启智慧社会治理与服务，考察国外经验，对于理解智慧社会治理中民众权益保障的问题具有重要意义。

为此，文章将以既有研究为基础，首先挖掘数字技术应用于社会治理与服务所形成的智能社会治理与服务依旧难以突破的结构性困境，以及其形成的机制，着重探讨数字技术自身特性及其对公共权力、问责机制以及社会治理与服务中私人权力的影响。其次，探究数字技术应用于社会治理与服务所引发的对民众权益和责任体系所带来的新挑战。需要注意的是，社会治理本身内含多主体性，以及数字技术的赋权，令高科技企业提供的数据和相关服务具有公共性，成为具有部分公共权力的主体，其运作过程也在行使公共权力，可能对民众的权益和国家问责体系造成影响。例如国家或企业未经授权即使用新技术形成的工具来监视甚至威吓民众，这不仅对民众的福利构成风险，还会更根本地撼动传统的责任体系，模糊并削弱了损害权利行为的责任，进而导致不平等。最后，由于人工智能的认知、决策、行动能力强大，将从价值、技术和制度几个层面尝试提出，在实践中应对这些挑战有效的方式。

二、智能社会治理与服务中

民众权益面临的结构困境

和历史上的技术进步一样，数字技术的发展也影响着涉及民众权利和大众福利的法律制度和社会实践，但数字技术应用于社会治理也存在一些难以突破的困境，甚至加深了一些结构性矛盾。首先，数字技术本身深深嵌入原有社会的权力关系之中；其次，它可能阻碍和破坏传统的问责与追责机制；第三，由于数字技术的尖端性，使得传统上不受法律和制度约束的私人行为者，拥有越来越多、越来越大的公共责任和权力。这三者是数字时代智能社会治理与服务在结构上对民众权益的侵害。

（一）技术嵌入既有权力关系

数字技术所支撑的智能社会治理与服务并未能突破传统的权力结构，甚至数字技术被质疑为一场由精英主导的游戏。技术通常被视为分散和破坏稳定权力关系的手段，如兰德（Land）等人就认为技术为民众更广泛、更真实地提出诉求和保护民众权益提供了机会。尽管调查技术的发展可以关键性地推动问责运作，但从整体上来看，“技术能够增强民众权益与社会福利”的假设并未在实践上被证实。图费克奇（Tufekci）对“阿拉伯之春”和“占领华尔街”运动中社交媒体所发挥的作用进行了研究，他发现，尽管技术推动社会运动以惊人的速度发展，但速度也限制了其发展成熟的能力，而这种能力是使社会运动能够拥有长期权威和效力的关键。正如占领华尔街和“黄马甲”等运动所表明的那样，技术确实在许多方面有助于普通民众提出诉求，但倡导关于民众权益的长期变革依旧十分重要。

针对科学和技术作用的研究认为“传统的科学和创新政策会增加不平等，除非它们是专门为增进平等而设计的”。这源于设计、开发、运营技术具有一定垄断性，从而使其设计者、开发者与运营者拥有特权。市场激励为导向的创新系统与模式，无论是知识产权系统，还是西方社交媒体生态，在结构上都倾向于满足那些本已富裕或有权势群体的需求。正如比拉内(Birhane) 所说，“技术从来都不是中立的或客观的——它就像一面镜子，反映了社会偏见、不公平和不公正”。兰德等人详细说明了权力不平衡嵌入技术系统的几种方式，从基于假设的家庭人口数量来安装的供水系统，到对于新的气候适应技术或数据分析工具的需求与负担能力不匹配，再到数据挖掘、政策算法和预测风险模型各个环节，数字技术的运用最终不可避免地会复制并进一步加深现有的不平等和权力失衡。

（二） “数字鸿沟”与问责失效

除延续不平等的权力框架外，技术还影响了追究侵犯民众权利与大众福利行为责任的能力。除用途好坏之别外，在许多情况下，技术可能帮助隐匿信息，并进一步导致责任追溯困境。应用数字技术还会模糊和分裂权威，从而使传统的促进问责的机制失效。

技术使得辨别违规者的身份更加困难，所以追责变得更加复杂与困难。即使涉及到价值判断，公私治理主体也积极推动自动化决策，而技术所支撑的自动化决策使违规行为变得更加隐蔽，令原本必定被视为损害的行为变得自然而然。例如，预付费式水表要求先预付水费再供水，若未付款则会被断水，然而在实践中，预付费和直接断水两种供水系统的处理方式截然不同，后者有法律保护，防止被错误剥夺，而前者却缺乏此类保护。

此外，决策自动化弱化了对侵权行为的追责，也会破坏羞耻、社会化等机制，这些机制是维护民众权利和大众福利所依赖的。因数字技术的去时间性和去地域性，运行某项技术的人员可能并不会对由此产生的任何违规行为承担责任，因为他们本身并未直接造成伤害。例如市政机构的工作人员可以决定安装可能在未来某一时刻断水的水表，但民众对他们施加压力很困难，因此当发生断水时，并没有人会以此为憾事。

（三）技术赋权与公私关系嬗变

在新的数字技术的创新、开发和推广中，私营机构起到了重要作用，这些企业是非常强大的信息和交流把关人，他们控制普通民众的表达活动、用户之间的联系以及民众获取信息的途径。这就使得在数字技术时代，私人机构，特别是高科技企业在基础设施和社会治理与服务中占据了重要的地位，它们也因技术垄断了大量的公共权力。

针对私营公司掌握公共权力、提供公共服务这一新情况，各国政府的态度并不一致。在许多领域，美国政府越来越多地授权这些私营公司，使它们成为治理和监管的代理人。特别是，政府将线上表达活动的监管权下放给私营公司，它们因此有权决定是否公开那些被上传到私营平台的侵犯他人权益的证据。私营公司还研发和销售既能实施又能阻止监视的技术，配合或拒绝政府监视某些个人的要求，并创建可能决定人们生死的算法和武器系统。这些决定通常是出于商业利益，而不是基于对公共利益或权益保障的关切才做出的。尽管如此，目前处理商业组织侵害权益的框架，仍旧建立在国家行使的公共权力与公司行使的私人权力的划分基础上，两者泾渭分明，其中公共权力需遵守尊重和保护权利的约束性义务，而私人权力是个体权利，不仅不必遵守约束性义务，而且还需被尊重和保护。因此，目前美国等国家对于个人权益保护的相关法律规定，并不适用于这种划分，且无法有效弥合两者的区分。

治理理论指明了公共权力和私人权力不可逆地交织在一起的状况和前景，应该用什么样的框架来分析两者深度交融的状况呢？公共机构为私有技术提供资金、销售渠道并建立了创新系统，当国家要求非国家行为者规范用户的言论时，公司是否仅需负尊重言论自由的道德责任？当公司设计并建立的人工智能系统，在言论监管背景下复制种族或性别偏见时，能否要求公司对其造成的权益损害负责？政府用私人公司设计建立的系统设置就业条件与社保缴费率，一旦造成了危害应由谁来负责？所谓公共事务和私人事务之间的区别已经过时了，过分关注它，还影响我们对更为重要的责任体系与权益救济的关注。

三、智能社会治理

与服务模式带来的新挑战

除了智能社会治理与服务面临的三项结构性障碍外，数字技术应用于社会治理与服务时还引发了一些新的挑战。近期数字技术对权益保护造成的挑战，包括政府进行的信息监视与骚扰对公民隐私权利的破坏、算法自动化决策和深度造假背景下人工智能与社会不平等的再生产，以及数字国家兴起造成的新的责任困境。

（一）信息监控与公民权益救济困境

时至今日，技术作为国家权力潜在破坏者的时代早已过去，它更多地被用以加强和巩固国家权力。手机和社交媒体等技术在很大程度上已被国家利用，政府和与为国家及资本服务的私人行动者，使用异常强大的间谍软件和其他新工具来控制和管理信息空间，从而限制为争取社会权益与福利而活动的社会人士。这些工具可分为侵扰工具和监视工具。米吉多（Megiddo）就认为，政府的监视和虚假信息，会极大地威胁和破坏民众权益和法治，这些“数字控制措施”的危害已不仅仅侵犯了个人隐私，还对自由和法治造成了重大危害，因此应该被概念化为“一套构成政府压迫威胁的控制措施”。 

1.侵扰。西方国家的精英越来越多地使用社交媒体等工具来攻击和削弱威胁者。正如美国律师协会人权中心的一份报告中所显示，政府和与政府关系密切的一些行动者正通过社交媒体平台骚扰和恐吓为民众权益保护而活动的人士。其造成的寒蝉效应，不仅对活动者个人产生作用，而且还会削弱公众对他们活动的支持。政府及相关方积极通过恶搞或造谣，或通过威胁公民和活动人士的切身利益，以诋毁他们表达的内容。事实上，社交媒体的强大力量正在为政府所用，以对抗和控制为民众权利和社会福利而活动的人士，政府利用了网络分布式架构和低把关的组织方式，来诋毁和混淆对立的信息来源。变革成功与否的前提是倡议者传达可靠信息的能力，但在充斥假新闻和巨魔农场的环境中，即使那些有资源查证信息来源的人也很难知道该相信什么。

因此，尽管许多学者和活动人士认为海量的信息源会使审查更加困难，从而间接有利于民众表达诉求和政府提升回应性。但各国政府则改变审查和应对的策略，政府意识到它们不必阻止言论，而只需诋毁它即可。它们也不需要特别准确地表达它们所怀疑的信息，相反，要破坏公众动员，只需抹黑所有的信息来源，当人们不知道该相信什么的时候，就什么也不会相信、什么也不会做。宣传正在削弱真相的意义，从而破坏基于事实进行组织的能力。政府为削弱异议、限制民间社会组织的空间甚至在某些情况下煽动暴力，而传播的虚假信息和错误信息威力巨大，在技术和社交媒体素养水平低且缺乏强大独立媒体的环境中更是如此。

人工智能系统自动生成的虚假音频或视频，越来越成为虚假信息的来源，利用旧视频合成没有现实依据的全新内容。这种深度造假对个人和社会造成了一系列危害，格里高利(Gregory) 认为“这些精心制造的假信息可能会被用来进行可信度攻击、混淆调查，并煽动针对社会活动人士的暴力行为”。他建议，平台与搜索引擎有责任设计和监督生成式人工智能系统（AI）上述功能。他坚持认为，公司需要在产品设计之初就考虑人工智能等技术的潜在危害，而不仅仅是对已发布产品所造成的危害做出反应。政府也有责任确立一个有效的制度框架来防范潜在危害。

虚假信息不仅对维权活动人士个人构成威胁，而且往往蓄意破坏他们追究损害权益行为的努力。因此，通过数字技术工具进行的信息侵扰旨在限制赋权权利（empowerment rights），即既惩戒行使这些权利的具体行为，也可以更普遍地用于“阻止挑战国家权威的组织和动员意图”。科普(Cope)等指出，“信息和通信技术的进步已经并可能继续降低政府实施大规模预防性镇压的成本”。因此，以数字技术为基础的新型侵扰工具使得追究国家责任比以往都更加困难。

2.监视。西方各国还在使用监视工具来维持和巩固权力。一些国家政府就在使用由以色列NSO集团公司生产的Pegasus间谍软件，来监视和攻击一些维权人士。一旦被安装到手机上，Pegasus软件可以自动提取设备上所有数据，如短信、联系人、GPS位置、电子邮件和浏览器的历史记录。它还可以通过使用手机麦克风和摄像头来记录用户周围的环境，从而创建新的数据。如生物识别数据、禁止在线加密和匿名、公共场所的面部识别等技术也被用以监视人群，即使是普通的手机也会产生大量数据，可用于识别个人的位置和行动轨迹。通过技术制造商和平台所有者收集的海量的各种数据，使精准跟踪个人的身体活动、运动、交流和消费信息成为可能。人工智能、云计算等技术手段和缺乏保护精确隐私的法律框架，使这种监控几乎能够在所有公私空间中实时进行。许多国家为了进一步推进这种监视活动，还限制民众使用加密技术、禁止可能掩盖互联网用户身份和位置的VPN（虚拟专用网络），并威胁对记录侵权行为的人施以人身暴力。正如威兹曼(Weizman)所描述的，如内置摄像功能的手机等最初被认为能够监督国家的工具，经由政府及相关技术公司的“改造”，已被西方国家“武器化”。

面对突如其来的新冠肺炎疫情，为了更加有效控制疫情而建立的公共卫生追踪机制，可能也会导致更具侵入性的监视，尤其是由不符合隐私保护标准的私人机构进行的监视。各国普遍使用智能手机追踪病毒传播轨迹，监控人们是否遵守居家隔离指令。这些软件搜集用户的历史位置等个人信息，在第三方服务器上储存这些信息，有些商家还在软件中嵌入了秘密搜集用户信息的“后门”。澳大利亚的“新冠肺炎安全”软件使用蓝牙科技，可以自动在用户手机上启动位置定位。该软件将海量数据储存在美国亚马逊公司的云存储器中，需遵守美国《澄清境外数据合法使用法》，美国执法机构可利用该法案调用存储在境外互联网上的数据。许多人担心，如果紧急措施正常化，或政府利用危机来制定原本不可接受的措施，抑或如果公民更倾向于接受对其权利的限制，为应对特殊危机状态而采取的措施，就可能会被固定为日常性措施。

侵扰和监视都涉及深度交融的公共和私人行动，例如，在线的宣传通常通过网络中心或巨魔农场等私人公司的系统来进行，诸如Pegasus之类的间谍软件是由私人公司创建和销售的，却被公共权力用以进行监视活动。鉴于监视的危害，联合国特别报告员呼吁“除非科技公司提供令人信服的证据，证明自己在尽职调查、透明度和责任等方面已采取足够的措施……来防止或减轻使用这些技术侵犯民众权益”， 科技公司应停止生产和销售监视技术。因此，数字化时代的公共与私人的关系，正如米吉多所说，“外包数字压迫揭示了私人和公共权力的结合，这与以往的政府和私人商业行为者之间的关系不同”。

（二）自动决策与社会不平等再生产

在过去几年中，人们越来越关注基于算法的决策对民众权益和大众福利的影响。人工智能研究院（AI Now Institute）将自动决策系统定义为“数据驱动的将原由人实行的程序、实践或政策得以自动化的技术，可以用于预测、识别、监督、检测和针对个人或社区等目的”。这些技术被广泛应用于各种场景，包括“分配有限的政府资源（如公共福利或卫生服务）；预见并可能预防特定风险；消除或限制决策中的自由裁量权；并提供人本身无法进行的大规模和大范围分析”。

许多公司、计算科学家和决策科学家都对自动化决策系统大加推崇，可以通过大数据驱动的议程设置信息化、备择方案讨论全民化、决策执行自动化、决策评估实时化、全过程跨领域综合集成化等公共决策创新，消除社会和政治议题中的人为偏见。相较于人类，这些系统处理数据的能力更强、规模更大、速度更快，人类不得不依赖文化启发法来克服信息鸿沟，但理论上人工智能系统不会受到这种障碍的影响。此类系统已被用于帮助警方预测犯罪热点、调节交通、确定犯罪嫌疑人的社会风险、探查某人是否参与金融欺诈或贷款额度、判断工作匹配度、选择要在线上向用户展示的广告、判别特定社交媒体帖子是否违反了平台标准或当地法律，并在法律和安全环境中创建面部和生物识别系统。

然而，研究者和人工智能批评者已经证明，这些所谓的中立或客观的人工智能系统复制了它们所运用数据中固有的偏见，或者将特定的思维方式转化为代码。正如奥尼尔(O’Neil）所说，算法是嵌入在代码中的观点，不同于人们将算法视为是客观、真实、科学的。另外，因为信任和害怕数字，而用算法来恐吓用户，让用户信任和恐惧算法，这也是一种营销技巧。但当我们盲目相信大数据时，很多事情都会出错。

人工智能在就业信息、就业保障和公共卫生方面的应用，以及其在司法系统保释、审判、警务和假释等过程中潜在的负面影响，也受到了关注。人工智能在人脸识别系统、社会救济系统、自动驾驶汽车等领域对民众权益和社会福利的影响也备受关注。在互联网基础设施中人工智能直接影响世界各地的人们如何与他人交流、分享观点、参与政治行动以及在线查找信息，但人工智能系统存在的偏见早已为人所知。搜索引擎和社交媒体平台等在线中介机构使用人工智能以多种方式控制人们访问其平台内容，包括决定显示的信息、产品、服务或其他帖子的内容。对信息内容的隐现和排序是数字时代重要的公共权力，在一些情况下，对信息的隐现或排序可能源于道德原因，不便于民众搜索和运用信息；而有一些可能会侵犯言论自由、隐私和集会自由等基本权利。当人工智能被用以监管言论和交流时，它可能有意或无意地屏蔽某些具有公共价值的主题、图像或话语。人工智能系统也对残障人士有很大的影响。随着人工智能系统越来越多地用于匹配工作岗位、确定公共服务获得资格、确定空间设计方案以及公民身份获益权，残疾人士尤其会受到这类系统如何定义正常和残障的影响。

在过去几年中，面部识别系统可能对人身权利造成的侵害也令人担忧。面部识别系统被广泛地应用在各国的执法、公共安全和维护社会秩序行动中。除面部识别系统存在很大谬误外，在美国和一些西方国家，人工智能为内核的面部识别系统也被证明在多种方面存在歧视，尤其是针对女性和有色人群。执法部门使用设计不佳的技术进行识别，会产生很高的错误识别率，进一步导致损害民众权益的风险，尤其是被应用于已经在因过度监管而苦苦挣扎的少数族裔社区。基于皮卡尔(Picard) 在“情感计算”方面的开创性工作，科学家和技术公司最近提出，人工智能系统可以超越单纯的身份识别，还能检测从情感、影响、犯罪到性行为等多种特征，面部识别工具甚至有朝一日能够预测政治意识形态和智商得分。尽管其中一些功能有潜在的有益用途（如对抑郁或焦虑的自动视觉筛查），但无论预测是否准确，此类系统都对隐私构成巨大威胁。因对面部识别系统中固有歧视和侵犯隐私的担忧，它被如奥克兰、伯克利、萨默维尔和波特兰等许多城市禁止使用，值得思考的是，这些城市正是许多生产这些系统代码的公司所在地。一些社会活动家、学者和许多技术开发人员担心这些系统将被用来扼杀言论和集会自由，对本已脆弱的少数群体造成更大的影响，而以超越传统的警务和公共安全的方式使用这些技术，容易出现重大错误，导致错误逮捕或定罪。

除了可能侵犯隐私和具有偏见外，人工智能和自动化还可能会限制劳动者权利。例如，泰勒（Taylor）就认为，大部分人工智能革命的内容实际上是炒作，旨在吓唬员工，使得他们因为担心最终会被机器取代，而少对资方提出要求。许多看似由人工智能完成的工作，实际上是通过像亚马逊的Mechanical Turk这样的系统将任务分解，再向低收入群体发包来完成的。泰勒等人称这种现象为“人造自动化”（fauxtomation），在某些情况下，“人造自动化”只是一种廉价的营销噱头。但在其他情况下，凭借社交媒体与数字网络，资本实现了对劳动控制的转型升级，劳动被更为细致地分化，现代人成为被数字所架构的数字劳动主体的同时，资本剥削的触角也延伸至人内在的生命活动。数字技术不仅成为一种限制劳工的手段，使工人不敢也无法保护自己的基本权利；而且导致社会呈现出资本集中的趋势，以及依赖与贫困化的趋势，这使得劳动者所遭遇的不仅仅是金钱的贫困，更是一种思想的贫困。

最后，人工智能技术也催生了进一步加剧全球不平等的数据市场。例如，急于将人工智能引入欠发达国家有可能导致算法殖民，在这种殖民体系中，被剥夺权利和被边缘化的人的数据被提取出来用以获取价值，最有权势的全球公司和机构从中获益，而供给数据的人却丧失了隐私，付出了巨大的代价。

（三）数字化国家与新的责任困境

前联合国极端贫困与人权问题特别代表菲利普·阿尔斯通（Alston）在提交给联合国的报告中，着重探讨了利用技术系统提供社会保护和援助的“数字福利国家”的发展，以及这种方式对最弱势群体权利的影响。为了追求效率和效果，西方各国越来越多地使用生物识别和算法等技术来确定接受社会援助的资格，并管理获得福利的机会与流程。尽管这些技术“被描述为科学和中立的，但它们所反映的价值观和预设却与普惠的福利原则相去甚远，甚至可能背道而驰”。

利用技术救助社会中最弱势群体，事实上给他们带来了沉重的负担，因为他们驾驭这些技术的能力最弱。皮尤研究中心（Pew Research Center）的一份报告显示，10%的美国人根本不使用互联网，这其中的大多数人都是贫困群体、少数族裔、农村人口和老年人口以及没接受过高中教育的人。正如阿尔斯通所指出的那样，数字素养的匮乏会导致一些人群根本无法使用基本的数字工具，遑论有效和高效地使用了。同时互联网的可及性也并非均质，对于那些需要支付高额费用、需要旷工、需要去图书馆等公共设施、或必须向他人求助才能上网的人来说，上网获取社会援助为他们的生活设置了额外的障碍。此外，数字化的福利国家也会不成比例地影响最弱势群体的权利，因为它伴随着更大的隐私负担，而这些负担则由贫困及无权者承担。数字化技术使得国家能够更容易地监视、识别、骚扰和惩罚福利受益人，尤其是其中最贫穷和最脆弱的人。

事实上，阿尔斯通报告关于数字技术对社会治理与服务影响的分析，并不局限于社会保护和福利国家的范畴，还针对更广泛的数字化国家，因为每当政府采用新技术来进行治理和提供服务时，最脆弱的群体都有受到伤害的风险。对数字国家的担忧也与联合国等国际组织相关，因为它们在人道主义行动中采用了大量未经测试的新技术。如最近联合国世界粮食计划署与数据挖掘公司Palantir之间的合作就受到广泛批评，因为该公司的商业模式在疫苗分配领域存在侵犯基本人权的问题。

采用新技术来解决治理问题也是有风险的，因为技术系统将内嵌性地反映设计者的特权。如南非约翰内斯堡在贫困社区安装的预付费式水表，这些社区居民经常无钱支付水费。为解决财务问题，约翰内斯堡水务公司（Johannesburg Water）推出了新型水表作为技术解决方案。预付式水表每月只给每个家庭分配少量的免费水，而不足的部分则需要通过购买水表代币来补充。尽管安装新水表主要是为了提高供水效率，但它反映并延续了固有的特权。例如约翰内斯堡水务公司为费里（Phiri）社区的每户家庭分配6000升的免费水，假设一个家庭内有8口人，那么这个家庭每人每天就能够分到25升水。但事实上，费里社区家庭平均有16口人，这就使得原本就微薄的用水补贴被减半。那些决定何时停止供水的人是根据自己的经验做出了上述家庭人口数的假设，而其经验就反映了财富的分配与环境。

技术还使对侵犯权益行为提出质疑变得更加困难，因为这些行为所产生的恶劣影响通常由那些没有能力挑战其影响的人承担。为什么没有法律和技术保障的预付费式水表会安装在像费里这样的脆弱社区？可能是因为在更富裕的社区安装这种水表可能会招致更大的公众抗议和政治压力。同样，阿尔斯通指出，“许多领取福利的人因相对剥夺和无能为力被强加了条件和要求，如果改为在成员较为富裕的社区进行，这些条件、要求和形式就永远不会被接受”。

此外，在利用技术提供公共产品时，深度交融的公共和私人行动可能令追究侵犯权利行为的责任更加困难。“在设计、建设甚至运营数字化国家的部分过程中，私营部门甚至发挥着主导作用”。然而，这些公司在运作的过程中“几乎不考虑民众权益”，因为它们自己抵制监管，同时受新自由主义影响，政府也抵制监管私营公司。对私人行为者的依赖也带来了价值观冲突的风险，私营行为体参与福利供给和社会援助系统的动机不同，可能会导致福利系统本应服务的公共利益与公司及其私人利益之间的冲突。因此，当在数据资本主义基础上建立的商业公司，承担了设计监控贫困者使用公共援助技术的责任时，保护贫困者的隐私权就变得更加困难。水表的例子就显示出，私人参与者为了营利而开发的技术如何损害了民众的基本权益。在商业环境中引入新技术通常需要投资，而投资可能会导致并锁定后续的错误。在费里的个案中，公司安装仪表的巨额成本成为支持保留新系统的法律依据，在诉讼期间，约翰内斯堡市辩称，卸载预付费式电表将对自来水公司的“财务和可持续性”产生重大影响。因此，该项技术已因为成本，成为一种自我实现式的预言，一旦安装，它及它对权利造成的任何损害将会被锁定。

最后，也许最令人担忧的是，使用技术来实现权利的方式巩固和强化了一种商品化的意识形态，在这种意识形态中，诸如水、住房、电力和食物等只是需要提供的商品，而不是生活所需的基本权利。正如阿尔斯通所指出的那样，引入新技术也有可能会破坏享有经济权利，促进向官僚程序的转变，而背离了以社会保障权或社会保护权为前提的程序。同样，对约翰内斯堡的管理者来说，安装水表的理由似乎是合理和适当的——新水表可以限制浪费并确保居民支付水费。但是当居民买不起额外的预付代币时，他们的生活就遭受了极大的困难。那些本就靠微薄资源生活的人被迫做出不可能的选择，限制他们自己和家人的基本卫生与需求，以确保免费用水量可以持续整月。当供水的目标是以回收成本而不是提供基本需求为导向时，贫困者不可避免地遭受损失。

四、优化智能社会治理

与服务的路径

从西方国家智能社会治理与服务的过程可以发现，当今技术对人们权益构成的威胁并不是像流行文化和科幻小说中描绘的那样，机器摆脱了人类控制，成为自为的破坏者。相反，技术以相当平常的方式威胁着民众权利和大众福利，除侵扰公民隐私权外，技术将知识和权力集中在那些已经掌握它们的人手中，并进一步剥夺那些无权者，造成不平等的再生产；同时造成传统追责机制失效。对此，需要从价值导向、技术设计实践和制度与法律等几个层面着手，提出应对这些问题的具体策略。

（一）价值导向

人工智能从诞生的那一刻起，就让人类陷入一定程度的忧虑和恐惧当中。智慧社会蕴含着推动社会发展的巨大潜能，也具有无可否认的风险，要遏制人工智能带来的风险，最大限度地消除人工智能的负面影响，发挥“负责任”的人工智能，可以助力社会治理走向善治。“负责任”已成为发展人工智能的高频词汇，2019年5月，OECD成员国签署政府间《人工智能推荐性原则和建议》，呼吁发展负责任的人工智能。“负责任”涵盖了人工智能的基础研发层到应用层，更应成为贯穿人工智能发展的一条主线。无论是人工智能提供的产品还是服务，都应该是负责任的、全面的，应该以增进人类共同福祉为目标，应该符合人类的价值观和伦理道德，避免误用，禁止滥用。

 人工智能的到来使得一些人高呼“一切皆可计算”。需要警惕这种技术理性控制与人文精神流失的行为，无论何时发展都应以人为中心，最终的目标也是要实现人的自由全面发展。以发展人工智能来提升人民生活品质，抓住教育、医疗、养老等社会民生领域的突出矛盾和难点。大力发展智慧社会治理与服务，让人类生活更便捷、自在、舒适。以人工智能在人们日常工作学习生活中的深度应用，创造更加智能的工作和生活方式，来促进人的全面发展，从保障和改善民生，为人民创造美好生活的需要出发，让改革成果更多惠及人民，智慧社会变革在一定程度上导致了社会分层和利益分化。人工智能的负面效应造成的损失需要政府承担调解和再分配与缩小贫富差距，使民众感受到社会公平，因此要加强对劳动者的保护，建立完善的社会保障制度，切实保障民众基本生活，对于因人工智能而失业的人来说，政府应该加大对人工智能企业的税收，并进一步将税收转化为失业人群的短期失业福利，以完善的社会保障制度，增加群众的幸福感、获得感、安全感。

（二）技术设计

首先，面对智慧社会治理中的隐私问题，学者们提出了技术解决方案的方向：第一，去识别化（de-identification），即在数据分析过程中避免将某一个特定人从人群识别出来。一是通过差分隐私（differential privacy）；一是通过k-匿名（k-anonymity）。第二，限制搜索（limited searchability）。例如Snapchat的“阅后即焚”功能，用户拍摄照片或视频发送给好友，好友阅后照片或视频将自动焚毁。

其次，要解决社会不平等问题需要采取积极措施，在技术设计过程中分散知识和权力。多年来，政策、法律部门和技术界一直在讨论如开源运动等替代性的参与式设计和技术开发的愿景。然而，大多数研究者都主要关注掌握权力技术优势的发达国家的参与者，但最近关于设计正义的研究认为，来自发展中国家的弱势群体成员和专家必须参与决策，共商这些技术的未来。正如皮拉克（Piracés）指出的，正在进行的关于人工智能和包容性的关键对话，“有可能蕴含着被‘人工智能社会’塑造的风险，这一对话讨论的是包容，但却没有真正包括边缘化人群的声音。人工智能生态系统设计中若未考虑边缘化人群的声音，他们可能遭受技术的侵害。”参与式设计还要确保技术满足从业者和权益捍卫者对隐私、安全和免受伤害的需求，保护民众的权利与福利“需要开放、分散化的平台，和不会保存用户信息并出售的工作人员”，如果无法保证上述条件，滥用平台收集数据可能使人们面临被骚扰和攻击的风险。

对于发展中国家而言，要避免民众被日益边缘化，需要在地方层面来探讨国家采用哪些技术。不应在不清楚“潜在目的是什么、谁受益以及谁可能受损，就简单地引进最新、最先进的机器学习系统或其他的人工智能工具”。由非洲民众自己领导的保护非洲大陆国家免受西方公司和思维方式剥削，并建立基于地方专业知识和企业的运动正方兴未艾。南非土人会议深度学习项目（Deep Learning Indaba）可能是此类运动最明显的实例，该组织赞助了各种针对特定国家和整个非洲大陆的项目，将非洲计算机科学家和程序员聚集在一起，来教授、学习和开发系统，用以解决共同关心的技术和社会问题的，Indaba旨在发出非洲的声音，成为一个由非洲主导的空间。

来自世界各地的科学家还积极参与伦理、法律和社会问题的讨论，如在计算机协会年会中组织公平、问责和透明度会议等活动。科技工作者也开始组织起来，反对将他们的设计与产品用于明显侵犯民众权利和大众福利之处。一些大学的教师和学生抗议美国移民和海关执法局使用亚马逊网络服务、GitHub和 Palantir等平台与软件，这表明软件工程师和科技工作者更加关注和捍卫自己智力创造的社会用途。然而，格林却质疑科技人士是否有完善的、能够妥善处理这些具有挑战性问题的社会和道德框架。由于缺乏方法和理论来清晰地理解“善”的实际含义，计算科学家通常采用狭隘的方法来理解政治，包括对什么样的社会条件在价值上是可取的，也仅仅提出模糊的（几乎是重复的）主张。计算科学本身也“倾向于想当然地认为，以技术为中心的渐进式改革是促进社会进步的合宜策略”，但仅通过技术可能无法解决潜在的不平等和压迫，而不平等和压迫会产生负面的社会结果，计算科学家只试图通过他们的技术干预来补救。为了提高效率与效能，技术专家仍需在新技术的开发、设计和运用过程中全面、共同协作。

参与进程也需要透明度。由于自动化决策技术的发展，人们通常没有机会去审查被用于分析的数据、其背后的代码或其中嵌入的假设和价值判断。不仅不从事程序员工作的人难以理解这些代码，而且公司还经常不遗余力地将它们作为商业机密加以保护。这就难以测试人工智能系统的准确性或更好地理解其局限性，正如拉姆 (Ram) 等人所言，当自动化系统做出关涉生死的决定时，通过增强技术透明度来监督数字技术的能力至关重要。

（三）制度与法律

在技术创新领域中，公共部门同私营企业的行动深深交融的情况下，除实践技术外，重新认识有关维护民众权利和大众福利的制度，以及法律中的公/私区分是必要的。这并不意味着制度与法律是无关紧要的，而是它们必须以某种方式发展，以弥补应用新技术所造成的责任缺口。如当政府通过将权力外包给私营公司来审查它们自己无法审查的内容，来规避对其权力的检查时，或者当公众无法补救他们所不了解的自动化系统造成的损害时，就会出现责任缺口而难以问责。在这种情况下，对公共权力和私人权力的严格区分并不能促进作为保护民众权益基础的问责制和实现补救的根本目标。然而，可以更新和实施国家在国际层面的行动和国内法的规则，以确保国家无法逃避与使用新技术相关的损害的责任。

解决新技术的潜在危害还要求各国认真履行保护个人免受非国家行为者伤害的责任。国家可能要求私营公司自行制定评估技术产生影响的流程并将之制度化，要求技术公司必须将风险评估纳入技术开发和设计系统，以便在涉及侵权风险之前便排除它。国家不仅需要承担推进技术创新和发展技术的义务，而且还必须担负以支持而不是阻碍人们享有权益的方式促进技术创新的责任。

结 论

尽管运用技术手段来维护社会秩序、寻求社会公益的项目受到各方欢迎，但技术不能也不会自动解决社会问题。拉托内罗（Latonero）在《连线》（WIRED）的一篇专栏文章中指出，将人工智能应用于社会治理与公共服务活动中“带有技术主义的味道，可能会掩盖问题的本质，并在没有适当保障的情况下对弱势人群造成风险”。他认为，“被简化的由最聪明的企业技术人员与最受尊敬的国际组织合作所提供的方案”永远不可能解决大规模的社会问题。格林也反对将复杂的政治和社会现象简化为可以通过算法或应用程序解决的技术问题，工程师和科学家无法识别和定义社会问题，这些问题只能由民众自己完成，他人无法也不能越俎代庖。

通过数据获取信息、进行计算、直接供给，智能社会治理与服务加剧了现有市场制度下的不平等。如由数字技术所支撑的预测性警务威胁着生活在被严密监管社区中的少数群体权利、雇佣与社会救助算法威胁就业人员的权利、社会保障算法威胁民众权利。智慧社会治理与服务面临的问题首先是歧视，即预测模型会出错，越来越多的证据表明，对于脆弱的群体，模型出错的频率更高。其次是算法的不透明会削弱个人通过各种追责程序纠正错误的能力。最后，数据可能被用以监视会使个人隐私权受到侵害。因此，高风险决策中的错误、削弱个人纠正这些错误能力的不透明性、对生活各个领域的监控日益增多，使得人们日益担忧在社会治理与服务中技术的作用。

此外，若要使技术对社会治理与服务产生变革性影响，必须更加关注谁出于什么目的设计和构建了技术、以及其中嵌入了什么样的权力和特权。因此，确保公平地获取运用技术的机会是技术处理社会问题的前提，但技术并非凭空运作，而是依赖于体现结构性不平等的复杂的专业知识、维护和治理网络。引进新技术的努力必须反思一系列有关权力的重要问题，包括在利益分配不均的社会情境中，哪些群体将从技术对现状所做的改变中受益。技术还必须具有透明度，能够接受外部监督和审查，尤其是那些受负面影响最大的人的监督和审查。

随着智能治理进程的加速推进，人们在享受数字红利的同时也面临着“数字暴政”的风险，这种风险在小范围内或许有差异地作用于个人，如接受社会福利的对象，但极端情况下，也存在着无差别的社会风险。近年来，社会治理中掌握公共权力的政府与企业也越来越注重运用数字工具，然而，当我们在强调数字的工具价值和经济价值的时候，不能低估或者忽略了其对社会的深层次影响，特别是对弱势群体的影响。技术确实有在诸多方面增强了决策的可能性，然而，科技能否挑战世界基本权力结构仍值得怀疑，创新的风险和收益不太可能被平等分享。为此，需要以社会治理目标为方向，来构建有利于促进民众权益的技术。

相关阅读

商品书目

微信号 : DigitalLaw_ECUPL

探寻数字法治逻辑

展望数字正义图景

战略合作伙伴：上海中联律师事务所