华政学报 | 张欣 免受自动化决策约束权的制度逻辑与本土构建

免受自动化决策约束权的

制度逻辑与本土构建

作者简介

张欣

对外经济贸易大学法学院副教授，法学博士

本文系国家社会科学基金重大项目“数字社会的法律治理体系与立法变革研究”（项目号 20&ZD177）和对外经济贸易大学惠园优秀青年学者资助项目（项目号 19YQ13）的阶段性研究成果

目  次

一、问题的提出

二、立法溯源与功能探析

三、构造机理与立法缺憾

四、权利本土化的借鉴与调适

五、结语

摘  要

为应对算法技术形成的数字化生存困境，免受自动化决策约束权应运而生。该项权利赋予数据主体自治性尊重，是技术正当程序的应有之义，有助于数据主体与数据控制者之间创建信任性互动。欧盟《通用数据保护条例》第22条选取了严格禁令与积极权利路径的中间路线，设定了横跨公私场景下自动化决策实施的正当性基础，构建了多层次立体化联动保护机制。但该条制度设计存在限制过多、指引不明、规则科学性不足以及实效堪忧的缺憾。我国《个人信息保护法》应在借鉴的基础上积极创新，扩展行权适用的决策类型，厘清对个人产生影响的判断标准，并面向数据生命周期构建事前知晓、事中参与、事后救济的全周期闭环行权体系，增强算法私权体系的韧性和质效。

关键词

免受自动化决策约束权  拒绝权  算法治理

个人信息保护

一、问题的提出

伴随着海量数据和高效算法，自动化决策系统被日益广泛地应用在金融、医疗、就业、警务、社会福利等公共和商业领域，成为数字社会的基础设施之一。算法不断分析和透视人类生活，像“隐形牢笼”一般操控着人类。各类社交媒体过滤信息流，搜索引擎过滤搜索结果，人们生活在算法滤泡之中。无论是沉浸在短视频中无法自拔的年轻人，还是被困在智能配送系统里无力招架的外卖骑手，一系列算法操控现象反映出个体被不断数据化，逐步丧失主体性的数字化生存困境。面对算法的扩展性渗透，以欧盟《通用数据保护条例》（以下简称GDPR）为代表的立法赋予了数据主体一系列新型算法权利，希冀以此赋予个体选择权和控制权，弱化人在算法社会被不断异化的趋势。在这些新型权利中，算法解释权已得到中外学者的一致关注和热烈探讨，相关研究层出不穷。但与算法解释权的研究热潮形成鲜明反差的是，深入探究免受自动化决策约束权（Right not to be subject to automated decision-making）的研究却尚为薄弱，缺乏体系化、理论化的深度挖掘。实际上，与算法解释权相比，数据主体免受自动化决策约束权贯穿着欧洲个人信息保护法的整个发展历程。该项权利以保护人的主体性为首要宗旨，面向事后阶段构筑算法风险消弭机制，成为个体对抗算法操控的防御堡垒。伴随着我国数字技术的发展，日趋成熟的算法技术嵌入逐利驱动的平台之中，滋生蔓延了一系列算法滥用行为。为此，我国立法者虽并未全盘移植免受自动化决策约束权，但在算法治理实践中已然通过多种方式践行着类似的制度设计。可以说，如何科学构筑数据主体对抗算法的新型权利体系，针对算法风险建立科学完备的预警机制、抵御机制及消弭机制，增强对抗算法私权体系的韧性和质效成了中外算法治理研究和立法实践的首要难点。在《个人信息保护法》颁布之际更进一步凸显出算法基础权利研究的现实紧迫性。鉴于这一主题的重要意义，本文聚焦GDPR第22条之规定，以立法溯源和功能价值为研究基础，凝练探析免受自动化决策约束权的构造原理。通过对技术架构、主体行为以及权利构造的联合反思，本文紧密结合《个人信息保护法》第24条及我国最新算法治理实践对免受自动化决策约束权的本土化借鉴与调适予以深入探讨。

  二、立法溯源与功能探析

瞰览数据主体免受自动化决策约束权的立法史可以发现，该项权利的渊源与演变实际上与欧洲隐私传统及基本权利保障变革的谱系紧密交织。在欧洲隐私治理传统中，以完全自动化方式评估或者预测个体，以算法调配和呈现个体生活，被认为是以去人性化的方式对个体尊严的数字化贬损。缘于这一认知，不难理解立法者为何对以可计算方式呈现个人形象、决定个人损益的自主型算法抱有警觉和担忧。循此逻辑，要重塑个体在机器时代的尊严，首先应确保其具有脱离算法操控的选择权，从法律机制上允许个体回归到“人先于一切”的原初状态。有鉴于此，免受自动化决策约束权渐具雏形，应运而生。

早在1978年，法国通过的《第78-17号计算机、文件和自由法》第10条就明确规定，如果一项司法决定完全基于自动化数据处理作出，且该决定以目标主体的画像或者个性评估为依据，应当对其加以禁止。该条规定采用全面禁止路径，对完全自动化决策在司法领域的适用加以限制，希冀以保障人类司法决策的方式对抗个体尊严被不断蚕食的现状。类似的立法理念可在同一时期颁布的多部数据保护法中观察到。1995年，欧盟委员会颁布了《数据保护指令》。该指令第15条第1款规定，“如果一项决定是完全基于数据的自动化处理做出且目的是评估与其相关的某些个人方面，例如工作表现、信用、可靠性、行为等，成员国应当赋予数据主体免受对其产生法律效力或者重大影响的完全自动化决策约束的权利”。可以说，《数据保护指令》真正创建了“免受自动化决策约束权”，首次从立法上确认了个体有权选择与其有关的决策方式的权利。欧盟委员会在立法提案阶段进一步阐明了这一立法初衷：“本规定旨在保护数据主体具有参与对其作出的重要决策形成过程的权益。日益强大的公共和私营机构大量使用个人数据，如果事关重要影响的决策仅依据个人的‘数据掠影’（data shadow）作出，则会剥夺个人对机构决策产生影响的能力。”步入大数据和人工智能时代，人类的人格尊严和主体价值面临着更为系统化、复杂化的挑战。商业场景下个性化和精细化运营的需要使得用户画像建模技术早已实现了从设备到用户、从静态到动态、从评估到预测的三维跃迁，一套新的算法监控、歧视和操纵系统于无形之中威胁着人类的独立性和自主性地位。为适应算法时代的技术发展和应用现状，推动个体权利的转型升级就显得日益紧迫。因此，GDPR第22条承袭了《数据保护指令》第15条，将适用范围从完全自动化处理扩展到了用户画像，以更好地应对与日俱增的算法风险。本条虽然不及引发了轰动式关注的算法解释权，但GDPR第22条作为整部法律中最为系统和针对性的算法规制条文，无疑对数据个体乃至算法行业的持续健康发展具有重要的价值和功用。

（一）赋予数据主体自治性尊重

在现代社会，通过制度保证“作为人的完整性”，对个人尊严予以基础保护成为人类生存和发展的基本需求之一。欧洲的文化自觉使得立法者对信息自决权颇为关注。信息自决权是个人决定自身形象呈现方式的权利，体现在数据治理领域表现为数据主体被赋予拥有控制与自身相关信息披露的能力。免受自动化决策约束权就是信息自决权在算法应用场景下的集中体现，旨在确保个人的主体性不因算法的广泛嵌入而被蚕食消解。众所周知，算法技术已经推动人类社会实质性地迈入“评分社会”。这使得个人形象的呈现不再由个体自主决定，而是被一系列算法评分塑造操控。一旦某一主体遭受一次算法歧视，则在相关甚或不相关的领域也可能屡受不公待遇，产生歧视锁定和数字污名效应。例如，有报道披露美国一位女士因被错误标记为曾受到刑事指控被分类为低信誉群体，不仅屡次被雇主解聘，无法租赁房屋，甚至没有足够的信誉资格去购买一款洗碗机。当事人为此心力交瘁，用时四年之久才最终让其中一家收集消费者数据的公司纠正错误。由此可见，在算法决策的准确性、正当性和可问责性尚无法周全保证，且难以通过人工干预予以有效修复的发展阶段，赋予数据主体免受自动化决策约束的权利不仅体现了立法者对个体自治和自决的基本尊重，还体现了立法者借助该项权利防范算法歧视、算法不公等算法社会风险的调控努力。

（二）打造算法决策正当程序的权利基石

从技术运行逻辑来看，自动化决策系统分为辅助型和完全型。后者指完全无须人工干预，系统自动收集、分析数据并作出决策的运行模式。目前在贷款审批、医疗保健、就业招聘、福利发放、市场营销等诸多场景中被广泛使用。这一类型的自动化数据处理通过使用个人数据或者与其具有类似特征的定点人群数据完成对特定个体的分析、评估和预测。这一技术运行模式对正当程序原则构成了实质性威胁和挑战。其一，自动化处理活动中的数据可能被过度收集和滥用，而数据主体在事前和事中阶段难以获得及时预警并实施有效阻击。通过人工智能设备采集到的人体行为数据以及算法模型创建的推断衍生数据无须个体同意就可用于生成与个体相关的精准画像，从而对其行为进行预测和评估，使得个体彻底沦为机器决策的客体。其二，在自动化数据处理过程中，模型架构复杂叠加专有产权和商业秘密制度形成的保护盾牌，导致难以解释、难以质疑、难以修复的问责难题，对个人基本权利形成威胁。例如在卢米斯案件后，COMPAS软件再次陷入评估风波。涉案被告人罗林•罗德里格兹虽然已经具有良好的刑事恢复记录却仍被拒绝假释。原因在于COMPAS系统判定其具有较高的再犯风险。当被告人主张获取软件输入的信息时，该公司基于专有性和商业秘密拒绝透露输入信息的权重。一年后，被告人获得了相同评分。其提出COMPAS输入中存在一项错误，但由于该项错误所占权重不得而知，无法解释这一错误对于整个评分的影响，因此既无法纠正这一决定，也无法拒绝该项评分对自身的约束和不利影响。由此可见，若无法全面保证算法决策的准确性和可问责性，数据主体应当被赋予免于受到决策约束，并进而获得安全保障和人为干预的权利，确保不利算法决策的风险得到程序性控制、缓解甚至消弭。因此，免受自动化决策约束权实际上通过赋予数据主体应然层面的普遍反对权，事后阶段的知情、表达、异议和人为干预权，联动构筑起私权层面的算法风险消弭机制，在个人未能及时在事前、事中阶段获得预警和有效阻击之时依然能够在事后阶段获得程序性救济从而成为缓解和降低算法风险的权利基石。

（三）建立数据主体与数据控制者控制与分享的信任性互动

众所周知，在隐私保护领域，或因为科技企业“交叉补贴”政策的俘获，或因为时间、知识和精力限制，数据主体与数据控制者之间力量悬殊，以新型数据和算法权利为维度的个体权益路径屡现失效风险。数据主体对算法的恐慌焦虑甚嚣尘上，降低了用户的技术信任，制约了算法技术的长远发展。以机器学习为例，当用户主动参与到数据生产和处理过程时，数据的种类和样本正向增加，机器通过自我完善提升决策准确性。相反，当用户对技术产生信任危机时，“困在系统里”的用户通过多种方式予以反抗。例如，近期广受年轻人追捧的“不登录、不点赞、不关注、不评论”的算法反击行动就深刻反映了日益加剧的技术信任鸿沟。考虑到数据主体与数据控制者博弈与较量的悬殊现状，免受自动化决策约束权默认数据主体免于受到完全自动化决策带来的法律或者类似重大影响。除非数据控制者持有正当理由才可在提供安全保障义务的基础上实施完全自动化处理和用户画像行为。这一权利设置方式微调了数据主体与数据控制者之间的强弱失衡格局，有助于实现自动化决策和个人信息的效率配置，增加自动化决策可接受性，在规则层面培育技术信任，为技术开发和应用创建良好的运行生态，有助于数字社会总体福利目标的达成。

除此以外，免受自动化决策约束权还在机制设计层面引发立法者对算法运行合理边界的必要思考，不断调适算法决策和人类决策的平衡机制。因此，认真审视免受自动化决策约束权的权利构造机理，探索完善权利设置和权利运行机制具有重要的理论和实践意义。

  三、构造机理与立法缺憾

GDPR颁布后，近年来欧盟各国对免受自动化决策约束权的关注与日俱增。例如，丹麦执法机构表示，就《国家教育补助金法》和《公共债务恢复法》中规定的行政机关仅基于自动化处理对相对人做出的行政决策，公民可以就该自动化决策向上级机关提出申诉，且上级机关应当以非自动化形式做出复议决定。此外，2019年美国《在线隐私法案》第105条也呈异曲同工之势。该条规定，“个人可以要求对合理预见的包含重大隐私损害的自动化决定实施人工审查”。可以说，以GDPR第22条为经典样本确立的免受自动化决策约束权集中代表了各国立法者的算法监管思路。该项权利的有效确立须攻克三项立法挑战：首先，应采用默示禁止还是设定权利的路径科学平衡技术创新与权利保护；其次，如何平滑顺畅地以免受自动化决策约束权为支点打造全周期的联动保护机制，构筑起完善的事前算法风险识别预警机制、事中算法风险抵御机制以及事后算法风险消弭机制；最后，如何科学设定对机器决策合理干预和有效问责的规则框架，探寻人类决策与机器决策协作共存的制度边界。下文将围绕这三项立法挑战对免受自动化决策约束权的构建机理进行剖析，甄别立法亮点和立法缺憾，探索制度完善的未来方向。

（一）选取严格禁令与积极权利路径的中间路线但限制过多指引不明

关于GDPR第22条第1款设定的免受自动化决策约束权，一直存在“禁令路径”与“权利路径”的争论，在立法实践中产生了复杂影响。例如，挪威政府在委托专家委员会对《挪威行政法》修订调研时，委员会就在这一问题上产生了分歧和争论。持禁令路径的观点认为除非有合法处理基础，应当禁止对数据主体实施完全自动化决策，以改善数据个体怠于行权或者力量薄弱的困境，提升立法对自动化决策实践的约束力。这一路径在学界、数据保护机构和司法机构产生了广泛影响。例如，荷兰海牙地方法院近期的一项判决中指出，“依据GDPR第22条，虽然可能存在例外情形，但针对个体的完全自动化决策被普遍禁止，包括对数据主体有法律或者类似重大影响的用户画像”。再如2009年德国《联邦数据法》第6a节及2017年英国《数据保护法（草案）》第13条都采用了禁令路径。按照禁令路径理解，除非数据控制者存在GDPR第22条第2款中列明的三项例外，数据控制者禁止针对数据主体作出完全自动化决策。禁令路径虽然旨在保护数据主体免受算法滋扰和操控，但从行业发展和科技创新来看，其可能会阻碍创新，影响算法技术的良性发展与合理应用。GDPR虽然意在保护数据主体的尊严和基本权利，但绝不意味着扼杀行业发展。此外，禁令路径的阐释也与立法历史有所冲突。作为GDPR第22条的前身，《数据保护指令》第15条第1款的立法历史资料表明，该条立法旨在赋予数据主体免受自动化决策约束的权利，而非一般性地禁止自动化决策。有关GDPR提案的解释性备忘录也明确记载，第22条措辞参考了欧洲委员会发布的《关于用户画像的建议》。该文件同样并未禁止用户画像，仅规定数据主体享有免受用户画像重大影响约束的权利。因此，以禁令路径理解GDPR第22条有失偏颇。

若仔细分析GDPR第22条的语义构造可知，GDPR第22条也不应理解为与更正权、删除权、数据可携权等类似的积极数据权利，以单纯权利路径理解GDPR第22条亦有不妥。若将第22条理解为需要数据主体积极行使的权利，则表明只有在数据主体明确表示反对时才可限制针对个体的完全自动化决策。但深究条文原意并非如此。依据条文原意，数据主体享有的是免受自动化决策和用户画像结果约束的事后反对权。以公共场景为例，正常情形下个体应有义务接受根据正当程序做出的对其不利的行政或者司法决定。依据GDPR第22条，若该不利决定完全由机器做出，数据主体有权自主决定是否接受该决定并受到相应约束。当数据主体提出反对时，依据不同决策情形和决策依据可以获得人为干预、表达观点并提出异议的权利。因此，宜将该项权利理解为数据主体默示享有的一项权利。该项权利并不禁止完全自动化决策及用户画像的存在和展开，但赋予数据主体反对其作出后受到约束和影响的权利。这种设定实际上选取了“禁令路径”与“积极权利路径”的中间道路，既能较好地保护数据主体不因怠于行使权利或者精力不足而受到算法滋扰，又能给产业发展预留一定的合理空间。

为了合理设定权利行使和产业发展的边界，GDPR第22条还扩展了《数据保护指令》中免受自动化决策约束权行使的除外情形并规定了适用条件。依据第22条第1款，行权条件以完全自动化决策和用户画像为适用前提。完全自动化决策是指自动化决策过程完全由系统进行，不需要任何人工干预，其决策结果未受到任何人为因素影响的决策类型。这一权利行使前提不当限缩了可适用的自动化决策类型。在实践中，算法与人工判断交互参与的“人机回圈”反馈形式是非常普遍的。就技术可靠性而言，人工参与的自动化决策在稳定性、准确性等层面并不必然优于纯粹的机器决策。以信息过载或者认知偏见为代表的人类认知局限仍可使主观判断嵌入自动化决策过程，导致不准确或者不公正的决策结果。仅因人工参与就将非完全自动化决策类型排除在权利适用范围之外，不利于周全保护数据主体权益。

除完全自动化决策之外，评估、分析或者预测个人经济、健康、偏好、信誉等用户画像行为也被纳入第22条之中。用户画像实际上将未来视为由既定概率决定，建立在对过去行为或者特征的复杂评估之上，通过盲关联由历史数据推断未来。同样遗憾的是，GDPR将用户画像应用的数据类型仅限定在第4条规定的个人数据范围，依据衍生或者推断数据形成的用户画像并不适用于第22条。但在实践中，通过机器学习挖掘用户画像的做法早已成为惯用技术，数据类型的不当限定使得数据主体行权基础不当受限。

此外，GDPR第22条还将与数据主体有关的法律影响及近似重大影响作为前置行权条件。依据条文表述，一项自动化决策或者用户画像是否对数据主体产生了“法律及近似重大影响”尚难以找到清晰的判断依据。第29条工作组发布的《有关GDPR自动化个人决策和识别分析的准则》（以下简称《准则》）提出，“法律影响”是指对个体的法律权利、合同约定权利以及法律地位产生影响的处理活动。 “近似重大影响”实际上将影响认定标准予以实质性扩展。实践中，同类型的自动化决策可能基于不同群体、不同渠道而产生完全各异的影响。例如，在多数情形下，精准营销不会对个体产生法律或者类似重大影响，因此即使采用了完全自动化决策，也不属于本条的适用范围。但实践中可能存在精准定向营销对个体产生重大影响的情形。例如，向已知或者预估面临财政困难的个人定向推送高息贷款导致其进一步负债的行为就可被认定为对该个体产生了重大影响。但实际上仅通过条文表述尚难以准确界定构成“重大影响”的标准，未来需要仰赖司法实践及新型规制工具进一步增加条文精确性。

（二）设定横跨公私场景下自动化决策实施的正当性基础但规则科学性不足

个体数据不仅关涉个人利益，涉及个体尊严和自由，还具有公共性和社会性，对于商业运营和公共治理具有重要意义。因此，立法者在赋予数据主体免受自动化决策约束权时还需考虑算法技术的社会价值，为合理、公平的自动化数据处理提供必要的发展空间。循此机理，GDPR设定的免受自动化决策约束权并非是一项绝对的、完全的、排他的权利，通过在第22条第2款提出订立或履行合同所必需、基于法律授权以及数据主体明确同意三种不予适用的情形，勾勒出数据控制者进行自动化数据处理的正当性和合法性基础。为确保数据主体权益在三种例外情形下受到周全保护，第22条第3款规定在第1款和第3款情形下，数据控制者必须采取适当措施，保障数据主体的权利、自由及合法利益，确保数据主体获得人为干预、表达意见和提出异议的权利。

为避免因适用例外而流于形式，第29条工作组发布的《准则》提出了详细限制。其一，对于合同建立和履行中实施自动化决策的“必要性”应当狭义理解。欧洲数据保护专员公署专门发布文件，提出只有数据控制者能够客观证明在合同建立和履行过程中明确考虑过采用更少侵犯隐私的方法后，仍然认为实施用户画像和完全自动化决策是必要的，才可视为具有合同建立和履行的正当利益，满足对限制个人数据权利的“必要性”认定。其二，只有明确获得法律授权，出于公共利益、风险防控或者确保控制者提供服务的安全性和可靠性等目的，在已经制定了恰当措施保证数据主体的权利、自由与正当利益基础上，免受自动化决策约束权才会被限制适用。在此情形下，欧盟及其成员国应当采取适当措施保障数据主体的基本权利，禁止不成比例地以公共利益为理由不当减损免受自动化决策约束权。在当前实践中，欧盟成员国提供的恰当保障措施仍然以提供人工干预为主。不可否认，人工干预可能无法改变自动化决策的结果，却可建立个体之间的互动感知，维护和确认个体尊严。但从算法运行机理来看，事后人工干预权对个体的救济效应可能有限。一方面，人类决策多基于经验信息形成，可能产生更高的偏误，事后的人工干预难以提升整体判断的准确率。另一方面，事后人工干预还具有分散性，无益于判断系统的完整性和公平性，并非对抗算法的最优策略。

由此可见，GDPR第22条第2款规定的例外情形虽一定程度限制了权利行使范围，但为自动化决策实施奠定了正当性基础框架。遗憾的是，仅依靠分散化、零星化、静态化的人工干预作为救济方式可能并非最佳策略，立法者应当在救济介入时机、介入方式以及系统性、完整性规制层面再行着力，探索算法规制的多元化路径，确保免受自动化决策约束权的赋权效果。

（三）多层次立体化构建程序性联动保护机制但实效堪忧

自动化决策和用户画像体现为一系列动态复杂的数据处理过程，每个环节均可能对数据主体产生潜在风险和不利影响。与日俱增的数据流动性又进一步提升了立法所面临的挑战，仅依靠单点突破的方式可能会凸显脆弱性。因此，从体系化视角寻求构建系统的行权配套机制显得日趋必要。瞰览整部法律，可以发现欧盟立法者着眼于全要素、全过程、多场景，面向数据流生命周期建立起了“知情、参与、反对、救济”的一体化行权方案，形成了多层次、立体化的程序性联动保护机制，从广度和深度两个层面为免受自动化决策约束权奠定了配套机制。

就广度而言，首先，序言第60条、第13条第2款f项和第14条第2款g项规定了数据主体在事前阶段的知情权，第21条规定了事前阶段的拒绝权。这些权利可以保障用户在自动化决策和用户画像部署的事前阶段获取必要信息，建立合理预期，提升用户对自动化处理的关注程度。其次，在事中阶段，以第15条、第16条、第17条为主线打造的要求修改、删除、限制处理和拒绝处理权可以让数据主体实时确认自动化数据处理相关信息的权利，并视情况行使上述权利以对自动化数据处理施加所欲的人为影响。最后，以第22条为核心的免受自动化决策约束权则在事后阶段扮演关键节点，成为对抗算法操控的最后防御堡垒。就深度而言，GDPR第22条第3款设定的人工干预权、表达权和异议权可以为数据主体在反对自动化决策后提供复议、审核等接续性程序救济，有效弥合了权利保障体系的真空地带，为人类决策者发挥主动性和能动性提供连接机制。以上三个层次以透明度和问责制为出发点，通过为数据主体提供事前算法风险识别预警机制、事中算法风险抵御机制以及事后算法风险消弭机制将其纳入自动化数据处理的全周期决策环路中（参见表1）。

表1  以免受自动化决策约束权为基点的全周期联动行权机制

面向数据生命周期的多层次联动配套行权机制体现了较为科学的立法理念，有助于应对因数据流动性加剧所形成的规制挑战。仅就条文设计而言，这种联动化行权理念体现场景化关照，具有较高的规则颗粒度，为数据主体提供持续支持，起到了串联整个防护体系的作用。但从技术运行原理来看，上述安全保障措施的设计并非无懈可击，这集中体现在人为干预、表达观点及提出异议三项权利的设计思路上。该三项权利的设定实际上彰显了技术正当程序之立法原意。

但就自动化决策而言，数据主体所拥有的程序性权利可能产生的实质影响相对有限，探索对自动化决策技术产生实质影响的参与途径可能更为可取。以人为干预权为例，通过人类决策代替机器决策的方式在准确性、效率性、公正性层面存疑。就准确性而言，对于公私场景中常见的非因果预测型决策而言，机器决策在理论上具有比人类决策者更好的决策绩效。人类决策者即使在高质量的决策环境中，仍然会受到隐形偏见、决策噪声的干扰和影响。就效率性而言，机器决策显然在高速处理复杂多维的数据层面具有人类决策者难以比拟的绩效表现。就公正性而言，机器决策多依据历史数据和统计数据做出，人类决策多依据个性化数据和资料做出。如果自动化决策适用的个体具有普遍性和广泛性，则一部分行权主体在事后获得人类决策，而另一部分未行权主体却接受机器决策，在系统性、完整性层面可能存在集体性决策偏差。

由此推之，GDPR第22条第3款虽然充当主线构建了多层次、立体化的程序性联动保护机制，但主导逻辑仍然寄托于个案中人工审查的方式来验证算法的准确性。当提供程序性保护的成本和代价远超数据主体从程序保障中获得的利益时，就很难被视为一种理想方案。因此，有学者建议以技术合理边界为客观依据，结合风险等级和公共利益相关性，分级分类地设定面向算法系统的动态监管工具。例如，在低风险场景下，可以依据风险预测算法的参数设定原理确定人工审核的阈值，在超越具体阈值之上的主体可以启动静态分析、动态测试以及必要情形下的人工审核，辅之以算法影响评估，适时兼采系统化问责路径和经过系统校准后的算法监管工具打造驯服算法的有效利器。

  四、权利本土化的借鉴与调适

伴随着数字时代的来临，平台企业的日益强大和人工智能的迅猛发展使得算法权力已然形成，对人的身份、认知、行为、倾向、情感乃至意志具有精准的预测与操控力。当算法成为人们认知和行动的基本工具时，必须从规则上对技术的不确定性和渗透性加以治理。为此，应当深入算法操控的形成机理中，通过精细化、场景化治理寻找反操控的着力点，探索构建一套人与算法协同演化、共同成长的治理机制。

就我国算法应用现状而言，无论是被困在算法系统里无力抗争的外卖骑手，还是深受“大数据杀熟”之害的消费者，诸多焦点事件已经映射出数据个体在算法权力大行其道的数字生态中尽显疲态的紧迫现实。我国立法者业已清楚知晓算法规制的紧迫性和必要性，并正以多种方式尝试构筑数据主体摆脱算法操控、免除算法不利影响的新型权利体系。因此，在数据驱动、算法泛在的数字时代，科学审慎地借鉴免受自动化决策约束权的正面构建机理，寻求契合我国算法实践的调适基点，具有重要的理论与实践意义。本节紧密围绕《个人信息保护法》第24条，基于权利构造完善的内在逻辑和权利配套实施的外在基础提出下列三点权利借鉴与调适的建议。

（一）扩展免受自动化决策约束权适用的决策类型

根据上文论述，欧盟设定的免受自动化决策约束权存在适用决策类型和数据类型局限的双重不足，因应我国的自动化决策客观实践，在赋予数据主体相似权利时应首要考虑扩展适用到所有自动化决策类型，以期对数据主体形成周延保护。自动化决策的运行实践表明，虽然以信息自感知、自决策、自执行等功能为特征的自主化智能系统已被广泛应用，但鉴于算法决策任务的复杂性，在算法开发和运行过程中将人类决策者纳入规划环路，通过增加数据资源、更新数据特征、修改模型架构以及更改评估指标等方式体现人类辅助或者反馈特征的“人机回圈”决策实践同样普遍。欧盟立法者认为存在人工参与的自动化决策类型因技术合理性避免了完全机器决策对个人尊严的减损，故未能将其涵盖在内。实际上，将非完全自动化决策排除适用实属不妥。一方面，即使存在实质性人为控制，但若人类决策者存在明显偏见，仍然可能在系统内嵌间接的、无意的甚至不易察觉的歧视。另一方面，即使一项自动化决策系统已经被明确限定为辅助决策功能，人类决策者或出于对机器逻辑的信任，或由于缺乏时间、精力等原因，极易降低自身职业的警惕和批判分析能力，导致对决策辅助系统的盲从。

有鉴于此，我国新近公布的《个人信息保护法》第24条应当扩展权利适用的自动化决策类型，不应仅限定在“仅通过自动化决策方式作出”这一决策类型，使其合理涵盖完全和非完全自动化决策，避免不合理的行权限制。与此同时，立法机关还应当对第73条第2项的自动化决策定义予以配套修改。该法第二章第三节专门规定了国家机关处理个人信息的特别规定，这意味着该部法律的适用场景并不局限于商业化场景，而是着眼并横贯公私场景中的个人信息处理行为。相应地对自动化决策的定义理应采取整全化视角，为整部法律奠定良好的概念基石。目前，第73条第2项的自动化决策定义部分移植并杂糅了GDPR第4条第4款中对“用户画像”的定义。实际上，用户画像的核心在于对自然人特定特征或者行为的分析和预测，其可以通过完全自动化或者非完全自动化处理方式得出。而自动化决策虽然经常被应用于用户画像领域，所涉处理行为却更为广泛。例如，按照第73条第2项的自动化决策定义，在我国社会信用体系建设过程中，使用个人信息生成公民信用画像对信用状况进行分析、评估的行为属于《个人信息保护法》语境下的自动化决策类型，但信用画像形成后与之相关的自动推送信用信息、自动识别黑红名单、自动提示奖惩依据、自动实施限制处理、自动反馈处理结果等其他信用奖惩智能决策却可能因不具有用户画像的特质而被不当排除在外。因此，应当扩展第25条权利适用的自动化决策类型，厘清第73条第2项用户画像与自动化决策的异同边界，避免免受自动化决策约束权及相关配套权利的行权基础受到不当限制。

（二）厘清自动化决策和用户画像对数据主体产生重大影响的判断标准

免受自动化决策约束权虽然赋予数据主体免受自动化决策和用户画像约束的权利，但该项权利的适用对象不应笼而统之、概不区分，应在立法上为数据的合理利用预留发展空间。因此GDPR第22条中规定数据主体应以自动化决策和用户画像对其“产生法律或者类似重大影响”为行权条件。遗憾的是，该条并未明确规定构成对数据主体产生法律或者类似重大影响的具体标准。此处立法的模糊性不仅不利于权利的有效实施，还增加了企业合规操作和产品开发的不确定成本。实践中，主体、渠道、场景、范围等诸多因素均可影响一项自动化决策或者用户画像达成“类似重大影响”标准。例如，一般用户可能认为通过个性化推荐向好友展示阅读动态信息并未达到对其产生重大影响的程度。但在黄某诉微信读书侵犯隐私权一案中，原告则提出在未获授权情况下，个人读书信息在一定程度上能够反映用户个人喜好及文化修养，微信读书自动为用户添加微信好友并向关注好友自动推送原告读书动态的行为对其产生了重大影响，侵犯了其个人信息权益。我国《个人信息保护法》第24条虽未提及“法律影响”，但将“重大影响”作为行权构成要件。实践中自动化决策和用户画像对数据主体是否产生“法律或者类似重大影响”虽然存在主观化和场景化差异，但在立法中明确基础判断规则和衡量基准仍颇为必要，对避免权利被不当架空具有积极功用。

GDPR虽未能对此提供参考制度样本，但以第29条工作组发布的《准则》为镜鉴，结合我国个人信息保护实践，可以合理推断构成我国《个人信息保护法》第24条中规定的“重大影响”应当至少满足以下两项核心标准。第一，“重大影响”应包含“法律影响”。此处“法律影响”应当视为对数据主体的法律地位和法律权利产生的影响。而法律地位和法律权利的认定应当以制定法以及已生效合同中涉及的权利为认定基准。第二，在产生“法律影响”之外，若一项自动化决策或者用户画像对数据主体产生了“重大”影响，也应视为构成行权标准。此处“重大”应当满足与产生的“法律影响”相近似的临界标准。具体而言，一项自动化数据处理在过程或者结果层面均可能对数据主体的境况、行为或者选择产生“重大”影响。从过程视角来看，若一项自动化数据处理在数据收集或者分析层面是在未经授权情形下通过监控数据主体在不同网站、设备上的点击浏览行为而展开的精准营销，即使在结果层面未对数据主体构成重大影响，但因具有过程侵入性仍应当认定为对主体产生重大影响。从结果视角来看，“重大”影响不仅包括已然发生的不利影响，还应当审慎考虑对未来的潜在影响。对于已然发生的不利影响，应当采取“一般理性人”标准融合具体场景综合考量，合理评估是否对当事人产生了重大影响。但鉴于一项不利自动化决策可能在未来或者其他领域对主体产生不利“锁定效应”，因此，对数据主体的潜在影响也应被审慎考虑。例如，若数据主体在获得商业信用评分后发现无法以免押租金的方式租借共享单车。若此现象仅发生一次，综合考虑影响范围、影响程度、持续时间等因素不应视为对当事人构成“重大”影响。但若数据主体在获取相关信息后发现，失去免押租借共享单车资格是因为该商业信用评分模型对其信用标签存在不当偏见，且该标签可能在银行借贷、信用卡申请等重要场景带来潜在不利影响，则该种情形就应当综合考虑影响范围、影响等级以及影响持续时间，审慎作出符合“重大”影响的判断。故我国可以综合前述两项原则设计更为精细可行的影响判断规则。

（三）以《个人信息保护法》第24条为基点建立全要素配套行权机制

GDPR虽然存在诸多缺憾，但立法者为免受自动化决策约束权的行使建立了全周期、多联动、共协同、成体系的行权配套机制。这一立法思路若配之以科学的行权条件，有助于重新唤醒尘封多年的免受自动化决策约束权，一改其式微之势。如前文所述，欧盟立法者在GDPR第22条内部设定了人为干预权、表达权和异议权三项联动机制，确保免受约束权的行使有固可守。在条文之外，欧盟立法者从贯穿“事前、事中、事后”的数据生命周期视角形成了数据主体对于自动化决策“知情、参与、反对、救济”的一体化行权方案。鉴于自动化决策的数据处理贯穿于各个环节，任一单点化的防御机制和行权机制都可能濒于失效。因此围绕GDPR第22条，立法者还构筑了联防联控的全周期行权机制，弥合了各项权利孤军作战的缺陷，为数据主体提供了动态闭环保护。这种联动化的行权建构理念节点明确、边界清晰，既赋予数据主体对抗算法的自治空间和弹性地带，又贴合自动化决策的运行规律，提升了事前、事中、事后的权利保护质效。

因循这一视角审视我国《个人信息保护法》可以发现，立法者以第24条为核心赋予了个人对抗自动化决策的权利，但进行立法体系化梳理后发现，各项相关权利或内容宽泛，或行权节点连接不清，难以构筑起面向全数据生命周期的精细化闭环行权体系。

首先，事前知晓是源头保护，能够有效预警从而阻断不利自动化决策展开。《个人信息保护法》虽在第17条、第44条赋予个人知情权，在第48条赋予个人获得解释说明的权利。但通过条文内容可知，第44条仅粗略规定个人对其个人信息的处理享有知情权、决定权，有权限制或者拒绝他人对其个人信息进行处理，但如何限制、如何知情，条文中语焉不详。第17条虽要求个人信息处理者告知个人信息处理的目的、方式、处理个人信息的种类和保存期限，但这些信息对于自动化决策的用户知情需求而言，预警不足、针对性受限。即使个人依照第48条要求个人信息处理者对信息处理规则进行解释说明，也难以从条文中探析“何为处理规则”，无法为第24条提供充分明确的决策依据和合理预期。

其次，事中阶段的各项权利是对不利自动化决策展开的有效阻击，借助删除、限制处理等权利可在自动化数据处理过程中施加数据主体所欲的人为影响。《个人信息保护法》第44条、第45条、第46条、第47条分别赋予个人限制处理、查阅复制、更正补充以及删除权。可以说一定程度上满足了个人在事中阶段对自动化决策施加人为影响的行权基础。但比较我国条文与GDPR可知，GDPR在设计数据权利时嵌入了对自动化决策的行权关照，行权条文的精细化和针对性更高。例如，第15条h项专门规定了数据主体行使访问权时获得有关自动化决策的逻辑程序和有意义的信息，以及此类处理对数据主体的意义和预期影响。而我国的条文设计更多针对个人信息处理一般情形，对自动化个人信息处理的关照和精细化程度不足，还可再行完善。

最后，事后阶段的免受自动化决策约束权是重要的算法风险消弭机制。我国《个人信息保护法》并未赋予个人完整版本的免受约束权，仅在第24条赋予个人获得说明并拒绝仅通过自动化决策作出决定的权利。一来条文中并未厘清此处的“获得说明”与第48条获得个人信息处理规则“解释说明”之间的关系，势必造成行权困惑。二来第24条的拒绝权面向“自动化决策”而非“自动化决策的结果”，由于行权时机并非面向事后阶段，这导致立法中忽略了如果一项自动化决策已经做出，个人又未能在事前、事中阶段获得预警和有效阻击之情形下如何在事后阶段提出异议、表达观点、获得救济从而消弭风险。虽然条文第50条规定个人行使权利的请求被拒绝的有权获得个人信息处理者提供的理由。但若洞悉用户心理可知，“比起获得理由或者解释而言，用户更希望不利的自动化决策从未发生”。至少，若一项不利且事关重大的自动化决策已经发生，立法可以在事后阶段明确赋予其免受该项决策约束并获得程序性救济的权利。

综上所述，算法风险是隐秘性、动态性、扩散性和系统性的，仅依靠赋予数据主体拒绝自动化决策权利这一单点突破的立法思路势必难以全面无虞地确保数据主体获得逃离算法操控的基础和能力。目前，我国《个人信息保护法》刚刚颁布，立法者在借鉴免受自动化决策约束权的立法思路时，还需注意为其配备事前知晓、事中参与、事后救济的全周期闭环行权体系，注重系统要素、结构功能、运行机制、过程结果等层面的有机统筹，构筑起完善的算法风险识别预警机制、抵御机制以及消弭机制，增强对抗算法私权体系的韧性和质效。

  五、结  语  

在数字经济全球竞争的时代，与技术和资本相比，治理规则的构建已经成为数字时代的新型“权力语言”，实质性地发挥核心战略功用。GDPR不仅在个人隐私保护领域深耕细作，在自动化决策规制方面也快速迭代，提供了可资借鉴的规制经验。在我国，近年来一系列数据安全和个人信息保护相关的法律渐次出台，彰显了我国立法者在技术治理领域的决心和智慧，可以预见我国的数据和算法治理体系会日臻完善。在所有治理工具中，赋予数据主体妥善应对算法风险的免受约束权，完善权利内部构造和外部实施的制度环境，对于适度调控和防范算法技术风险，对抗算法滋扰和算法操控的数字化生存困境具有重要而深远的意义。正如有学者所言，“每一项数据主体的权利都值得被认真对待”。本文探究的免受自动化决策约束权只是新型算法权利研究的起点，未来还需要对拒绝权、反对权、获得人工干预权等相关权利进行深入挖掘，系统绘制数字时代新型算法权利的理论图谱。

（责任编辑：马长山）

（推送编辑：陈宜修）

本文载于《华东政法大学学报》2021年第5期。阅读和下载全文pdf请点击下方“阅读原文”或登陆本刊官网xuebao.ecupl.edu.cn；编辑部在线投稿系统已更新，欢迎学界同仁登录journal.ecupl.edu.cn惠赐大作！

推荐阅读

订阅方式

【向编辑部订阅】

1. 银行汇款

户名：华东政法大学

账号：1001223609026407097

开户支行：中国工商银行愚园路支行

2. 邮局汇款

地址：上海市长宁区万航渡路1575号《华东政法大学学报》编辑部

邮编：200042

订阅电话：[phone]

【邮局订阅】

国内读者可到全国各地邮政公司办理

邮局发行代号：4-618