蔡星月：算法决策权的异化及其矫正
The following article is from 政法论坛 Author 政法论坛
点击蓝字 关注我们
蔡星月：法学博士，北京航空航天大学法学院助理教授
一、从自然人决策到算法决策
决策本是人类的专属行为。然而20世纪晚期，自动化技术的应用使人类决策行为发生了微妙变化，自动化开始辅助人类判断，成为人类决策的得力助手。但即便如此，决策的主角仍是人类。直至近年，人工智能技术的发展提高了算法运行速度、准确性和处理复杂问题的能力，算法技术得以进入决策领域、甚至深入决策核心。算法的影响如此广泛，深度介入公共领域、商业领域与私人领域，开始替代人类做出具有影响力的决定，从而构成一种令人无法忽视的决策形态—算法决策。这是一种不同于传统自然人决策的新型智能决策类型，它影响深远且威力巨大，会对所涉及的对象产生约束力、执行力与控制力。约束力表现为算法决策相对人须遵循决策的规定和要求而开展行为与活动。执行力意味着某些算法决策具有行政执行上的权力，可直接对相对人的财产与人身自由等权利进行处分。控制力是指算法决策系统可对其所操控的机械与设备产生直接控制，由此对置身于机械与设备之中、或与机器设备形成互动关系的个人产生实实在在、真真切切的影响与控制。
为了更聚焦于算法决策的有效讨论，本文将算法决策设定在公共机构应用算法的特定场景下，一是因为算法在行政审批、刑事司法量刑、交通执法、信用评估、税务稽查等公共领域已显示出人类决策者无法比拟的优势，此时的决策权混合了公权力与算法权力，具有更强的代表性与示范性；二是因为公共机构的算法决策相比于商业领域、私人领域等其他领域的决策而言，对个体权利的影响也更为深远。很多时候，个人面对商业机构的算法决策尚有享用与否的选择空间，而面对公共机构经由算法决策所提供的公共管理与服务却难以逃逸与拒绝。因此，在无特别说明的情况下，文中涉及的算法决策均指公共机构的算法决策。
算法决策（Algorithmic Decision-making）指由公式和程序的计算而获得的一种自主性机器判断，它是一种基于机器学习技术的决策系统，由于算法决策并非基于可以识别或可解释的规则，而是从数据中自我发现规律与新知，因此可被称为决策的自治系统。算法决策权的形成源于两方面的改变：一是算法的权力化，二是决策的算法化。算法的权力化意味着算法技术为公共机构所部署应用，使技术权力转化为可以直接影响个人与社会的制度性权力。科技发展与技术迭代的每一个阶段，都促成了公共机构的相应改革，公共机构管理运行模式历经20世纪末以计算机技术为基础的数字化改革、21世纪初以互联网技术为依托的信息化改革，进入当前以人工智能技术为转向的智能化改革。这期间公共机构一直不断寻找可以提升管理效率、提高服务便捷性的现代科学技术，将其引入自身组织架构与办事流程中，使技术成为辅助办公、参与管理服务、进行公共决策的重要力量，由此赋予技术以公权力运行的参与者、辅助者地位。而今，随着人工智能技术的崛起，具有自主决策能力的算法从公权力运行的参与和辅助地位转变为权力行使主体，直接对相对人和社会公众产生影响，比如“营业执照智能审批一体机”等政务审批系统与“智能交通管理”等行政执法系统，由此，算法权力化成为可能。决策的算法化表现为公共机构决策权的运行不再仅依赖于组织与个人，还借助算法技术获得新的功能和更大影响力，进而使得决策权力运行与技术系统运行变得密不可分，决策程序与结果皆受制于算法应用方式与系统运行逻辑，公权力逐渐算法化。
在算法权力化与决策算法化的“双轮”驱动下，算法决策权继受了传统公权力的特征与属性之时，还通过技术对公权力的捕获、通过公权力运行逻辑与算法技术运行逻辑的交叠，萌发出与传统决策权所不同的特征。首先，从构成上看，算法决策权由公权力和技术权力共同构成。公权力是国家进行组织建构和实现公共管理与服务等基本职能的重要工具，是公民授权给公共部门为实现公共利益、维护公共秩序、保障公民权利而行使的重要权力类型。算法决策权无论其智能程度有多高，仍始终属于公权力范畴，是公权力进入现代智能社会的历史演进之结果，是算法参与公权力运行的技术赋权之结果。其次，算法决策权的兴起以数字政府改革与智能城市建设为依托，以机器学习算法参与到公共决策环节为标志，在管理数字化、城市智能化与决策自动化的共同推动下，逐步形成虽区别于传统决策权、但又与传统决策权并行共生的新型决策权。最后，算法进入决策领域大大提高了决策效率，提升了监管与执法的一致性与规范性，使算法作为与法律并行的一种代码规范获得能够使其发挥效用的空间与场景，算法技术从而具备了对个人产生直接或间接影响力和控制力的可能。
需要特别指出的是，算法决策与其他非算法自动化决策最本质的区别在于具有机器自主性。自主性（Autonomy）和自动化（Automation）有所不同，自主性意味着机器可以不受人为干涉地做出自我选择与自我决定，而自动化是指机器可以不受人为干涉地不断重复一个程序。“机器是否自动化”是一种外部信号反射式的事实判断，而“机器是否具有自主性”还涉及自然科学之外的、关于机器是否具有自我意志和自我行动能力的“（类）人性”判断。关于机器自主的理论认为，机器自主性是机器在没有人类监督的情况下，根据环境信息或其他数据做出选择与决定。自主性不是简单运用人类设计的算法，也不是指按照预先编码进行运算，而是程序可以产生自己的算法。在机器学习技术的助力下，系统设计者仅决定用于描述对象功能与特征的类属与权重，而并不设计决策这一功能，决策由学习算法自动生成的，故相较于一般自动化决策而言，它是自主自治的系统。之所以要对算法决策与其他自动化决策做出区分，一方面是因为自主性使算法决策的地位逐步从辅助工具走向了智能代理与智能主体，从而取得决策主体资格并捕获了专属于自然人的决策权。这对建立在人类决策行为逻辑基础之上的法律规制框架造成了根本性冲击，使得我们不得不逐步以“主体论”的视角去审视既有的“工具论”，在此基础上进行权利重塑与理论更新。另一方面，自主性赋予算法决策以更高的环境感知能力、反馈能力与应变能力，使其不仅能与环境中的人类、与非人类的其他要素不断产生行为互动与信息交流，且决策的做出往往会对外界环境、特定个人与社会公众直接产生影响，从而改变了决策对个人自由与权利的影响方式与影响程度，带来法律责任分配的新模式和权利与义务重构的新问题，因此，须对决策权运行方式再度观察、对现有决策权规制理论进行再度检验。
二、算法决策权的异化
但凡权力均有异化的风险。异化并不可怕，可怕的是异化不被发现，更可怕的是发现的异化不被矫正。算法决策权作为一种新型的决策权力形态，其异化的方式也必然是新型的，因此，防范与矫正也必然有别于传统路径。在传统意义上，防范与矫正决策权恣意妄为的方法通常是程序正当化的法律原则与制度：结构上要求程序中立、参与各方具有平等地位；功能上要求程序分化、决策对象有机会充分参与决策；形态上要求程序公开透明并及时终结，以此防止公权力无限扩张。这是一套建立在人类作为决策权行使者的前提之上、对人的思维方式与行为逻辑进行权力限制的制度安排，它一方面针对人性弱点，对人的贪欲与惰性予以高度警惕，另一方面激发人的优势，运用开放互动的流程鼓励参与热情，并在法律的模糊地带留有决策者发挥人类智慧的自由裁量空间。
然而，这一权力约束制度的实施效果在算法技术介入决策核心领域、决策权强力扩张之后受到削弱，造成了相当程度上的法律困境：一方面，算法适用领域无序扩张。人们往往认为算法决策系统与自动化行政辅助系统无异、引入算法仅是改变决策工具，故而对其不做准入限制，对“是否可以将算法系统引入公共机构”“可以运用算法技术对哪些事项进行决策”等关键性问题缺乏考虑。这一原本需要经由民主代议机制对决策相对人的合法权益予以保护的决策过程，变为由公共机构单方即能决定。例如有学校、动物园等公共机构将面部识别系统作为惟一准入方式，事前并未征求公众意见或获得相对人同意。在公共机构改革的内驱力与技术迭代的催化下，在技术推广应用的利益驱动下，算法畅通无阻地广泛介入公共服务与管理事项。另一方面，算法黑箱蚕食个人权利行使空间。算法黑箱将决策权拖进了由技术复杂性构建的不透明区域，决策相对人因对决策相关信息缺乏基本了解而难以拥有应对与反制能力，在信息获取和决策判断能力方面均居劣势。如果无从知晓权利被侵犯的事实，也就难以及时做出积极维护权利的行为，在个人权利退却与消融的地带，算法决策权趁机肆意蔓延。
算法决策权的扩张与决策相对人权利“地盘”范围的萎缩仅仅是外在的表现形式，更为严重的异化来自决策系统内部权力制衡的集体缺失。一是内部竞争失序。传统官僚系统的组织结构下，人员晋升的核心机制是功绩制，功绩制既是组织内部的激励机制，又是对职权者运用权力的制约机制。功绩制下，公职人员须主动披露绩效信息，并接受来自领导及组织成员对其开展的绩效考核和民主测评。在绩效比拼过程中，决策者之间形成竞争关系，如果在业绩成果、思想作风、勤政表现等方面有所欠缺或与他人拉开较大差距，则直接影响晋升与薪酬。这一竞争机制不仅能积极促使决策者不断提高决策能力，以负责任的态度对待职权，还能防止决策者之间达成的权力共谋“攻守同盟”，使其相互牵制，对决策权构成一定的反向控制。然而算法系统无法与其他人类决策系统形成竞争关系，原本以奖金和绩效为激励因子的功绩制，在面对并无此需求的技术系统之时也效用丧尽、失去制度的规范功能。二是随机性失范。关于决策控权的理论认为，为防止权力腐败与权力滥用，要对人类决策进行人为随机性设置。人为随机性是一种通过使行为的运行条件和运行结果变得无法预测来制约决策者的一种控权方式，它基于以下基本假设：如果人们对计划中行为的运行条件和运行结果无法做出合理预期，那么就不会为此计划投入太多精力与资源。为防止人类决策者利用职务便利和岗位条件扩张决策权、滋生腐败，在系统中设置人为随机性、让某些重要决策岗位的公职人员定期轮岗，可以适时切断其对权力的迷恋、阻断其对特定资源的持续投入。此外，现代决策理论还规定若发现决策者无法胜任或有逾规之嫌即将其转岗或降职的惩处规则。以上关于轮岗与转岗的人为随机性机制不仅能够防止决策者在某一地域或某一岗位上做大做强、与相关系统形成坚固的权力运筹同盟，还可以定期向重要决策岗位注入新的血液，有效防止权力腐败滥用。而算法系统是独立于人类决策者之外的一套技术系统，系统功能与运行目标已在事前设定，无法将其转岗、轮岗，进而也无法实现系统的人为随机性。三是互动失灵。互动是权力牵制的重要途径，人类行为会相互影响，在对重要决策事项产生异议时，决策者之间可进行讨论甚至争论，思想与业务的交流不仅推进了操作规范与决策流程的优化，还能帮助人类决策者及时发现问题、弥补漏洞。然而一旦启用算法决策，其决策能力全然依赖于系统开发者的设计构建与系统自身的机器学习，无论是设计开发过程还是应用过程，都无法与其他人类决策者形成开放的互动与交流，由此，系统的封闭性削弱了在互动中产生的权力制衡力量。四是监督失效。算法进入决策系统之前，公共机构的决策是在传统科层制结构上搭建出上下级纵向监管体系，决策效力的发挥往往依托于书面卷宗文档对决策过程的记录，其效力来源于上级授权和每一层级负责人审核后的签字盖章。在一层对一层向下授权、一层对一层向上汇报的过程中，形成了相互核验与监督的决策机制。而算法决策系统则由于高度的专业性、相对的复杂化以及算法黑箱的难理解，导致人类同行很难对其进行有效监督。
除此之外，私主体对决策系统的侵入也无孔不入，打破了权力专属的传统决策架构。算法决策系统的研发与构建无法单凭公共机构完成，由于技术的高度专业化和复杂性，需要由不同实体参与各个环节的设计和建构并对该环节负责。通过政府购买第三方技术与服务，掌握着核心技术的私营机构得以进入决策系统，参与算法的设计、布控与运行管理。私主体介入后易导致决策权异化的原因在于：首先，与传统决策相比，公共机构能掌控的环节变得有限，行政权力的专属性受到挑战，公共机构既难获得对决策系统的全面理解，也易失去对其的绝对控制。其次，算法设计与建构过程的私有化使得算法技术容易被植入具有特定利益与价值导向的、追逐私利的功能。如果技术黑箱被具有不良目的的资本所利用，又被布控于公共领域，就会带来难以被察觉的技术应用风险与潜在社会风险。最后，技术的可复制性带来决策风险扩大化效应。与人类决策者受隐性知识所限无法精准传授决策经验、无法大规模推广个人决策模式所不同的是，我们可对算法决策系统与决策模式进行大规模复制与运用，使其覆盖领域增大、涉及人群范围变广，导致系统中潜在的风险波及面更大，风险更加难测与难控。
三、对算法决策权异化的矫正理念：一种平衡观的重塑
只要对算法决策权的异化及时发现并予以矫正，决策权的异化便不再可怕。那么，下一步的关键问题就在于如何矫正。而如何矫正的前提首先是确立怎样的矫正理念与理论，这就需要找到一条适宜于公共机构算法决策的权力规制与权利保障路径。
聚焦算法决策权异化问题，其最终目的是求解人类在智能社会何以保有尊严与自由的幸福生活，这是关涉智能社会中人类境遇的重大命题。算法决策之下，个人能否持续地保有尊严与自由，可否不被算法强权所倾轧，不为算法系统所控制、所奴役，其核心取决于其是否具备应对权力异化、扭转权力势差、改变权力不对称局面的能力。只有在势均力敌、可以相互牵制之时，权力才不会肆意扩张，个人权利才会被尊重，个体才不会沦为被技术所控制的客体。目前算法决策权异化对决策相对人权利带来的不良影响，实为现有制度框架内决策主客体双方行动能力的失衡所造成。因此笔者认为，应将现有权力规制理论中的权力与权利平衡论进行一场针对公共机构算法决策场景的理论改造，以实现对异化的有效矫正。平衡论是从公法、尤其是行政法发展出来的、关于公权力合法运行与公共权力合理配置的基础理论，它为考察算法决策权与个人权利之间的关系问题提供了观察视角与理论工具。作为认识权力的视角之一，平衡论将公权力从上到下的垂直关系转化为水平的权利与权力的关系，在国家权力的结构中，插入了个人权利的考察因素，认为国家权力与个人权利应是一种互动的平衡关系，强调运用制约、激励与协调机制充分发挥行政主体与相对方的能动性，维护法律制度与社会价值的结构均衡，促进社会整体利益的最大化。
探究算法决策权异化的矫正方向，需要进行一场理论更新，即一种平衡观的重塑：第一，将二元平衡改造为多元平衡，建立多方主体与多组关系的平衡。如算法在公共机构的应用涉及公共机构、决策相对人和技术设计开发者三方主体，其中每一方都是制衡其余两方权力、使权利—权力结构均衡的制约力量。公共机构作为具备绝对优势的公权力主体，需尽可能平衡决策相对者与私营机构的力量，如在制定算法系统准入规则时，在参考行业标准、市场习惯的同时应注意充分听取决策相对人和相关人的意见。私营机构作为拥有技术能力，甚至是占据技术垄断地位的私权力主体，在公权力有可能对个人权利造成侵害的事项面前，应发挥对公权力制衡的作用，比如公共机构若想从平台中直接获取个人信息，须有法律授权，否则平台应以公权力行使不当为由拒绝公共机构的请求或命令。此外，相对人也应主动加入三方力量的平衡过程，对于私营机构违法收集个人信息等侵犯个人基本权利的事项，应积极向公共机构举报并提供线索。而在公共机构滥用算法决策权时，也应积极行使质疑权、申诉权与司法上的诉权，以个人力量推动权力与权利平衡。
第二，将宏观平衡改造为微观平衡，建立微观上权能组合的配置。两种事物唯有性质相通，才能更好地在同一尺度的天平上取得平衡，故需要挖掘权力和权利的相同性质，从法理上看，权能是将权力与权利转化为可以进行沟通联系的同质性要素，无论是公法上的权力还是私法上的权利，在规范作用上都由一种或数种权能构成。因此，权力与权利的平衡，从权能的角度来看，应是制度内权能配置与权能行使的平衡。具言之，可将宏观的算法决策权与个人权利拆分为微观的权能组合。对于公共机构的算法决策权，我们可将之拆分为以下权能：算法决策准入权、决策规则建立权、技术标准制定权、决策运行过程监督权和事后审核权等。与此对应地，可将决策相对人权利拆分为以下权能：与算法决策准入权相对应的准入质疑权；与决策规则建立权相对应的规则制定参与权；与算法运行过程监督权相对应的数据访问、修改、删除权及算法解释请求权；与技术标准制定权相对应的提出建议权、信息公开请求权；与算法事后审核权相对应的获得有意义的人工控制权。以上哪怕是很微小的权能，公共机构都有责任去保证其得到最大化的实现。
第三，将静态平衡改造为动态平衡，建立特定时间段内的流动性平衡，而非某一个时间点上的时时平衡。在上述权能组合配置中，每一对权能关系都无法达到某一时间节点上的静态平衡，尤其是科技发展总是在不断突破社会秩序的稳定性、打破权力与权利的均衡状态，这是客观规律，应当允许这种状态的存在。因此，算法规制框架的建立应顺应科技发展节奏非渐变性的这一自然规律，既要具有前瞻性，也要留有模糊地带允许灵活的软法规制，否则会因固守既有制度而要么成为科技创新的桎梏、要么因被架空而无力对现实问题做出有效回应。
总之，权力与权利的平衡应成为矫正异化的规制目标。我们不是为了矫正而矫正，而是为了平衡而矫正，如将算法权力全然限制则无以发挥其技术治理的功能，过犹而不及。算法决策权与个体权利的平衡，追求的是权力与权利之间、公共机构与个人之间、智能环境与个体之间、微观权力与具象权能之间的动态稳定性。这一平衡的原则可进一步具化为矫正异化的措施，即一方面建立即时矫正异化的“束状权力结构”，另一方面扩充长效制衡权力的“算法权利版图”，以从根本上矫正权力异化。
四、对算法决策权异化的矫正方案
（一）即时矫正：构建权力的束状结构
法治的关键在于权力制约，权力制约的有效途径是搭建权力的束状结构，使权力回笼并在一定边界内和限制下有条件地合法化运行。针对公共机构的算法决策，可以从权力行使范围、行使主体和行使程序三层次完成权力束状结构的搭建。
1.第一重约束：以决策权让渡规则划定权力行使范围
算法决策适用范围的划定实则是解决算法决策权的转移与让渡问题。决策权是公权力的核心组成部分，往往涉及对个人权利的处分与对社会资源与公共福利的分配。算法的广泛布控将推动越来越多的应用场景实现完全无人的自动化，其中某些领域如果完全依赖于算法决策，会给人类福祉和个人权利带来极大影响，故不能毫无原则、不讲规则地将决策权随意让渡给机器。尤其是对于公共机构，是否要引入算法决策、算法决策应在何种程度上参与决策……都应通过立法或授权予以控制和确定。这是一个亟需解决的现实问题。由于规范缺位、共识未达，算法决策事项往往由公共机构单方决定，比如动物园将面部识别系统用于出入安检，事前未征求公众意见或获得相对人的同意，造成决策侵权。同时这也是一个面向未来的命题，是在机器自主的算法时代到来之前，对始终应由人类控制的领域做出清晰认定，对人类决策权可让渡的范围和事项进行充分论证，为算法权力划定界限。
第一，对生命权与人身自由等重大基本权利作出处分的事项不应引入算法决策系统。其原因在于：首先，人类会因共同的文化教育和生活经验积累而对他人产生同理心、同情心和情感共鸣，法律赋予人类决策者以自由裁量的余地，是寄希望于道德与情感纽带可以生成法律规范无法精准规定的决策智慧。这不仅仅是法律遗产的有机组成部分，也已深深交织于人类社会的文化结构之中。而机器难以产生对人的同情与善意，在剥夺生命之时趋于冷酷无情。根据人道主义原则，对一个人依法审判、对其生命与自由进行处分的决策应由人类自身来完成，而不应交给机器。故在刑事司法领域应排除算法独立自主的裁判，仅可将其作为裁判辅助工具，仅能参考其决策结果而不能将之作为定罪量刑的惟一依据。其次，国际社会中，战争无可避免，然而“战鼓一擂，保护人权之法律则静默而息”（Silent leges inter arma），我们期待扳动手枪扳手的士兵是与其他人类拥有深厚情感与历史纽带的人类之一员，能清楚知道作为人类共同体的一员应该承担的道德与情感后果。加之在派出自主杀人武器执行命令之时，无需像派出人类士兵那样，会因对战友的伤亡预估而产生顾虑，故在制定作战方案时倾向于保守谨慎。自主杀人武器执行任务的最差后果仅是经济上的损失，容易导致杀戮程度和战争规模无限扩大而难以控制，故应禁止将其用于发动战争命令等重要决策。
第二，区分同一事项中，哪些决策权不能让渡给算法。出于技术复杂性考虑，公共部门应对算法决策系统目前所能解决问题的能力和技术水平进行综合评估，并对决策事项的难易程度进行分类，事先决定哪些类型的工作以及何种复杂程度的工作可以交由算法决策，而将不适合交出的决策权予以保留。比如加拿大移民局运用算法决策系统进行移民资格审查之时，先将需审核案件分为简单和复杂两种程度，其中被标记为简单的就直接交由算法审核，而难度较高的复杂案件则转为人工审核。此外，在大量应用自动化设备的军事活动中，算法决策的适用范围也应受到严格限制，其可用于侦查与情报，但有关识别攻击对象与下达攻击命令等核心权力应划为算法决策的禁区。
第三，人机决策不一致时，算法决策权让位于人类决策权。此情形相当于算法决策中出现了特殊情况，按理应由提出质疑的一方陈述质疑理由，由专业委员会予以审查，以判断人的决策与算法决策孰对孰错、算法决策系统是否出现故障或漏洞。但更多的情况是，面对诸如危重病处理、交通事故和重大安全事故等紧急情况时，时间紧迫以致无法及时对人和机器的决策进行分析，也无法瞬时对人类重新接管算法决策权的行为作出正当性与否的审查，此时该如何处理？有学者提出，在系统出现明显故障或程序出现重大漏洞的情况下，应将决策权重新交给熟悉此领域的人类专家。这意味着在人与机器的决策判断不一致之时，应以人类专家的判断为主，人类可以重新收回决策权。但决策权不能随便收回，否则人机协同过程会出现衔接漏洞、导致更大的风险与危机。决策的收回应由具有权限与资质的专人负责，并遵循一定的程序或操作，这一问题应纳入人机协同的法律问题予以探究。
2.第二重约束：以能力相当性测评限制主体资格
在规则圆满性无法验证之时，算法决策进入公共机构的正当性来源在结果上得到了相比于人类决策的“更优解”和“最优解”。这意味着在一些高度专业化工作中，人类让渡决策权的前提是算法决策的表现更好。如果算法决策系统能始终如一地执行一组定义良好的任务，且该任务与人类的专业知识相关联、表现也比一般的人类专家好，便可将其看作专家，使其获得决策主体地位。此正当化依据来源于医疗领域的一条重要标准—如果有充分证据证明救治行动产生了最有利的结果，行动即为合理。按此标准，如果有足够证据表明，对某一事项采取算法决策比人类决策更为理想，那么将该决策权让渡给算法系统即为合理。然而，这一标准的有效性基于一个前提，即“算法优于人类专家”，这就对作为决策主体的算法系统做出了严格限制，须对其进行决策能力相当性测评，如果算法决策能力达不到人类决策者的专业水平，则不能将之引入决策系统。
在传统决策中，人类社会从古至今都在竭力建立能够挑选出能力匹配的决策者的考核任用制度。从封建社会的科举制到现代社会的公务员招考、遴选、任命等制度，都是极为精细复杂、且严肃遵循法定程序的资格任免制度。具备怎样的能力方可为怎样的决策行为，只有通过层层考核大关，才有机会成为掌握决策权的公职人员。按此原理，人类在将决策权让渡给机器之前，也须对机器“能否胜任岗位”进行考察。目前，算法伦理审查、算法认证、算法检测等制度皆可归为算法决策能力相当性的测评机制，只有通过了审查与认证，算法系统才能被应用于公共管理与服务，只有检测达标，系统才能继续运行。此外，基于算法技术的特殊性，对算法能力相当性测评还应提出更高要求。
第一，能力相当性测评是基于常识的考察与评价。算法决策系统是一个高度耦合的系统，高度耦合意味着系统的各个组成要素与其他要素之间相互联系并相互依赖。高度耦合的系统是动态且复杂的，由于系统各要素之间紧密依存，一旦出现意外干扰事项，哪怕仅干扰到系统的某一细小部分，也会对整个系统带来致命打击。在此情况下，常识可以帮助决策者在不破坏系统稳定的情况下应对故障或突发事件，是算法系统风险的缓冲剂。所以公共机构引入算法系统时，除了考察系统本身之外，还应关注系统所依赖的训练数据库和设计建构系统的物理环境，以判断算法系统的交互学习环境是否足以使其拥有与现实环境相匹配的更多常识，将算法建构过程中常识的获取情况作为系统适应与解决特殊问题能力的评价标准之一。
第二，能力相当性测评应遵循分级处理原则。按风险级别、影响程度等情况的不同，可对算法决策系统进行分类分级。比如加拿大财政委员会提出对算法决策系统应进行算法影响评估，评估的内容包括以下四个方面：对个人或社群权利产生的影响、对个人或社群健康和福祉产生的影响、对个人或社群经济利益产生的影响、对生态系统可持续性的影响。以上影响又可分为四个层级：第一级是产生可逆或短暂的影响，第二级是产生可能可逆和短期的影响，第三级是产生难以逆转且持续不断的影响，第四级是产生不可逆转且永久的影响。算法决策产生的影响级别越高、风险越大，对同行评审、告知同意、人工介入程度以及系统管理者培训强度方面的要求也越高。国内也有学者提出了关于算法影响评估制度的落地方案，并呼吁应以公共事业场景为先导，科学合理地确定构建规划和基本路径。此外，新加坡个人数据委员会于2019年发布了《人工智能治理框架模型》，该治理框架提出将算法决策系统按照给个人权利造成侵害的可能性和严重性程度进行分类的方法，分类结果决定着算法可以参与某项决策的程度。无论是风险影响评估还是权利侵害可能性评估，都是对决策主体资格的限制，让具备相应能力的算法处理相应的决策事项，并针对不同评估结果的算法安排相应决策保障机制与风险控制措施，分级、分类、精准地对决策权做出限制。
3.第三重约束：以正当程序原则规范决策程序
正当程序既是公权力运行须遵守的原则，又是权力制约的重要机制。而算法决策嵌入行政活动会造成行政正当程序失灵，从而导致“权力—权利”格局失衡：算法黑箱挑战着程序的公开透明原则，数据偏见和算法歧视削弱了决策者的中立性，系统的封闭性动摇着程序分化和参与的理念。只有重新调和算法决策与正当程序之间的矛盾，将技术运用流程纳入正当程序，使其变通地遵守程序正义原则与具体规则，才能有效限制决策权恣意、实现决策现代化与法治化。
第一，建立面向第三方监管机构的算法透明机制。目前来看，除技术复杂性与机器自主性所导致的算法黑箱这一因素之外，阻碍算法实现透明的主要制度性因素是商业秘密。对于公共机构，在引入算法决策之前要求系统创建者将商业秘密向法律规定的监管机构进行相关信息披露，可在一定程度上缓解算法透明度困境。将这种向第三方监管机构披露、而非向社会披露的有限透明机制引入算法决策，可在保护商业秘密之时为监管机构履行监管职责提供便利。为此，公共机构在向私营机构采购算法系统时，可在合同中保留对算法决策重要信息的知情权，此时商业秘密应让位于公共利益。例如，美国伊利诺伊州儿童与家庭服务部在引入RSF系统时，在与算法设计公司签订的合同中加入了有利于披露算法运作情况的条款，该条款规定州政府拥有根据合同所生成的所有信息，其中包括知识产权和算法决策结果。而其他州由于未在合同中加入该条款，州政府无法得到以上信息，继而未能在决策相对人提出信息公开申请之时做出有效回应。该案例体现出公共机构在商业秘密和算法透明度之间进行权衡，通过增加合同特别条款来扩大算法透明范围的积极尝试。
第二，算法中立性保障机制。数据偏见与算法歧视挑战了程序的中立性，建立在人类决策逻辑之上的程序中立性制度面临失效风险，故需建立针对算法决策的程序中立保障方案，包括两方面内容：一是摒除数据偏见。对于由训练数据带入的社会偏见，算法设计者有责任在输入训练数据时，对数据中所负载的社会结构性歧视进行识别与排除。此外，公共机构应要求算法设计者对训练数据的公平性进行检测与说明，将此作为引入算法决策的重要考核指标。二是排除算法偏差。对算法偏差的排除不能仅依赖于外部规则，还要发挥“技术规制技术”的作用。目前，研究人员正在积极开发用于检测算法系统偏差的技术方法。有研究提出通过开发一种工具包可以结合不同指标来检测与决策结果不必要的关联因子；有研究发现可以用不同指标来衡量数据和决策结果中所暗含的间接歧视，并提出了几种识别歧视的具体措施。在检测出歧视问题之后，要对系统进行调整以避免问题再次出现，比如修改问题模型，以使带有偏见的数据失效；重新标记数据以确保公平性；开发能确保相似人群得到类似对待的公平性分类技术；控制不同变量对线性回归模型的影响，使变量的定义不由带有歧视性的参数来解释等。类似算法中立性保障机制应作为引入算法决策的必要程序在算法规制制度中予以明确。
第三，决策系统的开放性。决策系统的开放性是决策相对人行使参与权与质疑权的前提，是防止决策权滥用的手段之一，也是决策法治化的必然要求。算法决策的开放意味着：一方面，赋予有可能受决策不利影响的个人拥有在决策过程中的平等参与机会（一般通过听证会和专家论证会的形式实现），使其可以提出合理诉求。另一方面，赋予算法决策相对人可以对决策结果提出有效质疑的机会，并且质疑能得到决策者的关注与回应。如果技术系统本身是封闭的，则要求决策流程足够开放，要在算法决策全程嵌入用以保障个人参与权、质疑权的规则与制度，比如将人脸识别技术引入学校和动物园等公共领域作为安保准入措施之时，需在事前征求公众意见，在确保程序正当性的基础之上推进技术应用推广。此外，决策系统的开放性需搭配算法透明等规制工具，在行政说明理由原则与算法解释权的组合拳出击下，形成对决策相关人与相对人参与权、质疑权的全方位保障。
（二）长效矫正：权利版图的扩充
算法技术带来了决策权的全新运行模式和呈现方式，要想防止权力异化，除了控权之外，还须对应地赋予个人用以制衡权力的权利。算法时代的自然人在既有数据权利之外，应当在更大范围内得到充权，使上述决策权制约机制及工具在更广泛的范围内为一般自然人或者利害相关方所应用。如前所述，单向度的一种权利已很难胜任这一制约功能，因此笔者认为，应在更大范围上对算法权利版图予以扩充，以形成完整自洽的新兴算法权利版图，以权利的有序生长来遏制权力的野蛮扩张，最终实现对决策权异化的长效矫正。目前，围绕着公共机构算法决策而自动萌生或主动配置的新兴权利（或权能）主要有个人数据保护相关权利、算法解释权、免受自动化决策权、有意义的人类控制权及事后的人工审核权，前两种权利类型已获得相对充分的关注与研究，较为成熟，不再赘述，在此着力对后三种权利类型展开论证。
1.免受自动化决策权
免受自动化决策权源于欧盟数据保护法中关于自动化决策的特别规定，其内涵是数据控制者不得采用完全自动化的方式、不经过有效的人工介入而将个人数据用于有可能会对数据主体产生重大影响的自动化决策。《欧盟通用数据保护条例》第22条第1款规定：如果某种仅依自动化而做出的决策会对数据主体产生法律效力或对其造成重大影响，则数据主体有权不受上述决策的限制。该条款的设立体现出欧盟对完全以自动化方式做出的、会对个人产生重大影响的决策持审慎与怀疑态度，此条款被置于“第3章：数据权利”之中，意在通过赋予数据主体一定人工干预的请求权，以对抗自动化决策对数据主体权利的影响。《欧盟数据保护第29工作组关于自动化决策的指南》指出，该条款确立了可能对个人产生潜在影响的自动决策的一般性禁止。如果按此理解，则免受自动化决策条款的适用须满足以下条件：一是做出自动化决策的根据是对个人数据的分析；二是决策指向特定个人；三是决策须完全基于自动化处理、无人工干预；四是对数据主体产生法律影响或重大影响。
以上四个限制条件使得该条款已无法应对在公共领域广泛使用算法决策所出现的问题。首先，在诸如警务预测、刑事司法和股票高频交易等领域，算法决策所处理的数据往往为集体人群数据或是依法律规定已不属于受保护个人数据范围的犯罪嫌疑人犯罪数据。此外，大数据技术极大增强了算法在群体数据中挖掘知识与规律的能力，这可能会加剧偏向于特定非客观结果的偏见。在这种情况下，如果将免受自动化决策权利条款的适用局限在个人数据处理事项中，则会从根本上动摇《欧盟通用数字保护条例》力求提升个人在智能时代权利能力的立法初衷。其次，“人工干预”的笼统说法会导致算法决策控制者为规避该条款而采用形式上的人工干预或伪造出人工干预痕迹，这种情况下的人工干预并不会对算法决策造成实质性影响。再次，产生“重大影响”的判断标准具有相当的主观性，比如收入差距较大的两个人，在同时遭遇算法决策拒绝其社保申请之时，所感受到的决策影响力是天差地别的。最后，“产生法律影响”的限制范围过大，法律影响有对民事权利产生的影响、有行政法意义上对行政相对人产生的影响、也有对刑法和宪法所保护的基本权利造成的侵害，这使得条款在适用上出现很大的解释困难。由此可以看出，《欧盟通用数据保护条例》由于整个立法是围绕着个人数据处理，故无法应对越来越多的算法决策问题，尤其在算法决策大规模进入公共领域之后，个人权利的公法保护变得捉襟见肘。因此，需要进一步挖掘对算法决策更具针对性的规制工具。
为此，欧洲议会和理事会针对刑事司法领域出台了《刑事案件数据处理指令》，其中第11条关于刑事案件运用自动化决策的规定，要求成员国有义务禁止仅基于自动化作出、并会对数据主体产生重大影响的决策，第7条第6款也原则上禁止了对个人会产生重大影响的自动化决策。按此规定，运用算法决策识别恐怖分子之时，需以人工介入的方式来对算法识别结果进行专门审查。值得一提的是，《刑事案件数据处理指令》并没有沿用《欧盟通用数据保护条例》中需获得数据主体明确同意才可进行自动化决策的限制，由此可以看出，该指令已考虑到将算法决策运用于刑事司法系统的特殊性。因为如果将诸如COMPAS之类的犯罪风险预测系统运用于司法裁判，则关于数据主体同意的限制性规定就会使司法机关须在事前取得犯罪嫌疑人同意，而这种做法将破坏犯罪预防的效力。从公共机构决策权具有特殊性的角度来看，该条款的做法比《欧盟通用数字保护条例》第22条第1款更为妥当。
此外，《英国数据保护法》规定用于执法的自动化决策，其控制者有义务告知决策相对人该决策是仅依自动化系统而做出的。与此同时，还规定决策相对人可以要求数据控制者重新考虑该决策，或者重新做出不完全基于自动化系统的新决策。类似关于免受自动化决策权利的相关规定在一定程度上体现了欧洲国家对算法决策应用于公共部门的一种警惕和警醒态度，在意识到科技进入公权力机构会对个人权利产生巨大影响之时，通过法律向个体赋权的方式，逐步使相对人拥有与算法强力相抗衡的机会与能力，以实现真正意义上的权力与权利平衡。技术膨胀出的权力越是绝对，人类的尊严就越受到威胁，只有在决定自身的关键事务上享有积极参与的权利，人类才有可能维持和延续在知识、经验和道德上的卓越，在这个意义上，免受自动化决策权实乃关系人类共同命运的最后一道屏障，值得我们批判性借鉴。
2.有意义的人类控制权
对我国的公共机构而言，更为迫切的需要是为算法控制者配置有意义的人类控制权，它可以确保在无法逃离算法决策的某些特殊场景下，受决策影响的个人也能获得人工干预，以抵抗机器自主的负面效应。首先，在高度依赖人类感情的教育与养老等决策场景中，应保有有意义的人类控制权，其原因在于，教育场景中的机器教学会将教育转变为单一的知识传授，使教学过程失去人类教育者言传身教、人格感染的教育意义。此外，完全将教育活动交给机器，会缺乏人际交往过程中因沟通带来的双向互动与激励过程而抽空教育的精髓和内核，不利于人格的养成与发展。而在养老与临终关怀场景中，缺乏与人类服务者的交流互动会使人产生幽禁与隔离的孤独感。有研究发现，与护理机器人的接触无法弥补人与人之间接触不足的情感缺失，故对老年人的临终关怀不仅需要日常护理，还需要人类之间的情感交流与亲密关系的维系，而后者只能由人类来完成。对此，欧洲议会法律事务委员会（JURI）提出，人与人之间的接触是人文关怀的基本面向，机器代替人类进行决策，可能会使得教育与关怀实践变得不人道，故类似场景不应全然由机器掌控，算法决策应置于人类控制之下。
其次，该权利的实现前提是为人类控制留足空间，它对算法系统的设计建构提出了新的要求，即算法设计应以实现人机交互为导向、并须为人工干涉和人工控制提供接口和便利。这意味着只有具备人类能够采取有效控制决策程序的操作界面，算法系统才能被应用于公共决策。这是走向人机协同的必然趋势，赋予算法系统管理者有意义的人类控制权，就需要对程序设计者苛以相应的保障义务，使其在系统设计之始，即能将此义务落实到设计的每一环节之中，无论是语言环境还是操作设施的设置，都应有助于使算法系统可在特定情形下退出自主决策、顺利由人类接管。
最后，对决策相对人而言，该权利意味着其可以向算法控制者行使人工干预请求权，通过人工干预，全自动化决策变成了非自动化决策。与决策相对人获得人工干预权相对应的，是决策系统管理者对算法的人工监督义务。欧盟数据保护第29工作组也提出了有意义的人类监督原则，认为算法控制者有义务在引入算法系统的同时安排好人工监督和干预的环节与保障措施。由此，该权利在特定场景下被转化为算法控制者的义务，尤其是在完全运用算法决策会使技术失能者遭受不公平待遇的场景中，比如公共场所准入、银行金融服务、健康码核查等场景，需在算法系统之外添加人类验证通道，以确保缺乏智能设备、无法应用智能技术的“技术弱势群体”也能顺利、平等地享用公共设施、获得公共服务。
3.事后的人工审核权
在某些特定情况下，有意义的人类监督会因客观情况受限，实时监控难以实现，此时须赋予决策相对人获得人工审查的权利。尤其是面对特殊算法技术的应用，如面部识别算法，由于其基本原理是对同一个人分别从智能摄像头提取的和从已有数据库里提取的两套面部数字图像进行比对，故在这一生物特征捕捉与验证的过程中，对人脸的辨识度和识别技术参数的精准度都会对决策结果产生影响。技术产品是允许有一定容错率存在的，而直接对个人产生法律影响的决策却不允许出错。人脸识别技术在公共机构主要用于对个人行为自由进行限制、对犯罪嫌疑人做出逮捕决定等活动的前置程序，故为避免因人脸识别错误而给个人权利造成严重影响，在将诸如此类对个人权利具有高度影响性和侵权可能性的算法部署在公共空间之时，需配置决策结果的人工审核权。对此，欧盟基本权利局已注意到这个问题，并在于2019年发布的《面部识别技术：执法中的基本权利考虑》报告中提出，由于人脸识别技术无法自始至终稳定给出确定的结果，而只是提供关于两张脸属于同一个人的概率，所以会出现识别与标记的误差，故需在事后加入人工审核程序。
同样地，公共机构在引入算法系统进行治安管理、犯罪侦查、安防布控和行政执法等活动时，应对会影响到个人权利的决策结果进行人工审核与确认。比如，如有公民经算法决策被认定为犯罪嫌疑人，则其有权要求公安机关对算法识别过程进行人工审核。再比如，我国各大城市应用的智能交通管理系统出现“完美执法”的决策时，对驾驶员的处罚是应该按照每超速一次就进行一次处罚，还是应在一定期限内对惩罚上限做出规定，这都需要人类专家在算法决策之后，对结果予以核查和确认。目前，我国道路交通违法处理的人工柜台确认程序正是为自动化执法系统配置了人工审核的权利。
结 语
随着科技的发展与技术的迭代，当下中国的公共机构面临着决策从人工到算法的转向，这是一场借助于算法又不能为算法左右的决策权改造活动，它既关乎系统内决策事项和运行流程的微观改造，又关乎公权力结构的宏观再造，更关乎政府公权力与公民权利关系的重构，并直接决定着对个人与公共两种利益的调整及对公共资源的分配。面对智能技术的迅猛发展，法治的进步需要与科技的进步同步，而如何保持人的自主性与机器自主性的两相协调，以达到人机协同的理想状态，将成为新时代法治中国建设中的一大理论命题与实践难题。算法的应用会催生出新的权力蔓延与新的权利生长，我们必须警惕新权力外溢与新权利发育的负面效应，洞察新技术变化的细节与新时代法治发展的脉搏，及时生成符合当代中国法治发展的理论与策略，以实现对科技以人为本与技术向善的根本关照。为此，应回归权力与权利的平衡这一规制观的靶点中心，防范权力异化，发展权利版图，赋予决策相对人以对抗性权能，探寻兼具中国本土特色与智能时代特征的理论路径与实践策略。在此过程中，公权力主体应做出更为积极的努力，以使公民可以平等、充分地参与科技红利的分配与分享，使个人在智能社会中获得更大自由与更多尊严。当然，本文对算法决策权异化问题进行批判与剖析并不是为了否定人工智能技术在公共领域中应用与推广的价值，而是为了有针对性地寻找科技向善的未来出路。算法技术虽然对当下中国法治发展和社会进步都产生了深远意义，但终究只有人才能成为这个意义的核心与终点，而这正是我们不懈努力的目标之所在。
End
＋
相关阅读
3.黄再胜｜面对互联网大企业的“算法治理”，“打工人”该往何处去？
4.罗智敏：算法歧视的司法审查——意大利户户送有限责任公司算法歧视案评析
＋
商品书目
微信号 : DigitalLaw_ECUPL
探寻数字法治逻辑
展望数字正义图景
数字法治战略合作伙伴：理财魔方
北京市竞天公诚律师事务所上海分所