域外采风（XVII）| 行政法、人工智能与程序性权利​【曹旭辉编译】

行政法、人工智能与程序性权利

文献来源：Amy Goudge,Administrative Law, Artificial Intelligence, and Procedural Rights, 42 Windsor REV. LEGAL & Soc.Issues【《加拿大温莎大学法律与社会问题评论》】 17-50 (2021).

作者：Amy Goudge（加拿大渥太华大学法律博士[J.D.]候选人）

编译缩写：

曹旭辉（首都师范大学宪法学与行政法学专业研究生，比较行政法研习营营员）

审校：宋华琳，南开大学法学院教授

引言

人工智能可以优化法律体系中的决策，从而影响法律的解释和适用，这可能会对既定的法律原则产生冲击。本文研究了加拿大行政法中人工智能的引入，将如何影响程序公正。一方面，人工智能可促进行政法的简化，通过消除诸如隐性偏见、认知错误和疲劳等人类局限性，改善系统的准确性，提高效率。通过将繁琐的任务委托给机器来节省资源，公务员和法官可以将他们的时间用于改善公共服务，并解决需要人类独特能力的复杂问题。这可能会加强实质性的平等，并在功能上限制行政机构的法定任务。另一方面，人工智能可以通过增加对我们法律权利的获取和理解，使我们能够预测法律后果并相应地调整自身的行为，从而进一步使法律民主化。虽然人工智能可以自动排除人类的参与，但人工智能有许多方式可以嵌入人类的偏见，造成歧视性的影响。人们可能无法解读人工智能工具如何或为何产生特定的决定。人们倾向于认为人工智能是客观和绝对正确的，这可能会掩盖和进一步加剧歧视。

采取基于权利的进路，在行政法体系中使用人工智能，会威胁到对体系完整性至关重要的法律原则和权利保护。本文第一部分论述了加拿大的行政法体系和原则。第二部分分析了在加拿大行政法中，使用人工智能可能如何侵犯程序性权利。在第三部分中，研究联邦行政机构使用人工智能来识别实现程序公平所面临的风险。第四部分概述了这一法律领域的规制框架，并提出了额外的保护措施，以尽量减少所识别的风险。

一、加拿大的行政法体系和原则

在加拿大行政法中，行政决策者要对直接影响人民权利的绝大多数法律结果负责，这种责任涵盖了公民日常生活的诸多核心问题。为了使这一宽泛的权力合法化，行政决策者做出的决策必须有明确的正当性、透明和可理解。决策者还必须尊重基本的民主原则，例如法治和人们有效参与影响其权利的决定的权利。

这些首要目标为遵循程序公正提供了依据，程序公正原则成为加拿大行政法的基本原则。基于公平程序有助于确保公平结果的观点，程序公平保证将公平、公开的法律程序“适用于正在作出的决定及其法律、制度和社会背景”，这可能包括通知将要作出决定的权利、披露将要考虑的材料、提供书面或口头意见的机会、由公正决策者举行听证会以及说明理由。随着受行政决定影响者的增加，程序公正的适用范围扩大到所有非立法性质的行政决定。当一方的权利、特权或利益受到威胁时，行政决策者现在必须尊重程序公正的基本义务。

虽然程序公正并不赋予任何实体性的权利，但它在防止政府恣意行为方面具有重要作用。程序公正有助于确保行政决策者真诚地行使其裁量权。在特定情况下，程序公正的程度将取决于各种背景因素，其主要因素是行政机构的授权法规，该法规可以确定决策者必须承认的具体程序性权利。行政机构也可能有义务根据一般成文法保障某些程序性权利。在极少数情况下，《加拿大权利和自由宪章》可能会触发具体的程序性权利。最后，普通法确立了一个非详尽的因素清单，这些因素可能决定程序公正的程度，包括所涉及权利的性质、行政程序与司法程序的相似程度、决策对受影响各方的重要性、决策者的专业水平、内部权利以及行政机构授权法规提供的救济，以及有关各方的合理期望。

二、人工智能和程序公正

现今，“人工智能”一词被用来指代一系列试图通过模式识别、推理和解决问题来复制人脑响应信息能力的技术。人工智能系统大致有两种类型：封闭规则系统（closed-rulesystems）和机器学习系统（machinelearning systems）。封闭规则系统也被称为“专家系统”，根据由人工程序员预定的一组固定的规则进行操作。相比之下，目前占多数的机器学习系统自适应地从数据和经验中自我学习，找到最优建模以实现其目标。

行政机构使用人工智能引发的程序公正问题在于如何、为何使用该技术。最极端的例子是一个行政机构选择用人工智能代替人类决策者，技术将控制关涉人民合法权利的最终决定。在这种情况下，对程序公正的关注将是非常重要的。更有可能的场景是，行政机构将以Al来辅助支持人类决策者。例如，Al可以起草决定模板，标记需要进一步调查的案件，或对请求的中间环节加以应对。此时Al对程序性权利的威胁较小。事实上，如果Al只影响到中间决定，应该不会有程序正义的问题。然而，从属于人类决策者的AI仍然可能对最终结果产生重大影响。例如，Al可能会以建议的方式影响决策者的推理。

如第一部分所述，程序公正使行政机关在涉及个人权利时负有利益权衡的义务。然而，程序公正是一种灵活的原则，必须与行政法体系的总体目标（如权宜性和有效性）相平衡。这要考虑比例原则，评估人工智能支持的行政决定的可允许性，将涉及对潜在风险和潜在利益的权衡，这可能表现为三种不同的情况：第一种是人工智能可能根本不影响程序的公平性，使得平衡性的理由没有必要；第二种是人工智能对程序公正性产生不利影响，但其显著的有益效果可证明其合理性；第三种是当人工智能对最终的法律裁决产生实质性影响，即程序公正被严重破坏，以至于以任何有益的效果也不足以证明其正当性。

下面，我将阐述人工智能是如何侵犯当事人获得公平公正的决策者的程序性权利以及对知晓决定理由的权利的。

（一）获得公平、无偏私决策者的权利

获得公平和公正的决策者的权利源于“任何人都不应在自己的案件中担任法官”这一法谚，反映了每个人都有权根据法律得到公平、无偏私待遇的理念。它要求禁止拥有裁量权的行政决策者不诚实行事、考虑无关因素或预先决定如何行使裁量权。

人工智能支持的行政决策可以通过多种方式侵犯获得公平、无偏私决策者的程序权利。尽管人们可能会认为人工智能是中性的和精确的，但人工智能的发展迫使程序员在人工智能的设计上留下自己的主观价值判断。从设定编码参数到选择训练数据，这些价值判断在技术设计的多个阶段塑造了技术，可能会产生对某些群体有不当影响的人工智能工具，或考虑与指定任务无关的变量。人工智能偏差可以追溯到两个来源：人工智能所使用的数据和它所考虑的变量。每一个都可能导致人工智能延续其编码者的偏见或根植于数据本身的偏见。

首先，人工智能可能是在一个不准确或不完整的数据集上被训练的，这影响了人工智能如何学习为其操作模型编程。因为训练数据会教给人工智能哪些相关模式是重要的，训练数据的代表性对人工智能如何准确分析新的输入有很大影响。

人工智能编程也需考虑目标变量，这可能会使人工智能学会在面对诸如性别、性取向或种族等受保护特征的变量或代理变量时产生负面结果。与此相关的是人工智能如何学习将数据的相关性归类为随机或重要。更为重要的是，人工智能在解释社会背景、道德理解和类比推理方面的能力极其有限。相反，法律决策者必须理解法律的政策目的和案情的社会背景，酌情确定哪些因素与特定案件有关。由于人工智能不能解释社会背景或抽象的规范原则，它将无法确定在许多法律应用中应该考虑的相关因素，从而违反了程序公正的要求。

（二）获得决定理由的权利

获得决定理由的权利维护了理解影响个人合法权利的决定的民主权利。它还鼓励决策者严格挑战自己的推理过程，确保其能够以逻辑和说服力的方式进行阐述。这可能会提高决定的完整性，同时向受影响的各方保证，决策过程是合法的，所有相关问题都得到了考虑。获得理由的权利与司法审查有着重要的联系，司法审查取决于对最初决策者的过程和正式理由的记录。它还通过维护我们系统的完整性，使司法尊重合法化，不要求审查法官干预所有行政决定。普通法允许设定一个灵活标准，明确在什么情况下需要提供理由以及必须采取什么形式。

为机器学习式人工智能所支持的行政决定，对获得决定理由的权利构成了最大威胁。相对于封闭式规则系统而言，机器学习系统有着固有的不可捉摸性，因为它们的结论是基于自主生成的模式和经验，而非离散的规则和原则。因此，无法看出机器学习系统是如何教会自己结合、比较或考虑数据以生成结论的。这甚至使系统的程序员或专家数据分析师无法解读机器学习系统如何权衡或考虑不同的变量，也无法指出导致人工智能结果的具体推理链。因此，行政机构可能会在依靠机器学习的同时，通过对技术的披露来履行其程序性义务。例如，人工智能供应商披露机器学习系统是如何开发和测试的，考虑了哪些变量，以及它是如何形成最终决定的。如果人工智能的编程与行政功能相关的法律框架相兼容，行政机构可能会在决策过程中纳入机器学习，而不侵犯获得理由的权利。虽然机器学习模型的透明度可能无法满足获得理由的实质性权利，但至少在人工智能只在决策过程中发挥从属作用的情况下，它很可能符合获得决定理由的程序性权利的较低标准。

三、当前人工智能的运用与程序公正风险

在公共部门，人工智能通常被用来提高服务质量和缓解资源限制。例如，可用人工智能来快速、精确处理不断积压的案件。例如，加拿大移民、难民与公民事务部（IRCC）在2019年面临其有史以来最大的庇护申请积压。预计受保护者的难民申请需要23个月时间处理，而人道主义和同情理由的申请将需要长达36个月的时间。如果没有系统的辅助，这些积压将继续存在，对受到长期拖延的申请人造成不利影响。

加拿大政府已经接受了人工智能，因为它有可能减轻行政拖延等问题。其中一些人工智能项目只是影响内部行政的运作。例如，加拿大公共卫生局使用人工智能软件按相关性对新闻报道进行分类，司法部使用人工智能进行法律文件审查。然而，其他人工智能应用影响到面向外部的服务，因为它们执行政府政策并协助确定授予或拒绝福利。例如，加拿大惩教署（CSC）使用统计风险评估工具来设定囚犯的安全级别和监禁条件；加拿大就业和社会发展部（ESDC）使用风险评分算法来调查福利的超额支付，并启动预测分析程序来处理加拿大退休金计划的残疾申请；加拿大税务局使用预测分析来检测税务欺诈；司法部从私人供应商处采购人工智能模型，“以确定数字司法的未来”。

上述例子中大多只对程序公正构成轻微的威胁，但有其他例子将影响法律权利的最终确定，从而对程序性权利产生重大风险。例如，如果这些人工智能系统根据不具代表性的数据进行培训，或者在生成结果时学会考虑不相关的因素，这可能会侵犯获得公平和无偏私决策的程序性权利。例如，加拿大联邦最高法院发现，加拿大惩教署使用的风险评估工具是歧视性的，因为它们是在不够多样化的数据上训练和测试的。类似地，一个移民决定中使用的算法是有偏见的，因为它根据受保护的特征进行法律上的区分，而没有考虑与决定相关的所有因素。使用人工智能处理这些申请可能会减少移民局的等待时间。但这可能意味着移民决定不了解每个案件的社会背景、相关法律的目的，也有可能为人工智能应用所扭曲。

四、规制的因应之道

一个有效的规制方案，有助于确保在决策过程中采用人工智能的行政机构不破坏行政法系统的合法性，不侵犯程序性权利。有效的规制并不一定意味着绝对禁止行政决策中的人工智能。相反，规制建议通常要求负责任地实施人工智能，并承诺履行技术性正当程序。这将使实施人工智能治理的行政机构受透明、问责和非歧视原则的约束，同时为权利侵害提供补救机会。这将维护行政法体系的合法性，维持公众接受和遵守法律的意愿。从效率方面而言，频繁违反程序性权利的行为会引发对行政决定的司法审查申请的增加，这将抵消使用人工智能提高公共决策系统的速度、效率和质量的预期效果。同样要强调的是，利用人工智能做出的行政决定最有可能影响已经被边缘化的群体。

（一）当下的规制框架

联邦政府已经致力于规制其人工智能的实施，承认如果不负责任或不道德地部署人工智能，可能会威胁到既定的法律规范。2019年，联邦政府发布了《自动化决策指令》（Directive on AutomatedDecision Making，以下简称《指令》），要求所有联邦机构遵守。作为负责执行的机构，加拿大财政部可以对不遵守《金融管理法》所允许的任何措施进行处罚。但指南的实施是裁量性的：《指令》没有对不遵守规定的行为施加任何强制性处罚。该《指令》只考虑了未来的补救行动，它没有要求对已经受到侵害的群体进行救济。虽然《指令》要求行政机构提供任何适当的补救方案，但它并没有授权或直接促进人们在权利受到侵犯时获得救济的机会。

（二）改革建议

作者建议加拿大联邦政府采取进一步的措施，以确保人工智能支持的决定是透明的、负责任的和非歧视性的，进而不会威胁到程序性权利。

首先，《指令》应加强其执行计划，纳入对不遵守的强制性惩罚。这些惩罚措施将增强威慑力，同时传递政府对问责制和程序公正的承诺。在加拿大，可以对违反《指令》总体原则和目标的做法进行强制处罚。也可以对推进《指令》目标的做法进行积极的激励。例如，增加人工智能开发团队的多样性，或在实施前与最有可能受到人工智能影响的群体进行协商。

其次，建议政府修改其透明度要求。目前，《指令》要求政府机构在决策过程中披露将在何处使用人工智能，并解释如何、为何作出最终决定，这些要求对于确保公众信任和问责非常重要。然而，这没有要求政府解释为什么在特定情况下有必要使用人工智能。这偏离了公法上的比例原则，该原则要求政府为任何强制措施提供有效目标的证据，并在其目标和所选手段之间建立合理联系。如果《指令》包括一个额外的透明度要求，要求各机构解释为什么为实现特定的政策目标或法定任务而必须使用人工智能，将更好地防止任意或不必要地使用人工智能。此外，要求行政机构证明使用人工智能的必要性，将使法院能公平评估对程序性权利的侵犯，是否应被允许为合理的行为。政府还应考虑如何更好地适应强制性披露要求可能带来的负面影响。例如，一家公司如果披露了太多关于人工智能程序设计的技术信息，可能会让不精通计算机科学的人不知所措或感到困惑。工程师们正在开发提高透明度的工具，通过以公众容易理解的格式展示信息。政府可以向其人工智能供应商提供这些工具，以帮助确保关于人工智能系统的强制性披露，让个人无论年龄、教育水平和语言能力为何，都可理解。强制性的透明度要求也可能与商业秘密保护相冲突，政府可以通过与来自私营部门的利益相关者重新起草其透明度要求，来防范这一问题。

最后，加拿大应该修改其《指令》，以确保对于以人工智能支持的影响法律权利的决定，保留由人来进行审查的权利。对人工智能支持的决定进行人工审查，是当受影响的当事人因人工智能固有缺陷而受损害时，对相应决定提出有效质疑的唯一途径，对确保问责、透明、非歧视和程序公正而言具有至关重要的意义。

---

“规制与公法” 之 “域外采风”系列专题目录