域外采风（XVIII）| 作为政府行为者的人工智能系统【纽大Crawford等，周维栋编译，宋华琳校】

作为政府行为者的人工智能系统

Kate Crawford &

Jason Schultz

Kate Crawford & Jason Schultz,AI Systems as State Actors，119 Columbia Law Review,1941-1972(2019).

本文引用格式建议为：Kate Crawford & Jason Schultz：《作为政府行为者的人工智能系统》，周维栋编译，宋华琳校，“规制与公法”公众号，2022年2月21日。

作者

Kate Crawford，发表论文时为纽约大学杰出研究教授；微软研究院首席研究员；纽约大学人工智能现代研究所联合创建人。

Jason Schultz，纽约大学（诊所）法学教授，纽约大学技术法律与政策诊所主任；纽约大学人工智能现代研究院法律与政策研究领域带头人。

编译人

周维栋：中央党校（国家行政学院）博士后，比较行政法研习营营员

审校：宋华琳，南开大学法学院教授

【摘要】当政府以违反法律的方式使用私人供应商提供的人工智能工具时，很少有人关注法院应该如何追究这些私人供应商的责任。许多州政府认为自身没有知识或能力来理解、解释或补救他们从第三方采购的人工智能系统所产生的问题，其立场是“我们不能为不懂的事情负责”。这意味着算法系统在为政府决策过程提供帮助时，并没有任何问责或责任机制，属于问责漏洞。对此，法院应该采用一种政府行为理论（state action doctrine），将直接影响政府决策的人工智能系统的开发者认定为政府行为主体，以承担宪法责任，这是填补当前人工智能问责漏洞的必要步骤。

本文从三个部分探讨了人工智能问责。第一部分，作者概述了政府使用人工智能系统的现状，尤其是涉及政府关键决策过程的人工智能系统。第二部分，作者回顾了有关政府行为的判例法和文献，重点关注公共职能、强制性和共同参与理论，以及这些理论如何应用于政府使用的人工智能系统的供应商。第三部分，作者讨论了应用政府行为理论来填补人工智能责任空白的规范性论点。总体而言，作者认为人工智能供应商为政府提供辅助或核心逻辑、理由和行为的工具，而这可能构成违反宪法的行为，因此，开发人工智能系统的供应商也可能要承担宪法责任。

一、看起来像政府的人工智能系统

尽管在联邦、州和城市层面正在进行一些努力，但是没有全面的图谱，甚至没有达成一致的方法来调查美国政府对人工智能的使用状况。在这些人工智能系统的存在、设计和功能被成功记载之前，评估它们对宪法问责制的影响将是一个挑战。人工智能的公共审查面临两大挑战：(1)缺乏明确的公共问责和监督程序；(2)供应商的反对意见，即对其技术的真正了解会泄露商业秘密或其他机密信息。然而，美国政府正在越来越多地使用私人设计的算法系统，它们代表了一系列公共-私有配置。有的完全由政府“内部”开发，有的由承包商开发，或作为一种特许服务，甚至是“捐赠”，这可能妨碍监督。但很少有公开的文件明确指出每个系统中的宪法责任是如何分配的，特别是在公私合营的情况下。

在绘制人工智能问责图景时，一个经常被忽视的资源是法院，“在那里，证据、专家证词和司法审查揭示了对人工智能系统当前状态的新认识。”通过观察美国诉讼，可以发现“政府对算法的使用”是案件中权利和自由问题的争议焦点。下面通过四个案例研究，来展示对人工智能责任的诉讼。

（一）医疗补助和残疾津贴

在该案中，Tammy Dobbs患有脑瘫，她于2008年在阿肯色州注册了一个州医疗补助豁免计划，根据该计划，她每周应该有56小时的免费家庭护理。但是在2016年，根据年度评估情况，人力评估师提出了与前几年类似的问题，即免费家庭护理时长不变，可在将结果输入算法系统后，她的允许护理时间减少为每周32小时，并且计算机系统没有提供任何解释或机会来讨论这一变化。Tammy的事故并非个例，数以百计的阿肯色州残疾人的护理时间突然大幅缩短，爱达荷州在医疗补助计划下也出现了类似情况，他们的残疾福利被系统性地、毫无理由地削减。这些削减都是一种新算法系统导致的结果，是人工智能的早期形式。最终阿肯色州和爱达荷州的公民自由联盟在各自的州提起诉讼，声称“有问题的算法决策系统不适当地减少或终止了对智力、发育和身体残疾者的福利和服务”。原告在这两起诉讼中都占了上风，但是如何处理每个原告的个性化被剥夺权利的问题，在发回重审时仍未确定。

这些人工智能系统的实施没有有意义的培训、支持或监督，也没有对接受者提供任何具体的保护。一个为降低成本而优化的算法系统本身，没有考虑法律或政策问题，造成了最终决定诉讼案的核心宪法问题。 

就诉讼结果而言，一个关键的发现是，这些案件仅涉及针对政府机构的主张，而非针对第三方人工智能供应商。然而，这些胜利既没有为原告及其辩护人提供他们所经历的核心损害的补救，也难以防止在未来遭受类似的人工智能系统侵害。权利主张和法院的管辖权仅限于政府机构，从某种意义上说，这只是一个容纳违宪行为的空壳，而不是针对实施违宪行为的主要行为者。在阿肯色州和爱达荷州的诉讼中，以及在全国各地的类似案件中，人工智能系统供应商承担的宪法责任是缺失的。

（二）对公职教师的评估

第二个案例是关于使用专有算法评估公职人员绩效的。在这个案例中，德克萨斯州的一个学区通过私人开发的第三方软件实施了一个“数据驱动”的教师评价模式，该软件旨在将教师的学生成绩与全州的课堂统计数据以及教师以前的业绩记录进行比较。教师们认为他们无法知道该软件是否准确地评估了他们的工作表现，法院对此表示认可，认为“教师没有任何有意义的方法来确保正确计算他们的（评估）分数，因此，他们工作中受宪法保护的财产利益被错误地剥夺”。法院根据正当程序原则作出判决，认定教师可以就这一宪法问题提请审判。

本案与上文讨论的残疾福利案例相比，被质疑的行为与政府的关系甚至更加遥远。在本案中的人工智能系统完全是由第三方软件公司SAS建造、培训、安置和维护，SAS公司努力将其源代码、训练数据和设计尽可能保密，只允许原告进行有限的访问。虽然这种有限访问的情况最终支持了教师对州政府的正当程序裁决，但它没有提供任何针对SAS的问责机制。

（三）犯罪风险评估

第三个案例研究的重点是哥伦比亚特区的一次青少年犯罪听证会，在这次听证会上，主审法官拒绝接受长期存在却未经适当验证的“暴力风险评估”系统的证据。虽然本案中的风险评估没有作为人工智能系统的一部分来实施，但各级刑事司法系统的法官和其他国家行为主体都依靠算法工具来做出拘留和释放的决定。

这些“暴力风险评估系统”对刑事判决结果有着强大的影响力，尤其是对儿童而言。在这些算法评估中的“高风险”结论可能会导致（少年犯）被送往精神病院或安全的拘留所，与家人分离，并极大改变了他们的生活方式。当风险评估产生高风险分数时，这个分数会改变判决结果，并可以将缓刑从法官的判决选项中删除。而且大多数评估系统包括几个风险因素，这些因素可以作为种族的替代指标，导致出现根深蒂固的种族偏见。例如，经常使用的一个风险因素是“父母犯罪”，考虑到执法部门长期以来有据可查的种族偏见，包括对有色人种社区的过度警戒，很容易扭曲“高风险”评级。

（四）失业救济金

2013年，密歇根州州长里克·斯奈德启动了密歇根州综合数据自动化系统（MiDAS），试图利用该州庞大的内部数据库用于检测和机械确定失业救济金领取者欺诈的调查结果。在与雇主、其他州机构和联邦政府交叉核对数据后，如果该系统发现任何差异，就会通知州失业保险局（UIA），以便将索赔人的文件标记为潜在的虚假陈述。当文件被标记时，MiDAS将启动一个自动程序，试图向请求人发送一份问卷，要求在十天内做出答复。然而，由于系统的配置，许多调查问卷从未送达。其他的问卷则进入了休眠账户，或者进入了过期账户。

该系统没有提供任何其他的通知或答复方式，如果不对调查问卷作出答复，或者对表中任何一个问题作出肯定的回答，都会导致“请求人故意歪曲或隐瞒信息以非法获得福利”的默认裁定。一旦作出默认判断，UIA就将MiDAS的判断与它的企业欺诈检测软件（由第三方供应商SAS研究所提供）相结合，并向请求人发出信函，要求其还款并评估罚款和利息，而没有任何上诉或其他异议的机会。

实际上，对于密歇根州斯奈德市和许多领取失业救济金的人来说，该系统裁定了超过22,000项欺诈行为，错误率高达93%，这对被错误指控犯有欺诈罪的人造成巨大损失。于是，密歇根州代表被错误指控的受益人群体对MiDAS提起集体诉讼，法院认定MiDAS系统的缺陷损害了原告的利益，并“最终批准了一项和解协议，其中政府同意暂停所有MiDAS收集活动”。

由于该案只涉及对政府的预期救济，原告对负责直接操作该系统的政府行为主体以及为政府设计和实施该系统的软件公司提起了第二起集体诉讼。在Cahoov. SAS Institute Inc.案中，原告声称三个独立的技术供应商“设计、创建、实施或维护了UIA在裁定欺诈时使用的自动化系统”，他们属于政府行为主体，应该对“剥夺美国宪法或法律保障的权利”负有责任。法院认为，“这些合作的公司和个人，与州政府官员一起，给失业受益人带来了巨大的经济负担，而且他们在这样做的时候是在州法律的掩护下行事。”换言之，至少在针对他们的民事案件的动议驳回阶段，法院认为AI供应商是政府行为主体。

二、政府行为理论：私人行为主体宪法责任的框架

传统宪法责任理论侧重于政府机构或官员等公共行为主体的活动，该理论的运作是基于这样的假设，即政府行为者在维护这些权利和保护方面拥有最主要的权力和责任，因此应该被追究最高级别的责任。而只需要根据传统的侵权或规制路径，对如公司或公民的私人行为者追究责任。

然而，当私人行为主体行使政府权力，或“在国家法律的掩护下行事”时，法院试图让他们像政府一样承担责任。政府行为理论调和了行为“可公平地归于国家”的私人行为主体与行为被视为无关或外部的私人行为主体之间的界限——这种区别尽管在理论上和形式上是一分为二的，但历史上试图通过私营部门的“外包”来套取宪法保护，以及现代经济中公私合营关系的复杂交织，都对这种分离提出了挑战。对人工智能系统来说尤其如此，因为赋予人工智能供应商提供政府职能的权力和责任正在急剧增加。政府行为理论对人工智能供应商及其系统的适用性，将是未来人工智能问责制的一个核心问题。

为了根据政府行为理论评估私方当事人的宪法责任，法院通常采用三个检验基准：（1）公共职能基准（public function test），即审查私人实体是否履行了传统上完全由政府履行的职能；（2）强制性基准（comulsion test），即审查国家是否显著鼓励私人实体的行为，或对其施加了强制力；（3）共同参与基准(joint participation test)，即审查私人行为者的角色是否与公共机构和公职人员“普遍地结合在一起”。每项检验的基本问题是行为是否可以“合理地归因于”政府。

（一）公共职能基准

第一项检验的重点是私人行为主体是否参与了一项传统上由政府专门履行的核心政府职能。正如最高法院在ManhattanCommunity Access Corp. v. Halleck案中指出的，在公私合作和竞争的现今时代，几乎没有什么“职能”是国家的专属。然而，当一项传统的、专属的公共职能被“外包”给一个私人实体时，它仍然可能属于政府行为理论的范围。在Westv. Atkins案中，法院裁定，“政府在宪法上有义务为受伤的囚犯提供医疗服务，而将这一传统上专属的公共职能委托给私人机构，就会引起政府行为主体的认定。”在认定私营医疗机构作为政府行为主体负有责任时，法院的理由是，“监狱的医疗服务外包并没有解除政府为其关押的人提供适当医疗的宪法责任，也没有剥夺维护囚犯第八修正案的权利。”

因此，公共职能理论往往超越了按类型识别职能的形式主义，而是更深入地研究了将特定的职能委托给私人行为主体的利害关系。例如，在Gironv. Corrections Corp. of America案中，地区法院将该理论适用于一家管理州立监狱的私人管理公司，理由是“如果州政府在履行其职能时必须履行某些宪法义务，那么它就不能通过将政府职能委托给私营部门来逃避这些义务，并剥夺个人受宪法保护的权利”。同样，在DeBauchev. Trani案中，第四巡回法院认为“当国家试图通过授权给一个私人行为者来逃避明确的宪法责任，或将传统上完全是公共的职能委托给私人行为者时，私人当事方就是政府行为主体。”

因此，当私人人工智能供应商向政府提供他们的软件，以履行与政府整体公共和宪法义务特别相关的职责时，供应商被认定为政府行为主体的可能性就成为现实。那么，人工智能供应商及其创建的系统是否是政府官员用来履行国家职能的工具，还是供应商的系统本身就履行了这些职能。如果人工智能只是技术“工具”——好比向国家提供一把锤子，那么私人供应商就不在国家行为的定义之内。如果人工智能的目的是支持或在政府官员的决策中发挥实质作用时，就符合公共职能的标准。

上述案例研究展示了算法和人工智能系统执行传统公共职能的情况。在残疾人案例中，它承担评估和推荐公共福利资格的职能；在公共就业方面，它承担评估和建议人力资源行动的职能；在刑事司法方面，它承担评估被告危险性的职能；在失业救济方面，它承担调查和执行反欺诈法规的职能。因此，可能有充分的理由，认为人工智能供应商在履行公共职能。

（二）强制性基准

第二个标准是检验私人主体采取的行动是否受到政府的鼓励、控制或强制，而不是在“仅仅是政府的批准或默许”的情况下进行的，或者，正如在ManhattanCommunity Access Corp. v. Halleck案的口头辩论中不断提出的那样，私人主体在多大程度上有权做出影响宪法问题的实质性选择。

对于政府使用人工智能而言，责任的决定权将相当依赖于事实，但如果对宪法责任的任何指控是基于政府给供应商的投入或设计，这可能符合条件。例如，在Cahoo案中，投诉人称，负责运行和管理UIA项目控制办公室的软件公司CSG是密歇根州政府委托的，并且“在实施、配置、管理和维护有缺陷和违宪的欺诈检测系统时，得到了州政府的大力鼓励”。此外，据称CSG和密歇根州政府之间的合同将整个项目的管理权下放给了CSG。据此，可以认为政府在强迫CSG采取应承担宪法责任的行动。

在其他案例研究中，也有类似的强制因素。例如，在HoustonFederation of Teachers案中，学生考试成绩的关键算法输入完全由州政府提供。在残疾津贴案例中，系统的逻辑和条件的分类大多来自于强制性的州和联邦法规。在刑事风险评估案件中，法官最终保留了施加拘留和其他判刑条件的裁量权。因此，对于人工智能来说，谁来控制系统的设计和实施的决定，包括谁来提供数据来训练和测试系统，这一问题是关键的。

（三）共同参与基准

国家行为的第三个检验标准是政府是否显著参与了被指控造成宪法损害的受质疑行为，以至于两个主体可以被视为共同参与者。例如，在Brentwood Academy v. Tennessee Secondary School Athletic Ass’n案中，最高法院认为，该私人协会是政府行为者，部分原因是其绝大多数成员都是公立学校和公立学校官员，“就协会的存在和功能而言，压倒性地都是在履行纯部门的行为。”原告必须证明政府行为者和私人行为主体共同采取了行动，例如，通过实施“一项审慎、事先形成共识的计划”或参与构成“谋划或思想汇聚”的活动。如果政府只是制定标准，而非通过积极决策来参与，那么就不存在共同参与。法院认为“何事可公平地归因于政府，是一个规范性的判断问题，其基准欠缺严格的刚性”。

在Cahoo案中，法院认定，两家软件公司涉嫌违宪行为，可能会被认定为政府行为主体而承担责任。对于第一家公司CSG，法院援引了CSG直接参与失业救济金管理的指控，“这是一项传统上专属于国家的权力。”法院还发现，密歇根州与CSG之间的合同将开发MiDAS的“管理权”委托给CSG，由它来负责该州的应用程序开发和实施供应商的工作，负责“为MiDAS项目的所有利益相关者及时提供高质量的信息技术服务”。因此，法院认定，CSG与政府协调行动，在管理和维护剥夺原告宪法权利的机器人欺诈司法系统时，与UIA“一起共同参与”。同理，法院认为，SAS可以是政府行为主体，并对MiDAS和EDFS对原告造成的伤害承担宪法责任。

三、当人工智能系统更像私人监狱医生，而不像养老院管理员时

（一）当政府缺乏足够的可问责性或能力，来提供适当的补救措施时

私营人工智能系统供应商可能欠缺宪法责任。例如，在阿肯色州残疾人案中，州政府几乎完全依赖私人承包商来设计和实施造成宪法损害的系统。虽然原告能够对政府提出请求，以阻止正在进行的人工智能项目，但州政府机构缺乏能力来直接解决大多数具体的伤害问题。州政府对人工智能软件代码是如何编写的、错误出在哪里、用什么数据来训练和测试、或者需要什么手段来减少案件中提出的担忧，都知之甚少。Houston案也是如此，在该案中，校区的任何一名员工都无法解释，更不用说对宪法责任问题核心的专有人工智能的方法或输出进行补救了。这在许多方面与West案的监狱医生惊人的相似，政府将提供医疗的宪法义务“外包”给了他们。

当然，有人可能会说，政府供应商的情况往往如此，让政府承担责任通常就足够了，因为政府可以简单地要求供应商提供适当的补救措施，或者更换供应商。但是在West案中，法院不仅关注本案中对某一囚犯的具体伤害，而且还关注政府通过将潜在责任外包给其他机构，来系统规避宪法责任的可能性。

（二）当对人工智能供应商规制不足时

正在讨论对人工智能的规制进路，几乎没有哪个国家或地区以出台严格的规制进路，来确保人工智能问责制。当存在这种私人问责漏洞时，以政府行为理论来加以补救，就更具规范意义。如果允许规制者或受到损害的原告根据其他法律分别起诉这样的私人主体，那么指定AI供应商具有政府行为主体身份的理由就会更少。同样，Cahoo案提供了一个很好的范例。在支持对CSG和SAS的联邦公民权利诉讼中，法院还同时驳回了所有针对他们的州侵权索赔，根据密歇根州的产品责任法、过失法和民事共谋法，两家公司都不可能对其行为负责。因此，唯一可行的救济主张是程序性正当程序、平等保护和免于非法扣押财产的自由。

（三）当商业秘密或第三方技术信息是宪法责任问题的核心时

在HoustonFederation of Teachers案中，校区员工都无法回答该案中有关宪法责任的核心实质性问题，所有这些答案都在供应商的技术和法律权力范围内。在这种情况下，将供应商视为政府行为主体，允许那些受到宪法损害的人直接起诉供应商，原告和法院都能获得必要的信息，法院也可直接解决供应商的商业秘密问题。此外，许多法院已经制定了具体条款，以限缩和审查商业秘密的主张。

结论

政府行为理论为政府使用人工智能系统提供更多可能的问责路径，如哥大Gillian Metzger教授指出的，“政府行为理论仍然是法院的最主要工具，以此来确保私人行为者不能在宪法约束之外行使政府权力。”随着对人工智能规制的讨论不断深入，政府行为理论应该成为最终合理规制制度的一部分。随着人工智能系统越来越依赖深度学习，违反宪法的责任漏洞有可能变得更为广泛。法院将政府行为理论视为一种强大而灵活的普通法路径，来应对人工智能系统带来的违宪责任漏洞。

---

附录：“规制与公法” 之 “域外采风”系列专题目录