美国算法治理分析及思考

科情智库

算法治理是当今全球的一项重要议题，国际社会竞相开展相关研究与实践。2022年2月，美国民主党参议员提出《2022算法问责法案》，成为美国关于算法治理专门立法的最新探索。无独有偶，我国第一部以算法推荐服务为规制对象的部门规章——《互联网信息服务算法推荐管理规定》也于2022年3月正式实施。本文以美国算法治理立法为主线，梳理与分析其算法治理背景、模式、策略与制度，以期助力我国相关工作的深化推进。

1

美国开展算法治理的重要背景

随着算法技术与社会生活融合程度的日益加深，其产生的影响也愈加深刻。同时，在第四次工业革命浪潮下，国家未来发展前景与对新兴技术的掌握息息相关。这两方面的原因构成了美国开展算法治理的重要背景。

1.1　算法影响的正反二重性

本质上，算法是一套包含一系列数学运算（如方程式、代数、微积分、逻辑学等）并将其转换为计算机代码的完整指令。其作为现代科学技术重要成果之一，不仅为机器创造现代奇迹提供了重要动力，更已深刻嵌入社会发展结构的肌理，重塑了社会传统决策机制——由机器替代人做出部分决策，涉及交通、金融、住房、医疗、销售、教育、就业等诸多领域。如智能出行App，可以直接为用户规划最佳出行路线，实现交易成本的降低。同时，算法也因在公共部门的扩展应用而逐渐参与到社会治理中来。公共部门已经习惯（甚至依赖）通过算法模型参与社会日常治理，以缓解日益增长的治理压力与相对有限的治理资源之间的紧张关系。研究还发现，通过算法模型观察离散事件的时间和空间坐标，甚至可提前一周预测两个街区内的犯罪，且在美国8个城市的试验准确率高达90%。应认为，算法在公私领域的应用，为社会治理与公众生活提供了高效、便捷的服务。

但与此同时，算法也展现出了益处与风险并存的“正反二重性”。按照风险社会理论，工业化发展在给人类社会带来益处的同时，也会产生“现代性风险”，引发新的危险和不安。文明的进步并不总能消解人类对风险的担忧，特别是在技术学科等现代化发展的核心领域，风险正披着数字和方程的外衣，悄无声息地潜入生活之中。

算法风险的产生与其运行机制密不可分，算法运行需要以数据为支撑，输入带有偏见的数据则输出不公正的决策结果，即“偏见入，偏见出”。密歇根州的算法自动化审核失业补贴申请者系统就曾导致4万人受害；一些高校也因利用算法决策学生招录和奖学金的分配，受到了可能有损学生利益和加剧教育危机的质疑；一份关于美国刑事司法系统利用算法的报告也指出，智能量刑工具的使用面临有效性、准确性和偏见等担忧，应停止使用或改进此类智能工具。在这些事例中，算法充当了看不见的“裁决者”，算法黑箱的存在使得外界无法清晰了解算法决策的过程。有学者甚至将有害的算法模型描述为具有“不透明、规模化和毁灭性”特征，并造成“数字难民”的“数学杀伤性武器”（Weapons of Math Destruction）。在这种情况下，有关算法歧视、算法操纵、算法茧房、算法权力等的争议不绝于耳，引发了强化算法治理的时代诉求。

1.2　算法治理进入全球化时代

面对算法现实风险及技术发展需要，以联合国、欧盟、英国、加拿大等为代表的国际组织、国家开始探索算法治理方案，反映出算法治理进入全球化时代。

2021年11月，联合国颁布《人工智能伦理问题建议书》，阐明人工智能算法可能复制和加深现有的偏见，产生新的伦理挑战，并在算法研发、可解释性、透明度、隐私影响评估等方面提出了治理要求。该建议书由联合国的193个成员国共同签署，对国际社会的算法治理具有重要指导意义。

欧盟算法治理规范建设已取得了较为丰硕的成果。2016年4月通过《通用数据保护条例》，赋予个人关于算法自动化决策的事前拒绝权与事后获得人工干预和表达观点、提出异议权，以增强个人在自动化决策中的数据权益保护。2019年4月发布《算法问责及透明度监管框架》，建立“算法影响评估”机制。2021年4月出台《人工智能法》，设计“人为监督”制度，强化对高风险人工智能，尤其是为人的决策提供信息或建议的高风险人工智能系统的监督。

英国是世界上最早在国家层面制定算法透明度标准的国家之一。2021年11月发布了一项开创性标准，旨在为政府和公共服务部门提供有关利用算法工具进行自动化决策的具体指导（尤其是对个人可能产生法律或经济影响时），包括透明度数据标准、透明度模板和行动指南等重要内容。

加拿大在认识算法自动化决策功能的基础上，为降低公共部门采用该决策方式的风险，于2019年2月出台了《自动化决策指令》，就算法影响评估、算法决策透明度和质量保证、算法决策的救济和责任承担等，提出了一系列要求。

基于算法现实风险及其治理的全球化，美国也在不断探索治理方案，并形成了颇具自身特点的“多元共治”模式。

2

美国算法多元共治模式与特点

多元共治意味着多方主体的共同参与，这是美国算法治理模式所体现的鲜明特点。联邦政府、州和地方政府、相关行业、私营部门等主体都参与到了治理行列之中，但这些主体并非一定采用统一的规范行事，而是呈现出去中心化和动态发展的治理特征。在此基础上，形成了以州和地方政府率先立法、联邦政府持续推进、企业行业自治自律、研究院所/机构积极参与为主要特点的治理模式。

2.1　州和地方政府率先立法

美国州和地方政府是推动算法治理的先行者、主力军，涌现出了多个“第一”。2018年1月，纽约市议会正式通过美国第一部算法问责法案——《1696法案》，开创了美国算法立法治理的先河。该法旨在对政府使用的各种算法进行监管，以促进自动化决策的公平性、推动政府决策算法开源和建立问责制，增强公众对算法的信任。但由于市政府和企业基于隐私安全、政府网络安全和商业秘密等理由，反对立法公开算法设计、使用情况，同时立法也未清晰界定执法范围，导致该法存在先天不足，实施效果大打折扣。

尽管如此，《1696法案》仍具有里程碑意义。之后的4年里，为规范政府机构等对算法决策系统的使用，美国各地的立法者提出了近40项法案。如2018年5月，佛蒙特州通过了全美第一部针对数据代理商的法律——《第171号法案》，要求在该州注册的数据代理商告知消费者个人信息收集方式、是否有权退出及退出机制等。2018年6月，加州颁布了美国第一部全面的隐私法——美国“史上最严”的《加州消费者隐私法》（CCPA），并于2020年11月在其基础上通过了新的《加州隐私权法》（CPRA），对以自动化方式处理个人信息的活动进行了更为细致、全面的规定。2019年8月，伊利诺伊州颁布了美国第一部规范以人脸识别方式视频面试的法案——《人工智能视频面试法》，适用于所有通过人工智能视频面试方式申请该州工作职位的应聘者。

2.2　联邦政府持续推进

美国联邦政府也在积极推进相关立法，但与州和地方政府颇有成效的立法进展不同，联邦政府诸多提案仍处在审议程序中，至今尚未正式颁布专门立法。

2019年4月，参议员伊薇特·克拉克（Yvette Clarke）等提出《2019算法问责法案》，围绕个人信息保护和隐私安全问题，要求大型科技公司评估和消除其“自动决策系统”有关风险，并对监管规则的适用主体、责任承担等进行了较为体系化的设置。2019年10月，参议员约翰·图恩（John Thune）提出《过滤气泡透明度法案》，要求大型平台向用户提供关闭个性化推荐的选项，提升算法排序结果的透明度。2020年6月，参议员谢罗德·布朗（Sherrod Brown）提出《数据问责和透明度法案》，赋予消费者对数据收集提出质疑、要求人工审查和解释自动化决策的权利。2020年10月，众议员汤姆·马林诺夫斯基（Tom Malinowski）等提出《保护美国人免受危险算法侵害法案》，要求拥有1000 万以上用户的大型平台对有损人生命和福祉的算法负责。2021年5月，参议员爱德华·马基（Edward J. Markey）提出《算法正义与互联网平台透明度法案》，设置在线平台义务、提出算法使用的有效性和安全性标准、赋予用户权利、成立算法专项监管小组等，以提升算法透明度和防止平台利用算法歧视性地处理个人信息。2021年10月，民主党议员提出《2021对抗恶意算法的正义法案》，以规制算法个性化推荐。2022年2月，伊薇特·克拉克等又在《2019算法问责法案》的基础上提出《2022算法问责法案》，聚焦算法自动化决策问题，力图构建一个更为安全和公平的算法使用环境，这也是美国算法治理专门立法的最新尝试。

除推动立法之外，联邦政府还发布了多项行政措施。在奥巴马、特朗普政府时期，政府均通过制订计划和指导性文件支持开展人工智能治理机制的研究和实践。拜登政府同样重视算法治理，如住房和城市发展部拟推翻一项既有规则，允许人们对与住房分配有关的算法决策不公提起歧视诉讼和索赔。在专门立法之外，美国一些其他既有立法，如《公平信用报告法》《公平住房法》《平等信贷机会法》等，因遵循“技术中立”理念而不区分决策是否由人做出，也发挥着相应的治理功能。

2.3　企业行业自治自律

企业行业作为算法技术的直接研发、应用主体，面对算法风险，社会要求其积极履行有关治理责任。尤其是2018年发生的“剑桥分析事件”，更是掀起了反思与批评大型在线平台侵犯用户隐私、权力过大、逃避社会责任的“抨击科技潮”（Techlash）。在这种趋势下，企业行业开始以各种方式探索与构建算法治理机制。

如Twitter公司成立了由工程师、研究人员和数据科学家组成的专业治理机构，评估其所使用的算法可能产生的风险，并通过举办“算法赏金挑战赛”这种创新方式，邀请有关开发人员发现和帮助解决相关问题。在行业方面，亚马逊、谷歌、Facebook、IBM和微软共同成立一家以向公众科普人工智能知识、提供人工智能研究范例和参与讨论渠道为目标的非营利组织——人工智能合作组织，为算法技术的合规应用提出了相应行业要求。

2.4　研究院所/机构积极参与

除政府、企业行业外，研究院所/机构也从第三方的角度参与算法治理，并主要存在两种途径：一是与政府等其他机构合作。如哈佛大学与旧金山政府共同设计了一个主要由“评估”和“管理”算法风险两部分组成的伦理和算法工具包，围绕公共部门如何更加透明和负责地使用算法这一问题，阐明算法潜在风险，提高对算法影响的认识和确定减轻风险的方法。二是研究院所/机构单独提出治理建议。如2017年1月，美国计算机协会从责任制、对算法决策提出质疑并获得救济、可解释性、可审查性等角度发布了7条关于算法透明和可责性的原则，以应对算法歧视问题。研究院所/机构的参与，为美国算法治理提供了新视角与智力支持。

整体而言，美国各级政府和企业行业都比较重视算法治理，并支持有关研究机构的参与，构建了由诸多主体组成的多元共治模式。但该模式仍在发展之中。一方面，该模式吸纳了多方力量，形成了较为强大的治理合力，为消除算法风险、引导算法技术合规发展起到了积极作用；另一方面，该模式仍是不完善的，尤其是联邦算法立法仍然缺位。

3

美国算法治理重要策略与制度

3.1　算法治理重要策略

3.1.1　将基于风险的具体场景治理作为重点

当前，美国各级政府都未致力于出台“大而全”的算法治理法案，而主要以风险作为基本考虑因素，根据算法具体应用场景提出不同治理方案。如2021年11 月，纽约市议会与伊利诺伊州、马里兰州联合批准了Int.1894-2020A号法案——《自动化就业决策工具法》，设置招聘、晋升决策中雇主采用自动化工具时应遵循的要求，如防止偏见的审查、该工具使用的事前告知制度等，以保护就业公平，但豁免了不会对人产生实质影响的自动化工具，如垃圾邮件过滤器、防火墙、电子表格、数据集或其他数据汇编等。这种以风险为导向的立法策略，体现了敏捷使用监管方法和支持技术创新的态度。

3.1.2　治理对象涵盖公共和私营部门

随着算法在公共与私营部门的扩展应用，其对社会治理和社会生活的影响更加深刻，为此美国同时对公共与私营部门设置了相关规制制度。在公共部门领域，如开创美国算法立法治理先河的《1696法案》，试图通过监管政府使用自动化决策的行为，防范和解决公共部门中的算法歧视问题。纽约州、旧金山市、萨默维尔市等州和城市也发布了禁止警方和市政部门使用人脸识别软件的禁令。

在私营部门领域，对个性化推荐服务等的应用提出了要求，尤其是注重对大型平台的规制。多部联邦政府提案都指出大型平台应履行更多的义务和承担更大的责任。《算法正义与互联网平台透明度法案》规定，在线平台应严格履行算法使用、处理记录的保留义务和算法审核义务，但小型在线平台无需履行其中的某些具体义务事项。《平台问责制和透明度法案》要求大型互联网社交媒体平台必须向适格研究人员共享数据，否则将失去根据《通信规范法》而享有的豁免权。对大型平台的判断主要是以资金数额和使用的用户信息量为标准，根据《2022算法问责法案》，最近3个财年的应税期间，平均年总收入超5000万美元或拥有超2.5亿美元股权的，以及以拥有、管理、分析等方式使用超100万名用户或消费设备识别信息的，是受该法案强制性约束的对象。美国之所以重视规制大型平台，重要原因可能在于其一般拥有较大规模的用户群和较强的信息收集、检索、分析等能力，即便对个人较小的风险也可能因涉及众多用户而酿成较大风险，因此有必要强化对大型平台的监管。

3.1.3　构建算法治理逻辑闭环

为引导算法合规研发与应用，提升算法透明度和可解释性，消弭算法风险，美国诸多治理规范设计了一系列具体措施，包括要求算法控制者、使用者等履行相应义务，赋予受算法影响的个人获得救济权和设置监管机构的职责等。但这些措施目的的实现，需要以问责制为保障。与欧盟通过“个体赋权”，即赋予数据主体算法权利来影响与控制算法决策不同，美国基于其对算法治理的认识和多元价值定位，构建了“外部问责”范式，即建立以政府或第三方为主体的算法问责制，将由算法歧视等导致的危害后果，直接归责于算法研发者与使用者，而非算法本身，以此满足算法的可追责性。通过建立这种范式的问责制，美国形成了算法治理的逻辑闭环。

3.2　算法治理重要制度

3.2.1　算法影响评估制度

建立健全算法影响评估制度，是美国算法治理的核心制度之一。该制度实现了对算法风险的动态化、常态化监测，可以发挥及时防控不同研发与应用阶段出现的各种风险的作用。以《2022算法问责法案》为例，本文将美国算法影响评估制度简要归纳为评估主体、要求、程序、时间和监督五大方面。

第一，评估主体。在整个评估制度的运行中，存在三大关键参与主体：联邦贸易委员会（FTC）、提供算法技术支持的公司以及联邦贸易委员会按照《联邦贸易委员会法》对其享有管辖权的实体（个人、合伙企业和公司）。算法自动化决策的应用实体和为其提供技术支持的其他公司，都应对有关评估结果负责。

第二，评估要求。法案共提出了13项具体的评估要求，主要包括但不限于以下内容：一是评估决策开始前任何已存在的用于关键决策的相关信息，如已知的危害、故障案例等。二是评估决策过程中的隐私风险和隐私增强措施，如数据最小化措施、隐私安全技术等。三是评估任何用于决策的数据集和其他信息，如用户的种族、性别、年龄、社会经济状况等。四是评估用户的权利，如知情权、选择权、异议权等。五是评估对用户可能产生的重大影响及其缓解策略。六是记录已经履行的评估要求、时间和关键节点，以及未能履行评估要求的原因。七是评估联邦贸易委员会认为合适的其他事项。

第三，评估程序。联邦贸易委员会应会同其他部门（如标准机构、私营公司、学术界、技术专家等）制定相关法规，为评估的开展提供指导。有关实体应按照要求自行评估本实体因开展自动化决策而产生的影响，并形成报告报送联邦贸易委员会。

第四，评估时间。一是评估活动持续时间。对自动化决策及其对公众的影响应进行持续性评估，包括决策开展之前和决策持续过程中的评估。二是评估记录保存时间。开展评估的实体应将评估报告予以保存，保存时间比利用相关自动化决策的过程多3年。

第五，评估监督。联邦贸易委员会将发布年度匿名综合报告并建立向公众开放的信息库，公众可以审查所涉实体做出自动化决策的类别、基于哪些因素考量（如数据源、指标等）做出决策，以及享有哪些提出异议（质疑、纠正或退出自动化决策系统等）的权利。

3.2.2　算法披露制度

算法披露制度的重要作用是增强算法透明度，维护个人的知情权。理论上对“透明”的理解，存在狭义与广义之分：狭义上，是指公开算法代码、数据、决策树等信息；广义上，是实现算法运行全过程的透明，除上述内容外，还包括对算法决策机制的解释，即除了“静态”地公示与所使用算法有关的信息外，还应对算法运行决策机制做出解释，可谓“动态”的透明。

美国算法披露制度的设计和履行分为以下三类情况：第一，仅披露算法的存在。《过滤气泡透明度法案》规定，平台应向用户告知算法的存在，并以清晰、醒目的方式，向用户提供可以一次性拒绝算法的提示。第二，披露算法技术信息。《1696法案》规定，应使公众能够有意义地评估自动化决策系统的应用情况，必要时可酌情公开该系统的有关技术信息。第三，解释算法决策机制。《2022算法问责法案》规定，消费者有权获得关于系统决策的信息，包括有助于做出特定决策的任何相关因素，如解释哪些因素会导致系统做出不同决策等。尽管美国在算法披露制度的建构上存在披露程度的差异，但毫无疑问的是，该制度已经成为强化算法治理的重要理念。

3.2.3　算法问责制度

虽然美国各部法案在具体问责制度的设计上不尽相同，但从整个算法治理体系考察，美国主要构建了行政法和民法层面的问责制。在行政法方面，对于违反法规的有关行为，由联邦贸易委员会根据《联邦贸易委员会法》以构成“不公平或欺诈”进行处罚。在民法层面，违反规定的法律主体将受到民事起诉，并处以一定数额的民事罚款。

4

关于美国算法治理经验的思考

我国高度重视算法治理工作，并取得了较为丰富的研究成果与实践经验，如我国《个人信息保护法》对利用个人信息进行自动化决策的活动进行了专门规定，并通过《互联网信息服务算法推荐管理规定》规范算法推荐服务行为。当前，我国正逐步向构建完备的算法治理体系迈进。作为一项全球性议题，美国所构建的多元共治模式和采用的重要治理策略、制度，可为我国相关工作的开展提供思考。

第一，保持发展与安全的相互协调。我国《新一代人工智能发展规划》做出了“最大程度发挥人工智能潜力”和“最大限度防范风险”的总体部署。在当前人工智能技术与社会发展高度融合的趋势下，算法作为支撑人工智能发展的关键要素之一，应尽可能地发挥其积极功能，彰显数据的生产要素价值。因此，在算法功能发挥与风险防范之间，应恰当把握发展与安全的平衡，既要防止过于严格的制度设计阻碍技术创新，也要尽力减小算法风险。

第二，健全多元共治算法治理模式。目前，在我国算法治理模式的探索中，政府、企业行业、研究院所/机构等都已成为引导算法向上向善的重要主体。我国应进一步强调政府的基础性作用，完善有关政策规范，营造良好的制度环境；发挥企业行业的主体性作用，推动构建深层次的自治自律机制；激发研究院所/机构的智力支撑作用，支持其结合实际开展深入研究。

第三，加强重点领域算法治理立法。依据算法风险发生的可能性和严重性，算法治理的必要性和难度也随之变化，应根据算法应用领域的不同，厘清治理重点领域，加强分类分级治理研究。对于低风险的算法应用不需监管或仅需实施算法备案即可，而对于高风险的算法应用应进行重点规制，如刑事司法领域、自动驾驶领域等。同时，还应充分发挥既有法律规范、政策的作用，对能够有效规制有关算法风险的，不需额外增设专门的算法规范，以免增加不必要的负担。

第四，注重规制大型平台算法应用。事实上，任何类型的平台应用算法时都可能产生某些风险，但相比而言，对大型平台的规制更为急迫。这是因为，大型平台通常拥有庞大的用户群、强大的数据持续收集和分析能力，并可能在单一或多元市场领域获得支配地位，从而成为“关键信息基础设施”。因此，大型平台不当使用算法造成的危害将达到相当的广度和深度，对用户个人利益、社会秩序等都可能造成严重影响。

第五，建立健全相应算法治理制度。首先，坚持算法风险评估制度的常态化适用。建立从算法研发到应用的全流程风险评估机制，尤其是重视评估可能损害公共利益和个人权益的风险，根据评估结果适时调整治理措施。其次，恰当适用算法披露制度。披露算法的重要目的在于维护公众的知情权，提升算法透明度和可解释性，受算法决策负面影响的主体可因此更容易获得救济。但同时也应注意协调算法披露与算法知识产权、商业秘密保护之间的关系，防止因不当披露而侵犯企业的利益，从而限制创新发展。最后，建立多层级的算法问责制。问责的对象应是与造成算法危害有关的自然人或法人，但为保护创新，只有当产生严重危害时，才宜适用行政、民事等相对严厉的处罚措施。对于一般的、能够及时消除的算法风险，应赋予算法使用者、控制者等自查自纠的机会，优先发挥市场的调节作用予以解决。

作者：司伟攀，刘鑫怡

中国科学技术信息研究所，北京　100038

来源：《全球科技经济瞭望》 2022年11月第37卷 第11期

推荐阅读 >