【智能与法】Julia Powles：纽约市尝试对算法问责——政策有待完善，但行动敢为人先

B D A I L C 

 欢 迎 关 注 

自动化系统主导着从消防站到食品券的各种事物的配置与供给。那么我们为什么不去多了解一下它们呢？ Mario Tama/Getty供图

纽约市尝试对算法问责

——政策有待完善，但行动敢为人先

文 / Julia Powles

译 / 姜开锋

政治家们在任期时往往会变成存在主义者（the existential），但转变的原因绝对不会像James Vacca的那样充满了理想主义。他是代表东布朗克斯区（East Bronx）的纽约市议会议员，在这个月结束了他的第三个任期。我们可以通过Vacca在2017年8月份所提出的一项法案，来认识他在地方政府中近四十年的任职经历。该法案在上周一获得了一致通过。经纽约市长Bill de Blasio签署成为法律后，该市将据此建立一个监督“自动化决策系统”的工作组。这些计算机化的算法主导着从警察、消防站到公共住房和食品券的各类事项的配置和供给，工作组将致力于使它们变得更为公平、接受更多的监督。10月中旬，我和康奈尔理工分校（Cornell Tech）研究算法问责的一些同事参加了市议会技术委员会的听证会，就该法案提供证词。Vacca当时担任该委员会的主席，他讲道，“如果我们将受到机器、算法和数据的管理，那么它们最好是透明的。”他说，他的许多选民感到“一些不近人情的计算机正在指挥着他们，告诉他们应该去哪里；而且，如果你不使用它，你就会变得无所适从。”

算法以无数种方式影响着纽约人的日常生活，它将学生与学校相匹配、评估教师的业绩、整治医疗补助欺诈、帮助建筑巡查员管理他们的工作量。警务方面的问题最先引起了Vacca的关注；他认为布朗克斯区当局无法充分说清其警员配置决策背后的“标准和流程”。“这总让我感到困扰，我觉得我想要的很多答案都没有得到回答”，Vacca在本月早些时候跟我说道。从5月份开始，他和其他两位富有进取心的年轻员工Zachary Hecht和Malaika Jabali一起试图解决这个问题。他们所写的大约一百字的法案草案，成为了十月份听证会的焦点。这是一份精炼的、引人入胜的、而且是富有雄心的法案，它提议每当市政府机构打算使用自动化系统来配置警务、处罚或者服务时，该机构应将源代码——系统的内部运行方式——向公众开放。机构还应当用纽约人所提供的数据来模拟算法在真实情境中的表现。

很快，人们发现这个版本的法案是一个很难成功的方案。“许多利益相关者认为我们所涉足的是一块未知领域，他们希望不要进展的那么激进”，Vacca说。最终通过的法案删去了原始草案中的披露要求，设立了一个事实调查工作组来代替有关披露的提议。该工作组将由de Blasio召集，它会针对一系列的问题提出建议，包括应该规范哪种类型的算法、公民如何对算法的功能进行“有意义地评估”并获得对影响他们个人的决策的解释、以及政府如何应对个人被算法偏见所伤害的情况。原始草案中的要求仅在最终版本里有一处间接的提及——“在适当的情况下，技术信息应当向公众开放”。

该工作组将成为全国首个由城市主导的执行此类任务的工作小组。当它在2019年底报告其调查结果时，它很可能会在国内和国际上产生重大的影响。但毫无疑问，最终通过的法案实际上缩减Vacca早期雄心壮志的计划。从10月份听证会中的证词以及谈判中的一些信息可以看出，初稿未能通过的主要障碍之一是要求源代码完全公开。这引起了一些政策专家的强烈抵制，他们警告说，这种公开可能会带来安全风险，并且会使别有用心者能够轻而易举地操纵公共福利系统；科技公司也表示了反对，它们认为这会迫使它们披露专有资料（proprietary information），损害他们的竞争优势。

在10月份听证会上所提出的证词中，我和Helen Nissenbaum、Thomas Ristenpart警告技术委员会，专有资料的说法可能会阻碍任何推动算法透明度的尝试，公司可以据其对太多的事项主张保密。我们提出了一个合理的解决方案——既不要求完全披露源代码，也不是完全不披露——而是将关注点放在驱动城市系统的数据上。但政府没有被说服。de Blasio办公室的发言人Freddi Goldstein告诉我说：“公布与我们签订合同的公司的专有资料不仅会违反我们的约定，还会妨碍其他公司与我们开展业务合作；我们希望通过技术的方式来解决日常问题，这样做会使我们无法尝试这一创新的方案。”

最终通过的法案针对这些情况提出了相应的措施，但这也给其自身带来了一系列的问题。Vacca表示，由于缺乏获取基本信息的渠道，市议会“无视发挥我们的监督职能”。例如，关于纽约市在算法服务上花费了多少、它向外部合同方共享的纽约人的数据有多少，没有可获取的公开信息。市议会在寻找这些信息尚存在这样的困难，现在的问题是，工作组能否做得更好。如果没有政府机构和合同方的紧密配合，它能否提出优良的建议并履行好职责？Vacca法案的中间修改版提出了涵盖广泛的报告义务，它要求各机构应当向工作组提供相关信息。但该版本与8月份的版本一样，遭到了市政府的拒绝。现在，该工作组在调查自动化系统的设计、采购和审计时，将不得不依赖自愿性的披露。对于没有实权的政府工作组来说，这将是一项赫拉克勒斯式、或者说是西西弗斯式的任务。

最终的版本还存在另外一个缺陷：当市政府或者其咨询机构同建立自动决策系统的公司进行交易时，法案没有对它如何运用权力进行规定。正如我和Goldstein的讨论中所表明的那样，政府致力于保护技术供应商的合同利益和专有资料。但是，当我与罗格斯大学法学院教授Ellen Goodman交流时，她提出：“我们希望我们的代表能够驳回所谓的专有性。”她一直在研究政府与供应商之间的预测算法项目的合同问题。Goodman说：“在纽约尤其如此，纽约的规模、财富和高质量的人口统计数据使其相较于大多数的其他城市而言，是供应商更想要的客户。对于这些供应商来说，纽约是他们能争取到的最大客户，如果纽约不利用这种影响力来向算法问责，谁还能这样做呢？”

马里兰大学法学教授Frank Pasquale曾提议将合理的透明性作为平衡商业利益和公共利益的一种手段。针对上述问题，他提出了类似的观点：“虽然过去的合同条款很难重新审查，但纽约市在将来与这些算法服务的供应商签订合同时，应当提出公开性的要求。市政府与公司不同，它是有能力达成这一目标的。保密可能会使效率得到微小的提升，但不值得为此而不顾正当性和公众对政府的信心。允许用黑匣子做重要决定是一种失职。”

虽然新通过的法案存在一定的不足，但同我交流的许多人都认为这是一次不错的机会，让我们可以更深度的聚焦重要的问题。“把这项法案看作是算法问责领域的一个实验，就像星际迷航中的皮卡德上尉一样，发出一个探测虫洞（wormhole）的探测器，”Cathy O'Neil，《算法霸权：数学杀伤性武器的威胁与不公》（Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy）一书的作者告诉我，“我们看到的是，算法的世界是一个丑陋的虫洞。”现有的模式使算法及其创作者免受公众的监督，而不去回应公民对算法偏见和歧视的担忧，其“鼓吹算法具有客观公正性”，奥尼尔说道，“我们没有理由相信这种宣传。”

Julia Powles在康奈尔理工分校和纽约大学从事科技法律和政策研究

本文仅作学习交流之用

Vladislav Yeliseyev

往期荐读

编辑：钟柳依

欢迎点击“阅读原文”