一个本意美好的市政AI项目是如何荒腔走板的?
来源 | 大西洋月刊
翻译 | 高璇
编辑 | 宇多田
编者按：弗林特的这个案例让一直在考察 AI 如何落地的我们眼前一亮。因为有太多阻碍是人之常情，不同的身份，会把技术放在一个完全不同的位置。
作为技术工作者，需要对项目效果和成本负责；
作为政府工作者，需要对基建成本与大众意向（在美国，这意味着选民票数）做出平衡；
作为居民，会把自己个人及家庭的生活体验与安全放在首位。
三者之间，甚至相同身份的不同团队之间，都存在各种各样的分歧。
因此，AI 技术就像是一块未经打磨的原石，你无法确认它每一步的凿砌过程与环境所施加的作用力，也就无从知晓它最后究竟会变成一把实用的斧头，还是一块只具观赏性的摆件。
但唯一能确定的是，最后的结果，往往会脱离最初的本意。
故事始末
在美国密歇根州弗林特的用水问题成为「国民新闻」一千多天后，该市数以千计的房屋仍然有含铅管道，这意味着有毒金属可以通过管道渗入居民的供水系统。
为了解决这个问题，政府需要用更安全的铜管替换铅管。
这听起来很简单，但要确定哪些房屋有铅管却是个难题。更困难的是，由于该市的记录文件不完整且不准确，挖掘所有管道会耗费大量的人力和物力。
显然，需要自动化的时候到了。
计算机科学家们在谷歌的资助下，设计了一种机器学习模型，用来预测哪些房屋可能有铅管。
根据预想，人工智能技术本应帮助施工人员只在最有可能含有毒管道的地方进行挖掘。
事实证明，一直到 2017 年，该计划也一直在发挥作用。工人们检查了 8833 所房屋，其中有 6228 所房屋更换了管道，预测准确率达到 70％。
因此，进入 2018 年，该市与一家大型国家工程公司 AECOM 签署了一份价值 500 万美元的合同以「加速」该计划的实施。他们甚至召开了一场活跃的社区会议，预示着这支「装甲部队」即将抵达弗林特。
很少有城市能够大刀阔斧地实施管道更换项目，更不用说这座不得不应对种族歧视、环境种族主义以及中西部上游工业崩溃等种种时代问题的城市了。
（这里涉及到弗林特这座城市的背景信息：
这是一座老牌汽车工业城市，然而随着制造业转移到海外，该城市陷入衰退状态，而工业发展的后遗症也慢慢显露出来——输水系统老化且含铅量较高；河水污染严重。
此外，由于弗林特的非籍人口众多，水危机甚至引发了对弗林特地区种族歧视的探讨，这也让弗林特的水危机事件登上过时代杂志封面，而政府也不得不采用各种办法应对难题。）
目前，弗林特共计有 18786 个家庭知晓自家管道安全情况，因为这些管道已经被挖出并会被确认是否为铜制；若这些管道含铅或是镀锌钢制，就会被替换成铜的。
「我认为事情进展得非常顺利，」弗林特市市长 Karen Weaver 告诉记者。「我们比计划提前了一年，也没有超出预算。」
然而，就在 2018 年，奇怪的事情发生了：
随着越来越多的房屋在 2018 年接受管道评估，被发现的铅管数量越来越少。
相反，2017 年 11 月，当地新闻媒体 MLive 的 Zahra Ahmad 根据获得的会议记录报道，该市的公共工程负责人曾估计，弗林特约有 10000 间房屋仍有铅管，与其他专家估算的数量大致相同。
也就是说，新承包商没有及时发现这些管道。
截至 2018 年 12 月中旬，虽然已勘探了 10531 处房产，但其中只有 1567 处需要更换的铅管。铅管的勘测准确率仅为 15%，远低于 2017 年的水平。
当然，准确率降低事出有因。
最大的缘由便是 AECOM 不再使用曾预测挖掘的机器学习模型。
面对一些居民的政治施压，市长要求该公司挖遍整个城市的各个角落和选定街区的每栋房子，而不是根据房屋年龄、物业类型或其他特征而筛选出含铅管道的房屋。
在项目管理方面投资数百万美元之后，弗林特的数千人仍然居住在带铅管的房屋，若采用之前的计划，可能已经找到并拆除这些铅管了。
管道更换计划成功率的下降已引起该市批评家们的注意。
自然资源保护委员会（NRDC）是一个名为「关注社会行动牧师」的社区组织代表，该组织在法庭上辩称，弗林特市似乎已不再执行法院下达的尽快更换铅管的命令：
既然仍有数以千计的房屋有铅管，现在政府掘地三尺，怎么没有找到更多呢？
「关注社会行动牧师」的成员 Allen C. Overton 在 NRDC 声明中说道：「最重要的是拆除铅管的数量，而不是去关注挖洞的数量。」
技术的确在发挥作用
事实上，在这个项目恶化之前，通过 AI 拆除铅管被传颂成一个让人感觉「生活因高科技而不断进步」的故事。
在 2018 年 10 月的谷歌 AI for Good 会议上，乔治亚理工学院的计算机科学家 Jacob Abernethy 曾把其描述为一个志愿者团队是如何构建该系统，预测哪些房屋最有可能有铅管的画面。
计算机科学家们发现，城市首要问题是信息问题。
因为没有人能明确的知道哪些房屋有铅管。
虽然该市有各种各样的记录——数千张描述包裹传递情况的旧卡片，还有地图和多年来被归档到系统中的更新信息……
但一个编目系统的好坏取决于它的维护，而弗林特市几十年来一直缺乏这类资源。
作为美国汽车工业核心的关键地区，直到到 20 世纪中叶，通用汽车在该地区建造了各种设施，雇用了大约 8 万当地居民。
但是随着弗林特在汽车行业中的地位逐渐下降，大多数白人居民拿着他们赚的钱搬到了郊区，将他们的税金和资本都从城市中心转移出来。
这些人在较富裕的杰纳西县重新创建了社区，与此同时，弗林特的居民则遭受了经济转型带来的困境：
预算削减、学校倒闭，以及后工业时代普遍出现的环境问题。
因此，在水危机爆发前，审核校对 20 世纪初的水务部门记录并不是政府官员的首要任务。
后来，在房地产市场崩溃（2008 年金融危机）之后，弗林特的资金运转出现问题，为了削减市政成本，密歇根州州长 Rick Snyder 只能派出一名「应急」管理员来制定措施。
根据密歇根州民权委员会关于弗林特的一份报告，密歇根州一半的黑人居民都受到过应急管理员管理。
2014 年 4 月，弗林特的应急管理员在没有采取正确腐蚀控制措施的情况下，曾打电话要求将底特律供水系统切换到弗林特河（河水污染严重）。
而这，才是引发问题的根源。
在试图解决问题的过程中，技术专家们发现，许多城市都存在铅管问题和信息不全面问题。几十年前建造的基础设施的缺陷，不仅体现在金属应用上，还体现在数据编目中。
而这些数据，才能让城市的政府和居民了解供水系统的状态。
在所有关于智能城市的讨论中，许多老城区的真实状态是——根本不知何为「未雨绸缪」。
自从这座城市经历过繁荣与衰退后，人们一直在说「美国就是 1000 个弗林特」，现在仍然如此。
就像弗林特含有数千条含铅管道一样，美国有 600 万条这样的管道。
当 2016 年 3 月启动更换弗林特含铅管道的 Fast Start 计划时，该市的维修债务重新浮出水面。Michael McDaniel 将军被选为该项目的负责人，只有一小部分人在他手下工作。
在这里，关于铅管分布的一些基本常识需要我们了解：
铅管最可能出现在战后弗林特大规模扩张时建造的房屋中，而在较新的房屋中则最不可能出现。
因此，在 2016 年 2 月，密歇根大学弗林特分校的 Martin Kaufman 利用城市记录绘制了一些标记铅管位置图。
而 McDaniel 的团队则根据房屋年龄，以及环境质量部门对最严重水污染所在区域的粗略判断，利用这些数据对最初的挖掘工作进行优先排序。
谁会受到水中铅的影响最大呢？
「婴儿、老人和免疫系统受损的人，」McDaniel 告诉记者。他们确认了有 5 岁以下的孩子和 70 岁以上的老年人的房屋。
结合这些资料，他们大致了解从哪里入手。McDaniel 开始在 10 个小区域内更换 600 根铅管。他说：「这是一个关于整个城市什么是效率，什么是公平的问题。」
当 Abernethy 和他的合作者，密歇根大学的 Eric Schwartz 在 2016 年夏天参与其中时，他们发现了一个相似的预测问题：在不确定条件下的顺序决策。
工作人员虽然没有完全掌握信息，但他们仍然需要找到下一个挖掘地点的最优解。每次挖掘的结果都可以反馈到模型中，从而提高模型准确性。
最初，他们的数据非常少。
2016 年 3 月，只有 36 所房屋的管道被挖掘出来。
当工作人员开始数百次挖掘时，他们也在寻找铅管，这意味着他们正在创造一个不具代表性的城市样本。
仅利用这些数据，该模型可能会过高估计弗林特其他地方的含铅量。
因此，密歇根大学的团队要求 Fast Start 使用更廉价的「hydrovacing」系统检查整个城市的线路，该系统使用水流而不是挖掘机来发现管道。
而挖掘到的数据又反馈到模型中，使研究人员能够更准确地预测城市的各个区域的含铅量。
当他们开展工作时，他们发现「房屋是否有铅管」的三个最重要的决定因素是房屋的年龄、价值和地理位置。
更重要的是，他们的模型在预测铅管位置时变得非常准确，到 2017 年，承包商发现铅管的成功率明显提高。
「在 2017 年的最后几个月里，我们的准确率提高到 80％以上，」McDaniel 告诉记者。
技术变质的开始
接下来，也就是在 2017 年底，弗林特市与 AECOM 签订了一份价值 500 万美元的合同，AECOM 是美国主要的项目承包商，负责该项目的运营。
2018 年 2 月，市政府举办了一个社区论坛。弗林特公共工程总监 Robert Bincsik 在论坛上指出，弗林特市正在做一些史无前例的事。
「没有人像我们一样积极地做这件事，」Bincsik 说。「总的来说，我认为我们做得很棒。」
AECOM 计划「每年有效地识别和更换 6000 个含铅管道」。这个目标是合理的，因为在 2017 年，这个规模较小、主要由志愿者组成的管理团队已经确定并更换了 6000 多条含铅管道。
如社区会议所述，承包商的流程包括两步。
首先，它将在承包商规划的 10 个区域进行规划；其次，在确定管道的性质后，它将更换铅管和镀锌钢管。
Bincsik 十分看好 hydrovacing：它廉价高效，不易破坏管道。
同时，Hydrovacing 的成本仅为 300 美元；而以传统方式挖掘并替换管道的成本在 2500 到 5000 美元不等，成本要比 hydrovacing 高出几倍。
然而，AECOM 的团队在项目开始前就陷入困境。
在 2018 年 10 月底，项目经理 Alan Wong 告诉记者，问题始于 McDaniel 团队和 AECOM 团队交接的过渡期。
Wong 的工作人员应该在 2017 年 10 月开始工作，那时 McDaniel 的合同已经到期。但 AECOM 的协议到 2017 年 12 月 28 日才签署。团队之间没有交叠。
Wong 表示：「本来在 10 月、11 月和 12 月，我们可以相互配合，合理过渡，但并没有实现。」
此外，AECOM 似乎没有考虑该项目的核心预测模型。
根据法庭声明，在看似积极的初步讨论后，来自密歇根大学的 Schwartz 在 2018 年 1 月至 5 月期间向 Wong 发送了五封电子邮件，均未得到回复。
Wong 告诉记者，他的公司所掌握的就是一张城市「热图」——就像一张图片。
但 Schwartz 说他的团队已经提供了数据库，其中包括城市每个地点的含铅管概率。
AECOM 的做法基本上像是在重新处理这个问题，就好像自 2016 年 6 月以来从未没有成功地解决这个问题一样。
而正如其他人之前发现的，AECOM 发现，该市所拥有的数据既没有完全数字化也不是完全准确。Wong 说公司做的是无偿的数字化工作，这本应该在 1 月份完成，但直到 5 月份才完成。
但其实最大的问题，是市长 Weaver 要求 AECOM 的挖掘工作需要覆盖整个城市。
他说，市政府「不想向议员解释为什么他们所在地区没有开展挖掘工作」。因此，AECOM 在整个城市创建了 10 个区域，在每个区域为承包商分配了 600 个待挖掘地址。
他们遇到的一个很大的问题是铅管在城市中分布不均匀。
通过已知信息和工具评估（如已发现的铅管的实际数量、密歇根大学模型的预测、城市记录、建筑历史知识等）可以明显发现，铅管主要集中在少数地区，譬如位于 CBD 的老城区，如第五区，而不是在外围地区，如第二或第十区。
此外，政府发现，与挖掘机相比，hydrovacing 通常会产生更小的孔，而这让一些铅屑不容易被发现。
因此，市长决定放弃 hydrovacing，而选择黄金标准的传统方法。「居民会得到 100％的保证，这就是我们的价值所在，」Weaver 告诉记者。
AECOM 计划在整个城市进行 hydrovacing 作为识别铅的手段，但现在的变化让公司的规划陷入困境。
市长决定在项目管理者认为可能找到铅管的所有区域挖掘每处房屋，这意味着不会省略那些模型显示可能没有铅管的房屋。
「我们这样做，是防止人们会说，『我邻居的房子都挖开检查了而我的却没有，』」Weaver 表示。
「这座城市不想让任何人掉队，」Wong 告诉记者。
大量无用功
数据缺失从来都不是阻碍技术发挥效用的缘由。
很显然，这个项目开始偏离它的主题，开始变得富有政治意义。
它不仅严重提升了修复项目的成本，也开始影响该项目拆除城市剩余含铅管道的速度。
在弗林特的外围区域，大片房屋的管道虽然被挖掘出来，但却没有发现任何铅的痕迹，如下图所示的 10 区东区，蓝色代表铜管，红色代表铅或镀锌钢管。工人们在该地区挖掘了数百套房屋的管道，但没有一根是由铅或镀锌钢制成的。
这是一张 2018 年管道挖掘地图，蓝色为铜管，红色为铅管或不锈钢管。在三个突出的区域，承包商挖掘了大量房屋，但几乎没有发现含铅管道。
关于该项目，政府颁布了一项新的指令：通过最密集的方式挖掘该市的每个活跃的水源地。否则，市民可能会一直怀疑他们的房屋有铅管。
项目管理人员告诉人们，「你们必须相信计算机模型，」但 Wong 却坦白：「公民不会相信这一点。」
对于为什么 AECOM 的检测率低于 2017 年的团队，以上发生的都是合理的解释。
McDaniel 在该领域的铅浓度最高的地区工作，他的团队遵循该模型的预测。
而 AECOM 和市政府则沿着街区挖掘每个房子。
此外，城市的含铅管道比原先估计的要少。早期估计有两万到三万个城市管道由铅或镀锌钢制成，事实证明这个数字太高了。
NRDC 一直在起诉该市实施计划的方式——协议的核心项就是拆除铅管，但这一目的如今变质了。况且这样无目标大范围挖掘的另一个结果是，铅管在居民家中滞留时间早就超过了合理时间。
在一份法庭文件中，Schwartz 估计该市仍有 4964~6119 个有危险管道的房屋。
下图红色显示为人工智能研究人员预测危险管道安装的可能性超过 90％的区域，蓝色则指不太可能有铅或钢管的区域，黑点指 AECOM 的团队在 2018 年 11 月已完成的工作。如果模型大致正确，那么随机检查表明，这个项目已经不再针对最需要更换水管的区域开展挖掘工作。
房屋含铅可能性的预测地图：铅管（红色）、铜管（蓝色）和城市挖掘活动（黑色）
「令人不安的是，政府无法解释他们如何选择挖掘区域，」NRDC 律师 Dimple Chaudhary 说。「这个模型在预测『这里有铅』方面做得很好，也显示出他们正在错误的地方挖掘。」
举一个显著的例子，第五区预计含铅量最多。密歇根大学模型估计，工作人员在该地区发现铅的几率为 80%。
然而，从 2018 年 1 月到 8 月，AECOM 承包商在该地区的挖掘工作最少，在该市的 3774 此挖掘中，仅有 163 次在此区域挖掘。其中，有 156 处被发现了铅管，占比 96％。
与此同时，在同一时期的第二个区域，1220 所房屋被勘探，其中仅有 46 个被发现有含铅管道，只有 4％的准确率。
AECOM 在 Schwartz 和 Abernethy 这两个模型预测铅管占比较多的区域进行了最多的挖掘，结果证实了该模型的预测。
一个暂时性结局
为承包商提供补助的州政府表示，从这些数据来看，由于该项目的管理方式，它将暂停向市政府付款。
「市政府做出了一项错误的政策决定，停止优先挖掘那些预计会发现铅或镀锌钢服务管线的房屋，」司法部称。
现在，弗林特市、NRDC、州政府和 AECOM 正在就重拾 2017 年使用的机器学习模式进行谈判。尽管 AECOM 的合同已经续签，但其可能包括重用该模型。
市政府官员自认为，为实施这一项雄心勃勃、困难重重的计划做足了努力。
譬如，Weaver 就认为这些决定保护了她所在城市的所有居民的健康和安全；而 AECOM 则声称自己已尽力而为。
但是，尽管看起来诚意满满，但残酷的现实却不容忽视：
继续实施 2017 年的计划可能会在 2018 年期间就将城市剩余的的铅管道全部移除。成千上万的人会在知道他们房屋埋有铜线管道时而安心。
但是反过来看，其他没有被顾及到的居民（可能是预测模型认为不含铅管的地区），则必须等到挖掘工作重新开始时才能确定。
从居民角度来看，尽管管道挖掘成本会有大幅降低，但这也可能使很多居民继续疑神疑鬼，剥夺了他们获知真相的权利。
或许，这场关于 AI 的戏剧已经上演到超出任何人想象的一幕；而这，可能只是另一场悲剧的开幕。