新书 | 李明倩译：《自动不平等：高科技如何锁定、管制和惩罚穷人》

新书速递

[美]弗吉尼亚·尤班克斯

《自动不平等：高科技如何锁定、管制和惩罚穷人》

李明倩译

商务印书馆2021年版

作者：弗吉尼亚·尤班克斯，纽约州立大学奥尔巴尼分校的政治学副教授。她是《数字死胡同:在信息时代为社会正义而战》（Digital Dead End: Fighting for Social Justice in the Information Age）的作者，与阿莱西亚·琼斯(Alethia Jones)共同主编《不会让任何人改变我:与芭芭拉·史密斯共同的四十年运动建设》(Ain 't Gonna Let Nobody Turn Me Around: Forty Years of Movement Building with Barbara Smith)。她有关技术和社会正义的文章发表在《科学美国人》（Scientific American）、《国家》（The Nation）、《哈珀斯》（Harper’s）和《连线》（Wired）等杂志上。二十年来，尤班克斯一直致力于社区科技和经济正义运动的研究工作。

译者：李明倩，法学博士，华东政法大学法律文明史研究院研究员，外语学院副教授，复旦大学政治学博士后。出版专著《威斯特伐利亚和约与近代国际法》，译著《牛津国际法史手册》《因为性别》《美国法律体系》。

自动化带来不平等？

李明倩

 华东政法大学

美国印第安纳州在三年内拒绝了一百万民众的医保、食品券和现金福利补助申请——仅仅因为新试用的计算机资格认证系统将申请流程中的任何过失统统归为“未予配合”。洛杉矶当地政府引入计算几十万无家可归者“弱势指数”的算法，在住房资源有限的情况下，拟对需要救助的对象进行优先性排列。匹兹堡的一个儿童福利机构运用统计模型来预测哪些孩童可能会在日后受到虐待或忽视。这些听上去能高效快速解决社会问题、救助穷人的算法，经过纽约州立大学奥尔巴尼分校政治学副教授弗吉尼亚·尤班克斯在《自动不平等》中的深入分析，却呈现出不同的样貌——事实上，它们为全美贫困和工薪阶层家庭带来了巨大的风险。

标榜高效的自动化系统，并未实质上改善贫困家庭的处境，恰恰相反，嵌入偏见的高科技工具使政府在做出和民众生活息息相关的决定时，“名正言顺”地摆脱了道德障碍。令人更加后怕的是，尤班克斯在本书中揭露了伴随数据分析、统计模型与算法的监管网络，边缘人群正面临着更加严格的数字追踪、监控甚至惩罚，牢牢困顿在这张网中。

三个故事：“数字济贫院”中的生活

弗吉尼亚·尤班克斯在《自动不平等》中，以三个深入调查访问的案例分析，系统地研究了数据挖掘、政策算法和预测风险模型对美国贫困和工薪阶层的影响。

“济贫院”这个比喻源于19世纪美国政府为减轻缓解贫困问题而建造的实体济贫院。尤班克斯认为“现在我们正在建设一所数字济贫院”，一所无形的“廓写穷人、管制穷人、甚至惩罚穷人”的机构，一旦他们求助政府获取公共援助或者寻求其他公共服务，就会被这所看似中立的数字济贫院“瞄准”。

印第安纳州试行的福利资格自动认证系统推行福利资格自动化运营制度，脆弱不堪的规则和设计不当的操作指标意味着一旦发生错误，往往会被解释成是申请人而不是州政府或承包商的错误。自动决策工具永不出错的假设意味着计算机化的决策优于旨在为申请人提供程序公正的程序。成百万人的福利申请遭到了拒绝。这其中包括出生时就是脑瘫儿、医疗费用寄希望于政府的小苏菲。因为当地家庭与社会服务管理局社工的失误，苏菲家被径直归为“未能配合”政府工作，而被拒绝给予福利申请。贫困成了“天然的福利欺诈者”。

洛杉矶为无家可归者提供服务的机构希望高效地利用资源，更加有效地与各方合作，但是将选取受助对象的工作外包了出去。根据其设计者的说法，该市的协调入住系统旨在将最亟需帮助的群体与最合适的资源相匹配。然而，大批无家可归者的个人信息被录入无家可归者信息管理系统，生成了所谓的“弱势指数”。次贷危机中失去一切的加里·伯特莱特“大叔”流落街头，因为“弱势指数”不够高，他只能在无尽等待中消磨掉自己的希望。包括他在内的无数无家可归者的信息也成了执法部门可以随意获取的数据。他们被当成了“天然的罪犯”。

阿勒格尼县的家庭筛查系统根据一个人以往的行为模式来推测他将来可能采取的行动。在新的预测方式下，你不仅会受到自己行为的影响，还会受到恋人、室友、亲戚和邻居行为的影响。预测模型和算法将穷人标记为“风险”和“问题父母”。大量社会服务、执法活动和社区监督结合在一起，使他们的一举一动变得清晰可见，贫困成了“天然的风险指标。”

贫困不容否认

《自动不平等》涉及的一个关键问题是算法对社会不同阶层，特别是贫困群体的影响。这是人工智能伦理和算法治理无可回避的问题。

算法应该怎样对待贫困？尤班克斯认为，这不仅仅是需要改变技术的问题。在美国，对贫困、穷人和工薪阶层家庭的看法与态度也需要有更广泛的转变。她在书中写到全美各地贫困民众面临的主要几种困难，比如，领取福利救济时因为一些“无心之失”而成为了福利欺诈的调查对象，无家可归者艰难地寻求可供容身的庇护住所，以及被迫与子女分离、将儿童送到寄养机构。

社会学家斯坦利·科恩将美国公众对贫困的态度称为“文化否认”。文化否认是一种使我们得以了解残忍、歧视和压迫，但从不公开承认其存在的过程。这是我们如何知悉那些不愿知晓之物的方式。文化否认不是一种个体才有的人身或心理属性；它是一个由学校、政府、宗教、媒体和其他机构组织和支持的社会过程。当我们在喧闹的街口路过流浪汉或者乞讨者时，已经习惯了避免对视。“无动于衷”和“视而不见”是因为我们默认对方的贫困是他个人的过错，是因为媒体已将穷人描绘成病态性地依赖社会的少数群体，是因为公共政策往往倾向于指责贫困，而不是纠正贫困造成的负面影响或消除贫困的根源，是因为穷人和贫困社区早被打上了毫无希望与价值的标签。

在美国，贫困还是一种可被塑造的政治筹码。右翼往往谴责穷人是寄生虫，主张减少资助，左翼则以家长姿态对穷人无力改变自己生活表示痛心，总是希望改造穷人。不管怎么，数量庞大、花费高昂的公共服务机构被主要用来调查个人的痛苦际遇是否可能由其自身过错导致。这种片面的想法使得人们可能身处贫困，却试图対之轻描淡写或予以否认，小心翼翼地求助社会服务项目，将自己固化于社会“底层”。这种偏颇的观念使得包括精英阶层在内的普罗大众对穷人的遭遇冷漠以待，这种狭隘的认识使得旨在更加高效为有需要之人提供帮助的新技术被早早嵌入了对穷人的偏见和对贫困的否认。

更深层次限制我们视野的是将穷人与其他人相区分的叙述方式。直视贫困，承认贫困，聆听穷人的故事，建立理解贫困的同理心，改变我们对贫困的看法、言论和感受，虽然无法从根本上解决贫困问题，但至少不会令这场正在改变我们生活的数字革命在惩罚穷人的道路上越走越远。

算法治理：寻找效率背后的正义

自从所谓的数字时代来临，金融财政、就业、医保等诸多领域都在经历根本性的变革。今天，自动化系统控制着哪些社区可能会被重点管制，哪些家庭能够获得资源救助，哪些群体面临欺诈调查，美其名曰算法治理。它突出了以数字技术解决社会问题、以特定方式产生社会秩序的特点。算法科技被用以开展诸多政府项目，包括为无家可归者提供庇护场所、向生活困难者提供援助、以及儿童福利项目等。很难想象未来社会大数据和人工智能会停滞不前。决策者们日益依赖于大数据分析，这本无可厚非，既可以提升效率，也可以节省资源。然而，算法的高科技面貌下，隐藏着重要的伦理道德问题。

    本书的作者尤班克斯指出，“今天，我们基于数据库、算法和风险模型造了一个‘数字济贫院’，它的覆盖范围和恶劣影响很有可能超越任何以往的类似机构。”如果不重视算法中可能隐藏的偏见，如果不去规制算法可能产生的风险缺陷，致力于解决贫困的技术进步和效率提升可能只会模糊贫困与犯罪之间的界限，将穷人永远桎梏在这所“数字济贫院”。

名家推荐

在众多的通过案例研究和逻辑分析探讨技术的成本及其后果的书籍中，尤班克斯的《自动不平等》脱颖而出。甫一出版，即收到连篇好评。这本行文谦虚，表达易懂的社科佳作，通过引人入胜的个人故事和深刻的历史分析，告诉人们一个简单的道理：技术不能代替正义。作者认为，自动化系统将人与资源分离，对人进行分类和定罪，并侵犯隐私，而在社会服务项目中使用自动化决策，会创造出一个 "数字贫民窟"。当我们生活在一个喜欢庆祝数字化的时代，被边缘化的人往往是第一个面对通过技术工具进行评估和惩罚的对象。本书是一本大众读物，不仅普通人要读、社会服务工作者和政策制定者，乃至专业技术人员，都应该一读。

——於兴中，美国康奈尔大学法学院王氏中国法讲席教授

 “收入不平等，是因为所谓效率中立的谎言已经超越了我们共同的人性价值。《自动不平等》暴露了这一计划的致命后果，并提出了另一条道路。弗吉尼亚·尤班克斯是我们的先行者——一个如此能干、充满道德关怀且非常聪明的人——真是少有的组合。”

——艾德里安·妮可·勒布朗（Adrian Nicole LeBlanc），《随机家庭》（Random Family）的作者

“《自动不平等》有力地暴露了美国众多部门机构如何变本加厉地惩罚穷人，尤其是有色人种，仅仅因为他们贫穷。本书无疑是一本必读书。”

——多萝西·罗伯茨（Dorothy Roberts），《杀死黑身体》和《割裂纽带》（author of Killing the Black Body and Shattered Bond）的作者

“本书十分骇人——但是在其触目惊心的研究和牵动人心的故事背后，我们看到了‘数字济贫院’中的生活，阅读后你将更加明智，更有能力寻求正义。”

——娜奥米·克莱恩（Naomi Klein），《“不”还不够》和《这改变了一切》（No Is Not Enough and This Changes Everything）作者

“这本书为我们所有人而作。依赖数字产业攫取财富的国家如何利用技术创造和维持一个永久的下层阶级？这对每个人都很重要。本书是适合我们时代的佳作。”

——玛基亚ž Až西里尔（Malkia A. Cyril），“媒体正义中心”执行主任和联合创始人

“当我们开始讨论人工智能对人类的潜在危害时，尤班克斯的研究应是必读书。”

——伊桑·佐克曼（Ethan Zuckerman），麻省理工学院“公民媒体中心”主任

 相关阅读 ·

 商品书目 ·

微信号 : DigitalLaw_ECUPL

探寻数字法治逻辑

展望数字正义图景

数字法治战略合作伙伴：理财魔方

北京市竞天公诚律师事务所上海分所