郭锐：《算法霸权》之为什么要了解有潜力成为数学杀伤性武器的算法？

日前，《周泰 · 书声》第九期之《算法霸权》品读会在北京周泰律师事务所举办，现场邀请了中国政法大学数据法治研究院教授张凌寒、中国人民大学法学院副教授郭锐、北京大学法学院长聘副教授戴昕、北京大学法学院副教授胡凌、中国人民公安大学法学院副教授苏宇、北京航空航天大学法学院助理教授赵精武、北京周泰律师事务所高级律师储江、北京大学法学院副教授江溯共同探讨、解读这本《算法霸权》！

本文整理自品读会上品读人郭锐副教授的发言内容，供读者参考。

全文共： 3116字   预计阅读时间： 8分钟 

郭锐

中国人民大学法学院副教授

谢谢江溯老师，谢谢周泰的邀请。

数学杀伤性武器和大规模杀伤性武器，在英文中同样用到WMD的缩写（Acryname）。我们对两个WMD的警觉性不一样。在一个经济、社会、政治领域都沉醉于着功利追求的时代，这本书是兜头一盆凉水。只有我们清醒过来，才能把技术摆在正当的位置、警醒技术的为虎作伥。《算法霸权》举的多个“大规模数学杀伤武器”的例子中，大学的老师、学生熟悉、也让人触目惊心的，是大学排名带来的诸多不可预料的后果。数学模型和真实世界之间的差距，是这一切扭曲的根源。作者以数学专业的素养和对科技行业的熟悉，让人信服地论证：以数学模型为借口，给出过分简单化的解决方案，后果很严重，社会很受伤。

为什么要了解有潜力成为数学杀伤性武器的算法？我想讲的是，它关乎我们的自由。我用教学中用的一个例子来说明。

肢体残障人A向X公司提交了简历，申请X公司公开招聘的某管理岗位工作。X公司使用了基于深度学习的人工智能算法模型Y来做筛选简历决策。A的简历被Y自动筛掉了。算法模型Y使用了X公司过去10年的历史数据，根据算法从简历中自动抓取的某些指标（如上班准时率、上班时间不在工位的时间、上一份工作所在的公司对申请人的评分等）进行决策。X公司过去10年中招聘录取50000名员工，其中残障人25名，且所有录取者都从事一般文员工作。A向法院提起诉讼，主张X公司使用的算法系统Y对A进行了歧视。

首先有必要指出的是，如果决策者不是算法模型Y，而是一个人，可能会犯同样的错误。较之算法模型，个人决策者的行为是否涉嫌歧视，是可能被指出和纠正的。算法模型的歧视行为往往有客观公正的外观，不容易被发现，而且如果没有合适的方法也更难改变。

判定这个案例是否存在算法歧视，数据的重要性毋庸置疑。应重点关注以下三个方面：一、如果用于训练模型的数据包含有偏见的人类决策，并且偏见被传递给学习模型，那么系统性偏见就会产生；二、如果使用的数据与最终决策并无直接关联，仅仅是其他更直接数据的替代，那么针对受保护人群的算法决策错误率可能会上升并最终产生算法歧视后果。三、如果使用的数据缺乏与受保护人群相关的代表性，那么针对受保护人群的决策就更可能产生导致歧视的高错误率。

算法系统Y使用了X公司过去10年的就业数据作为训练数据，这忽视了公司过去10年雇佣的员工构成本身可能不满足残障就业者代表性的可能。X公司招聘录取的残障员工只占员工总数的万分之五，这大大少于残障人口占全部人口的比例。不满足独立同分布的条件下，算法针对残障人群的雇佣决策就更可能准确性不足，以致导致算法歧视。

算法系统Y也使用了上班准时率等客观指标来对A进行评估，这一点看似是对工作意愿的客观评价，但实际是工作意愿的替代数据。上班准时率可能和本地公共交通的无障碍建设水平直接关联，也可能和上班高峰期的无障碍设施使用机会是否受限相关，还可能受公司是否按照员工需求合理调整上下班的时间的影响。例如，本地公共交通系统没有提供合理的无障碍设施，残障者的通勤难度就会增大、通勤时间也会大大增加，这必然导致残障工作者上班准时率受影响。即使残障者得到公司变通上下班时间的合理便利，而这个因素没有包含在评估的指标中，也无法减少残障者上班准时率的影响。类似地，上班时间不在工位的时间看似客观指标，实际上可能因为工作场所缺乏无障碍卫生间、肢残劳动者需要花更多时间去较远的无障碍卫生间；或者公司给予残障者适当的时间在家里工作的合理调适不在评价指标中，导致残障劳动者上班时间不在工位的时间增加。

本案中算法系统Y对A进行评估时，使用了上一份工作所在的公司对申请人的评价，这表面上看也并不构成对A的歧视。但是，系统使用前雇主对员工的评价作为筛选的重要指标，前雇主一旦有过针对评价的歧视性决策，它就可能成为算法系统Y的歧视来源。

在这个例子里，如果我们从近二十年的残障研究的成果来观察，算法系统Y出现的问题，根本上是由于社会上客观存在的针对残障的刻板印象。刻板印象指的是社会共享的关于某一社会类别成员特征的一系列固化、肤浅和经常是负面的看法。在残障就业中，针对残障的刻板印象导致人们在真正了解残障者的工作情况之前，就已经对残障就业有先入为主的负面印象，进而成为产生针对残障的歧视的关键原因。对大多数雇主而言，他们在做出歧视决定的同时可能会自认为并没有对残障者进行歧视，并且把拒绝聘用残障者仅仅看成对残障者的工作意愿和工作能力的客观评价。雇主的这种认知，甚至得到社会广泛存在的关于残障劳动者的认知的支持。例如，在一位残障劳动者张建的就业经历中，就不止一个雇主在工作条件、薪酬等问题上对他做出过歧视性决定，同时自认为并没有对残障者进行歧视。 

发生在残障人身上的歧视性的后果，只是算法的后果在特别脆弱的一群人身上的集中、强化的体现。如果我们没有应对，这些后果，迟早会发生在我们每个人身上。就像我们在人大的残障法诊所课堂上，在各种事情上反复看到的，残障不是一小部分人的问题，我们只是借助残障，集中、强化地地看到社会上存在的各种问题。

我们怎么应对？讲一点个人的体会。我自己的研究兴趣比较杂，公司，金融，人工智能，在这些领域里，都有一种虚假的、需要我们克服的必要性在里面。需要我们通过了解和认知，克服这些虚假的必要性，以真正成就我们的自由。

作为现代性的产物，人类自由的实现与社会规则的必要性之间本来就存在紧张关系。十七世纪的思想家霍布斯和洛克，认为这个问题是牺牲一些个人自由以获得其他自由的问题。换言之，法律是一种有利的约束--在某些领域限制活动，以便在其他领域扩大活动的必要强制措施。我们同意向政治权威让渡我们部分的自由，以便从人人相杀的自然状态中获得更大的自由。通过国家主权的强加给个人的法律是一种约束，但它允许从其他个人可能强加给我们的约束中获得自由。这样一来，法律可以看成是增加自由而不是威胁自由的规则体系。哈佛大学法学院的毕业典礼上，说法学院的毕业生所掌握的能力，是去执行那些能让我们自由的合理限制（the reasonable constraints that will set us free）。

但是，在现代社会，人们从法律中普遍感受到的，往往并不是自由，而是对自由的侵害。在法律中，人们甚至看到以自由的名义对自由侵害。这种侵害，经常体现在法律参与构建的复杂系统中，公司制度是，金融制度是，人工智能也是。这是为什么我对这些复杂体系相关的制度和技术领域感兴趣。就以人工智能技术为例，我们看到的是，那些本来应该帮助我们自由的东西，本来应该成为我们工具、为我们所用的东西，成了我们的主人。

在这个意义上我倒挺喜欢作者用一种讲故事的风格写这本书。我们这个时代需要的是一场新的启蒙运动。我们需要社会每个人都开始了解算法、大数据技术，以便我们可以打破那些虚假的必然性。那些侵害自由的虚假的必然性，不管是以科学的名义，还是以意识形态的名义，都需要打破。

我们需要一场新的启蒙。我就讲这些，谢谢。

直播回看方式

微信长按识别上方二维码

回复【算法霸权】即可回看本次精彩直播

欢迎关注周泰，欢迎点“赞”和“在看”