查看原文
其他

前沿 | BAIR探索机器学习公平准则的长期影响:对弱势群体的善意真的种出了善果?

机器之心 2019-04-07

选自BAIR

作者:Lydia T. Liu、Sarah Dean、Esther Rolf、Max Simchowitz、Moritz Hardt

机器之心编译

参与:刘天赐、晓坤


由于机器学习系统容易受到历史数据引入的偏见而导致歧视性行为,人们认为有必要在某些应用场景中用公平性准则约束系统的行为,并期待其能保护弱势群体和带来长期收益。近日,伯克利 AI 研究院发表博客,讨论了静态公平性准则的长期影响,发现结果和人们的期望相差甚远。相关论文已被 ICML 2018 大会接收。


以「最小化预测误差」为目的训练的机器学习系统通常会基于种族、性别等敏感特性(sensitive characteristics),表现出歧视性行为(discriminatory behavior),数据中的历史性偏差可能是其中的一个原因。长久以来,在诸多如贷款、雇用、刑事司法以及广告等应用场景中,机器学习一直被诟病「由于历史原因,潜在地伤害到曾被忽视的、弱势群体」。


本文讨论了研究者们在调整以长期社会福利(long term social welfare)为目标的机器学习所得决策方面的近期成果。通常,机器学习模型产生一个得分(score)来概述关于个体的信息,进而对其作出决策。例如,信用得分(credit score)总结了某人的信用历史和财务行为,来帮助银行评定其信用等级。我们以此贷款场景为例贯穿全文。任何用户群体在信用得分上都有其特定分布,如下图所示。


1. 信用得分和偿还分布



通过定义一个阈值,可以将得分转变为决策。例如,得分高于放贷阈值的人可以获得贷款,而低于放贷阈值的则被拒绝。这种决策规则叫阈值策略(threshold policy)。可以将得分理解为贷款违约的估计概率编码。例如,信用得分为 650 的人中,90% 的人会偿还其贷款。因此,银行可以预估其为信用得分为 650 的用户提供等额贷款的期望收益,同样,可以预测为信用得分高于 650(或任何给定阈值)的全体用户提供贷款的期望收益。


2. 贷款阈值和结果



不考虑其他因素的情况下,银行会试图最大化其总收益。收益取决于收回的偿还贷款额与在贷款违约的损失额之间的比。在上图中,收益损失比为 1:-4,由于相较于收益,损失的成本更高,因此银行会更保守的进行放贷,并提高放贷阈值。我们将高于此阈值以上的总体人数占比称为选择率(selection rate)。


结果曲线


贷款决策不仅影响银行机构,也会影响个人。一次违约行为(贷款人无法偿还贷款)中,不仅是银行损失了收益,贷款人的信用得分也会降低。而成功的贷款履约行为中,银行获得收益,同时贷款人的信用得分提升。在本例中,某用户信用得分变化比为 1(履约):-2(违约)


在阈值策略中,结果(outcome)被定义为某群体得分的变化期望,可以参数化为选择率的函数,称此函数为结果曲线(outcome curve)。当某群体的选择率发生变化时,其结果也会发生变化。这些总体人数级别上的结果会同时取决于偿还概率(由得分编码得到)、成本以及个体贷款决策的收益。



上图展示了某典型群体的结果曲线。当群体内获得贷款并成功偿还的个体足够多时,其平均信用得分就可能增加。这时,如果其平均得分变化(average score change)为正,则可得到无约束收益最大化结果。偏离收益最大化,以给更多人提供贷款时,平均得分变化会增大到最大值。称其为利他最优(altruistic optimum)。也可以将选择率提升到某个值,使平均得分变化低于无约束收益最大化时的平均得分变化、但依然为正,即图中黄色点状阴影所表示的区域。称此区域中的选择率导致了相对损害(relative harm)。但如果无法偿还贷款的用户过多,则平均得分就会降低(平均得分变化为负),从而进入红色横线阴影区域。


4. 贷款阈值和结果曲线



多群体情况


给定的阈值策略如何影响不同群体中的个体?两个拥有不同信用得分分布(credit score distribution)的群体会拥有不同的结果。


假设第二个群体和第一个群体的信用得分分布不同,同时群体内人数也更少,将其理解为历史弱势群体。将其表示为蓝群体,我们希望保证银行的贷款政策不会不合理地伤害、欺骗到他们。


假设银行可以对每个群体选择不同的阈值,虽然这可能面临法律挑战,但为了预防由于固定阈值决策可能带来的差别结果,基于群体的阈值是无法避免的。


5. 不同群体的贷款决策



很自然的会出现问题:怎样的阈值选择可以在蓝群体的得分分布中得到期望改善。如上文所述,无约束的银行策略会最大化收益,并选取收支平衡、贷款有利可图的点。事实上,收益最大化阈值(信用得分为 580)在两个群体中是相同的。


公平性准则


拥有不同得分分布的群体会有不同形状的得分曲线(原文图 6 上半部分展示了真实信用得分数据和一个简单结果模型的结果曲线)。作为无约束收益最大化的另一个替代选择是公平性约束(fairness constraints):通过某些目标函数令不同群体的决策平等。目前已经提出了各种公平性准则,诉诸直觉来保护弱势群体。通过结果模型,我们可以正式的回答:公平性约束是否真的鼓励了更多的积极结果。


一个常见的公平性准则,人口统计平等(demographic parity),要求银行在两个群体中给出相同比例的贷款。在此要求下,银行继续尽可能最大化收益。另一个准则,机会平等(equality of opportunity):两个群体中的真阳性率(true positive rate)相等,要求银行对两个群体中会偿还贷款的个体相同的贷款比例。


虽然从要求静态决策公平的角度出发,这些准则都很合理,但它们大多忽略了这些对群体结果的未来效应。原文图 6 通过对比最大化收益、人口统计平等和机会平等下的策略结果,展示了这一点。看看每个贷款策略下银行收益和信用得分的变化。和最大化收益策略相比,人口统计平等和机会平等都降低了银行收益,但是否获得了相较于最大化收益得到提升的蓝群体结果?虽然相较于利他最优,最大化收益策略对蓝群体贷款过低,但机会平等策略则(相较于利他最优)贷款过多,人口统计平等则贷款过多,并达到了相对损害区域。


6. 有约束条件下的贷款决策模拟



如果公平性准则的目标是「从长期来看,提升或公平化所有群体的幸福」,刚才展示的则表明在某些场景下,公平性准则实际上是违背了这一目的。换言之,公平性约束会进一步降低弱势群体中的现有福利。建立准确模型,以预测策略将对群体结果产生的效应影响,也许可以缓解由于引入公平性约束而产生的意料以外的伤害。


对「公平」机器学习结果的思考


研究者提出了一个基于长期结果的对机器学习「公平性」讨论的视角。如果没有细致的延迟结果模型,就不能来预测公平性准则作为加在分类系统上之后的影响。然而,如果有准确的结果模型,就能以相较于现有公平性准则而言,更直接的方式来优化正例结果。具体而言,结果曲线给出了偏离最大化收益策略,以最直接提升结果的方法。


结果模型是在分类过程中引入领域知识的一个具体方法,并能与许多指出机器学习中的「公平」具有背景敏感特性的研究很好地吻合。结果曲线为此应用特定的权衡过程提供了一个可解释的视觉工具。


更多细节请阅读论文原文,本文将在今年 35 届 ICML 大会上出现。本研究只是对「结果模型可以缓解机器学习算法对社会意料外影响」的初步探索。研究者们相信,未来,随着机器学习算法会影响到更多人的生活,会有更多的研究工作,来保证这些算法的长期公平性。 


  • 论文:Delayed Impact of Fair Machine Learning

  • 论文地址:https://arxiv.org/pdf/1803.04383.pdf


原文链接:http://bair.berkeley.edu/blog/2018/05/17/delayed-impact/



本文为机器之心编译,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告&商务合作:bd@jiqizhixin.com


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存