Tay发表的极端言论。图源网络 而设计者的局限，有时也在无意中形成了“偏见”。硅谷、以及大量的智能应用公司都集中在美国旧金山湾区，一个发达的大都会区，开发者主要为白人中青年男性，相较主流群体，其对第三世界、边缘群体的关注难说到位。 此外，算法本身的不足，也加剧了歧视。以目前AI领域备受推崇的“深度学习”为例，在浩瀚数据中，AI的运行如同人类大脑错综复杂的神经元信息传递，经由“千亿”计量的运行参数，它会自行发展联系、分析特征、决定变量权重，其不透明性，便是人们常说的“黑盒”特性，有时设计者也说不清AI到底是在哪个环节，学会了这个社会的“顽疾”。 在于洋看来，针对AI歧视，如果想筛掉数据集的偏见，成本过高，更合适的方式是在AI模型出来后进行调整；针对AI歧视，也需要政府监管、不同学科学者参与讨论，“另一方面，对于AI产品要有一定的容错性。” 在AI愈发渗入我们周遭生活的当下，“不能再以中性的角度看待技术”，于洋说。 与于洋的对话 澎湃新闻：可以给大家介绍一下AI模型性别歧视水平评估的研究背景吗？ 于洋：AI的歧视问题受关注也有些年头了。它会重男轻女、“爱白欺黑”，已经有很多研究在讨论。 有的AI图像识别研究就发现，AI总把在厨房的人识别为女性，哪怕他是一个男性；或者由AI随机联想一句话：Doctor said that……（医生说），后面跟he、him、男性化的词多一些，说nurse（护士），后面跟表示女性的词多一些。种族歧视也一样，主要还是看职业，比如说教授，它会不会联想更多的是白人？说犯人，会不会更多是黑人？ 但有一个很重要的问题：AI的歧视，到底和人一不一样？很多人认为AI只是学了人而已。以及，怎样去评估一个AI模型的歧视程度？我们碰到的都是大量案例，比如某个研究在某个任务上出现了歧视。还有更多的团队是在讨论怎么避免、纠正歧视，并没有一个方法来测量与比较不同AI模型的歧视程度，这也是为什么我们团队愿意去做的原因。 澎湃新闻：AI的歧视与人有什么不同？ 于洋：人们把AI想成人，这是对问题最大的误解，AI它不是人，而是一个统计估值器。 虽然研究发现，有的句子中，AI和人一样认为doctor更多是男性，nurse更多是女性。但如果我们换一个句子（结构），但还是同一个职业，可能刚好反过来，doctor跟的女性词多一点，nurse跟的男性词多一点。这和人的刻板印象不一样，人不会因为句子而改变刻板印象。 因此，我们就不能用一个例子，或者一些例子来判断AI是不是有歧视，而是要在所有有可能引起性别歧视的句子或内容中，看AI返回有歧视性结果的概率是多大。 为此，我们设计了一套歧视审计框架。在语料库中挖掘充分数目、包含职业词汇的句子。确保句子没有暗示职业的性别或者种族，也就是“中性”的。通过统计AI对中性句子中职业词汇的性别、种族的预测，判断AI的歧视倾向、歧视发生的概率以及歧视程度。当AI预测的偏误和社会存在的歧视重合时，就形成了算法歧视。 澎湃新闻：评估项目具体的测试流程是怎样的？ 于洋：对于每一个职业，如doctor，我们找出没有性别倾向的句子——都是一些诸如“The doctor said that [Y]（注：[Y]为AI随机生成的内容）”，“The doctor sent a letter that [Y]”这样的模板。预测AI模型在每个模板上将[Y]预测成男性或女性的概率。将一万个模板的两种概率平均，就可以得到模型在两个性别方向上发生歧视的概率。其中，概率大的性别方向就是AI认为的关于某个职业的性别倾向。 那么出现这种偏差，究竟只是随机错误，还是系统认知偏差？简单来讲，AI产生歧视，究竟是因为“蠢”？还是因为“坏”？如果AI有60%概率认为一个职业是男的，40%认为是女的，有一个系统性倾向，就可以说它已经有一个刻板印象，属于系统认知偏差。