Nature：AI可能是性别和种族歧视分子？改进训练数据与算法迫在眉睫！
使用带有偏见的数据集来训练的算法只能把左边的图片识别为新娘。来源：Nature
James Zou 和 Londa Schiebinger 认为，计算机科学家必须找出偏见的来源，消除带有偏见的训练数据，并开发一种足够稳健的算法来对抗这种数据上偏见。
编译：集智翻译组
来源：Nature
原题：
AI can be sexist and racist — it’s time to make it fair
当谷歌翻译将西班牙语的新闻文章翻译成英文时，提及女性的短语经常会变成“他说”或者“他写”。尼康相机有一种软件，如果人们拍照时正在眨眼的话，这种软件会提醒他们，但是对于亚洲人而言，相机的软件总是会认为他们在眨眼。词嵌入也是一种流行算法，用于分析和处理大量的自然语言数据，但它会把欧美裔美国人描述为快乐的，而将非洲裔美国人描述为不快乐的。
AI系统可能会在应用中歧视特定人群，上面这些只是迄今为止发现的一小部分例子。
决策上的偏见并非AI独有，但正如许多研究人员所指出的那样，AI应用范围的扩大使得这个问题的处理变得尤为重要。实际上，问题的普遍性意味着我们需要系统性的解决方案。这里列出了几种可行的策略。
扭曲的数据
无论是在学术界还是工业界，计算机科学家都倾向于使用出版物或者媒体的报道来训练更加复杂的算法。相对而言，对数据的收集，处理和组织则关注较少。
AI产生偏见的一个主要的驱动因素是训练数据。大多数机器学习任务都是基于庞大且带有标注的数据集。列如，用于图片分类的深度神经网络通常是在ImageNet的数据集上进行训练的，该数据集是超过1400万张带标签图像的集合。在自然语言处理中，算法要在包含了数十亿词的语料库中进行训练。研究人员通常通过使用特定的查询术语搜刮各个网站的数据，比如谷歌图片和谷歌新闻，或者通过整合像维基百科一样的信息源网站来构建想要的数据集。然后这些数据会由研究生或者众包平台如亚马逊的Mechanical Turk进行标注。
这些方法无意间就有可能使数据带有性别，种族和文化上的偏见。
Tay 因不当言论而被紧急下线，其目标互动用户为18-24岁的年轻人。 来源：geekpark
有些群体的代表性过高，而另一些群体的代表性不足。超过45%的ImageNet数据来自美国，而美国人口只占世界的4%。相比之下，中国和印度加起来只贡献了ImageNet 3%的数据，而中国和印度人口加起来占了世界人口的36%。这种地域多样性的缺乏部分地解释了为什么计算机视觉的算法会给一张传统美国新娘的照片贴上"新娘"，"礼服"，"女人"等标签，而一张北印度新娘的照片只有"表演艺术"和"礼服"两个标签。
在医学领域，机器学习做预测可能更容易受到带偏见的训练集的影响，这是因为医疗数据的生产和标注成本非常高。去年，研究人员利用了深度学习从照片中识别皮肤癌。他们使用129,450张图片作为数据集训练他们的模型，其中的60%是从Google图片中爬取得到的。但是这些图片中，只有5%来自于深色人种，而且该算法也没有在深色人群中进行测试。因此，该分类器在不同肤色人种中性能会有很大的差异。
来源：Fig. 1b, Esteva, Kuprel et. al, 2017
另一个偏见可以追溯到算法本身。
一个典型的机器学习算法程序会尝试在训练数据上使得预测的总体准确率达到最大。如果一个特定群体在训练数据中出现的频率比其他群体个体要高，那么该程序会为了整体准确率的提高，而为这个群体中的个体进行优化。计算机科学家在测试数据集上对算法进行评估，但这些数据集通常是原始训练集的随机抽样，因此很有可能包含同样的偏见。
有缺陷的算法可以通过反馈循环来放大偏差。比如考虑基于统计学的训练系统，比如谷歌翻译，会默认使用男性代词。这种模式是因为英语语料库中的男性代词和女性代词的比例为2:1。更糟糕的是，每次一个翻译程序默认使用“他说”，都会增加 网络上男性代词的相对频率。归功于大规模的社会变革，男性代词和女性代词的比例已经从20世纪60年代4:1下降到现在的2:1。这些算法偏见可能导致我们来之不易的努力付水东流。
打破平衡
数据中的偏见往往反映了基础制度和社会权利关系中深层和隐性的不平衡。例如，维基百科就是一个丰富多样的数据源，但是这个网站的传记作品中只有不到18%是关于女性的。而关于女性文章中链接到关于男性的文章比起对应的相反的链接更多，这使得搜索引擎更容易索引到男性。这些关于女性的文章中也更多地提及了婚恋伴侣和家庭。
因此，训练数据的建立必须有技术关怀和社会意识。具体而言，就是应该采取措施来确保此类数据的多样性，而不是让数据集来代表特定的群体。这意味着我们要超越之前方便的分类方法，比如"男人/女人"，"黑人/白人"，因为这些都反应不了性别和种族身份的复杂性。
一些研究人员已经开始研究这个问题。例如，计算机科学家最近发现，在商业的面部识别系统中，深色人种更容易被误判性别，误判率有35%，而浅色人种的误判率只有0.8%。
研究发现，微软和 IBM 的识别黑人女性出错率高. 来源：Daily Mail
为了解决这个问题，研究人员整合了一套由1270个人组成的性别和种族平衡的新图片数据集。利用这些数据对现有的人脸识别算法进行再训练和微调，应该能为其提高准确性。
为了帮助识别偏差的来源，研究人员建议标注者对标准化的元数据进行系统化地标注。一些研究小组已经在设计“数据栅”(datasheets)，一种包含元数据和“营养标签”(nutrition labels)的机器学习数据集。
每一套训练数据都附有一些额外信息，这些信息包含了数据是如何收集和标注的。比如，如果数据包含关于人的信息，那么就应该提供关于地理，性别，种族和其他人口信息的统计数据（参考下图）。如果数据的标签是通过众包得到的，那么还应该包括众包人员的信息和对众包人员的指示。
来源：nature
数据众包者应该尽可能提供数据的定义和描述信息。比如，就刑事司法数据而言，搞清楚模型是在哪种犯罪类型的数据上被训练的，将有助于阐明该模型应该如何应用和解释。
本质上的修复
许多期刊已经要求将作者提供实验数据相关的信息作为出版的前提条件。例如，《Nature》要求作者将所有microarray的数据上传到开放仓库Gene Expression Omnibus，这其实反过来要求作者提供实验相关的元数据。我们鼓励像ICML这样的机器学习会议的组织者，将标准化的元数据作为审查过程中的一个重要的部分。数据仓库的维护者，比如Open ML和Kaggle这样的人工智能竞赛平台，也应该这样做。
最后，计算机科学家应该努力开发出能够更好应对数据集中人类偏见的算法。
目前也在采取各种办法。其中之一是纳入制约因素，从根本上改善机器学习模型，来确保模型在不同的人口群体和类似个体之间达到平等的表现。一个相关方法就包括了改变机器学习的算法，以减少对敏感属性的依赖，比如种族，性别，收入，以及任何与这些特征相关的信息。
这种消除偏见的新方法是非常有前途的，但是需要在真实世界中对其加以改进和评估。
然而，这类解决方法随之而来的挑战是需要准确记录族裔、性别和其他相关信息。除非捕捉到适当的类别，否则很难知道对 模型施加什么限制，或者要对模型做出什么修正。这些方法还要求算法的设计者需要先验地决定要避免哪些类型的偏差。
一个补充的方法是使用机器学习本身来识别和量化算法和数据中的偏差，称之为AI审计，只不过这里的审计员是算法。AI审计系统性地检查原始的集群学习模型，以识别模型和训练数据中的偏见。
应用于监督的词嵌入技术 来源：medium
这方面的一个例子是最近我们使用一种流行的称之为词嵌入的机器学习算法来量化美国的历史成见。词嵌入将每个英语单词映射到一个空间点即一个矢量。这样，向量之间的距离就表示了词汇之间语言的相似性。这个算法抓住了类比关系，比如"男人"是"国王"，"女人"是"女王"。我们开发了一种算法---AI审计员，用于查找其他性别类比的嵌入。该算法揭露了"男人"是"医生"，"女人"是"护士"，"男人"是"程序员"，"女人”是"家庭主妇"。
一旦审计员发现了这个词嵌入和原始文本数据中的偏见，就有可能通过修改词向量的位置来减少这样的偏见。此外，通过评估陈旧观念如何演变，利用历史文本进行训练的算法可能会消除偏见。例如，谷歌图书从1910年到1990年每十年间的词嵌入揭示了美国对亚裔美国人令人震惊的态度变化过程。这个群体在1910被描述为"可怕的"和"野蛮的"，到1990由于二战和1980年代移民潮而变为"拘谨的"和"敏感的"。
正确的做法
计算机科学家、伦理学家、社会科学家和其他人正努力提高数据和AI的公平性，我们所有人都需要思考正确的公平观念。数据是世界的真实的表象还是人们所期望世界的表象呢？同理，AI工具是否应该被用于评估潜在的求职者是否能胜任这个岗位或者求职者是否能很快融入工作环境呢？我们应该决定优先考虑哪些公平的概念呢？
为了解决这些问题并评估训练数据和算法的广泛影响，机器学习研究人员正在与社会科学家以及人文学科、性别、医学、环境和法律方面的专家进行合作。现在已经有了各种尝试和努力来促进这种合作，包括我们参加的斯坦福大学“以人为本的AI”的方案。这种参与必须从本科阶段就要开始，学生们应该在学习算法如何运行运作的同时审查AI算法运行的社会环境。
斯坦福大学Visual Genome机器视觉和语言的数据集 来源：visualgenome.org
设备、程序和过程塑造了我们的态度、行为和文化。AI正在改变经济和社会，改变我们的沟通和工作方式，并重塑统治和政治。我们的社会长期以来一直忍受着不平等。AI决不能无意维持甚至恶化这样的情况。
翻译：夏佳豪
审校：高飞
编辑：王怡蔺
原文：
https://www.nature.com/articles/d41586-018-05707-8
推荐课程
扫码听课
课程地址：http://campus.swarma.org/gpac=10530
推荐阅读
集智QQ群｜292641157
商务合作及投稿转载｜swarma@swarma.org
◆ ◆ ◆
搜索公众号：集智俱乐部
加入“没有围墙的研究所”
让苹果砸得更猛烈些吧！