要点速读● 人工智能系统是有偏见的，因为它们是人类的创造物。谁来指导人工智能系统做决策，以及谁是人工智能系统开发团队的成员，谁就会影响人工智能的发展。
● 有性别偏见的人工智能不仅对个人有巨大的影响，而且还可能制造性别平等和女性赋权方面的障碍。
● 社会变革领导者应鼓励机器学习的开发者做得更多，例如：在开发和管理人工智能系统的团队中嵌入并推进性别多样性、公平和包容性；将包括女性和非二元性别个体在内的边缘化社区成员的声音置于中心等。
学术顾问：孙萍
议题编辑：刘水静
作者：吉纳维芙·史密斯（Genevieve Smith）、石田·鲁斯塔吉（Ishita Rustagi）
译校：欧洁睿、廖子烨
2019年，吉纳维芙（本文的作者之一）和她的丈夫申请了同一种信用卡。尽管她的信用评分稍好，收入、支出和债务与她丈夫相同，但信用卡公司却将她的信用额度设定为她老公的一半。这一经历与当年晚些时候的头条新闻相呼应：一对夫妻比较了他们的苹果信用卡消费额度，发现丈夫的信用额度高出20倍。客服人员无法解释为什么算法认为妻子的信用更低。
许多机构运用基于机器学习（ML）的人工智能（AI）系统做出决策。这一系列的算法从海量数据中获取和学习信息，从而发现模式并做出预测。这些系统帮助金融机构计算为不同客户提供的信贷额度，让卫生保健系统知道应该优先考虑哪些人接种新冠疫苗，以及帮助公司召集候选人参加工作面试。然而，这些系统中的性别偏见是普遍存在的，并对妇女的短期和长期心理、经济和健康安全产生了深刻的影响。它还会加深和放大现存的有害的性别刻板印象和偏见。
在我们结束妇女历史月（Women's History Month）时，社会变革的领导者们，包括研究性别的学者和专业人士，以及机器学习系统的开发人员都需要发问：我们如何才能建立性别观明智的人工智能来促进性别平等，而不是加深和扩大性别偏见？
人工智能系统是有偏见的，因为它们是人类的创造物。谁来指导人工智能系统做决策，以及谁是人工智能系统开发团队的成员，谁就会影响人工智能的发展。不出所料，人工智能团队中存在巨大的性别差距：在人工智能和数据科学领域的专业人士中，只有22%是女性，而且她们更可能从事地位较低的工作。
在更细的层面上，人类通过生产，收集和标记数据将其集中成数据集。人类决定算法从哪些数据集、变量和规则中学习并进行预测。这两个阶段都可能被引入偏见，让它成为人工智能系统中的一部分。就数据的性别偏见而言，数据点是我们生活的世界的快照。我们所见巨大的性别数据差距部分是由于性别数字鸿沟所造成的。例如，使用手机上网的女性比男性少约3亿，中低收入国家的女性拥有智能手机的可能性比男性低20%。这些技术产生关于用户的数据。因此，妇女较少使用这些技术的事实必然会使数据集出现内在偏差。即使产生了数据，收集数据的人也将决定数据的内容和方式。没有哪个行业比医疗（另一个在领导层中存在性别失衡的行业）更能说明这一点。长期以来，男性和男性身体一直是医疗测试的标准。女性在医学试验中是缺失的，因为女性的身体被认为过于复杂和多变。甚至在关于女性流行疾病的动物研究中，雌性也不被包括，这种差距进而反映在医学数据上。没有按性别（以及其他身份认同）分类的数据带来了另一个问题。它描绘了一幅不准确的图景，掩盖了不同性别认同的人之间的重要差异，并隐藏了潜在的“过多代表”（overrepresentation）或“代表不足”（underrepresentation）现象。例如，很少有城市数据集跟踪并分析有关性别的数据，因此，基础设施项目往往没有考虑到妇女的需求。即使存在有代表性的数据点，它们也可能有内在的偏见，反映了社会中的不平等现象。回到消费信贷行业，早期的流程使用婚姻状况和性别来确定信用度。最终，这些歧视性的做法由那些被认为是更加中立的做法所取代。但那时，妇女的正式财务记录较少并遭受歧视，这影响了她们获得信贷的能力。跟踪个人信用额度的数据点捕捉到了这些歧视性的趋势。对数据的标注可能是主观的，也会嵌入有害的偏见和观点。例如，大多数人口统计学数据的标注最终都以简单化的男女二元分类为基础。当性别分类以这种方式瓦解性别时，它降低了人工智能反思性别流动性和自我主张的性别认同的潜力。对于算法的性别偏见，开发算法的第一步是选择将要训练的数据集。让我们再次回到消费者信贷行业，当裁决信用额度的人工智能系统从历史数据中学习时，它们会习得女性获取信用额度比男性低的模式。然后它们再生产了同样的基于性别（和种族）的信贷不平等现象，正如在吉纳维芙的案例和苹果信用卡的故事中看到的那样。与此相关，一项性别图谱研究（Gender Shades research project）发现，商业面部识别系统使用的图像数据集缺乏多样性和代表性。这些系统对女性的错误分类远远多于男性。而且，肤色较深的女性被错误分类的比率为35%，但肤色较浅的男性的错误率则是0.8%。算法在做决定时要考虑哪些变量是由开发人员决定的，但这些变量和指标可能会不公平对待某些身份或社群。例如，在线技术招聘平台吉利德（Gild）（后来被城堡公司收购）开发了一个人工智能系统，帮助雇主对编程岗位的候选人进行排名。吉利德不仅筛选了从简历等传统来源收集到的信息，还使用了一种名为 “社交数据”（由在线行为产生的数据）的网络指标，以衡量候选人在数字社区中的地位。在这种情况下，这些社交数据统计该用户在GitHub等平台上分享和写代码的时间。但是，由于社会期望女性承担更多家务等无偿劳动，这导致女性在网上交流的时间的缺失。因此，女性产生的这种社会数据较少。此外，女性可能会在GitHub等平台上选择男性身份，以规避性别歧视、性别安全问题（如有针对性的骚扰和嘲弄）以及其他形式的偏见。吉利德平台没有消除人们的偏见，而是创建了一个倾向于惩罚女性的算法，并系统地将女性候选人排在男性候选人之后。有性别偏见的人工智能不仅对个人有巨大的影响，而且还可能制造性别平等和女性赋权方面的障碍。作为我们在伯克利的哈斯公平、性别和领导力中心（Berkeley Haas Center for Equity, Gender and Leadership）减轻人工智能偏见工作的一部分，我们跟踪了公开的机器学习人工智能系统中的偏见实例。在我们对1988年至今各行业约133个有偏见的系统分析中，我们发现其中的44.2%（59个系统）表现出性别偏见，25.7%（34个系统）同时表现出性别和种族偏见。
有性别偏见的人工智能系统有六个主要影响。在59个表现出性别偏见的系统中，70%的系统导致对女性和非二元性别（non-binary）个体的服务质量下降。例如，越来越广泛地用于汽车和医疗行业的语音识别系统，对女性来说往往更不好用。其次，在我们认定的有性别偏见的系统中，61.5%的系统表现出对妇女的资源、信息和机会分配不公平，包括招聘软件和招聘广告系统不优先考虑妇女的申请。现存的有害刻板印象和偏见（在28.2%的有性别偏见的系统中）因数据输入和输出之间的反馈循环而被固化，恶化。例如，从大量在线文本中学习的翻译软件，将历来性别中立的术语，如英语中的 “the doctor（医生）”或 “the nurse（护士）”，输出成性别化的翻译，如西班牙语中的 “el doctor（男医生）”和 “la enfermera（女护士）”，这强化了医生是男性，护士是女性的刻板观念。与此相关的是，我们发现最常见于互联网相关服务的人工智能系统，导致了对已被边缘化的性别身份的贬低和冒犯性对待或抹杀（6.84%）。例如，在性别分类中使用性别二分法在面部分析系统等工具中内化了一个不准确的、简单化的性别观。此外，某些系统影响了女性和非二元性别个体的身心健康。特别是用于医疗、福利系统和汽车行业的有性别偏见的系统，对身体安全（18.8%的有性别偏见的系统）和健康（3.42%）构成损害。例如，支持皮肤癌检测工作的人工智能系统很难检测出黑人的黑色素瘤，导致本就不能很好获得医疗服务的黑人女性处于危险之中。将性别平等和公正设立为机器学习系统的首要目标，可以对设计和管理决策产生下游影响。我们必须承认，机器学习系统是不客观的。即便是善意设计的机器学习系统（例如，为使信用评估或招聘更公平而建立的系统）也可能容易出现与偏见相关的问题，就像其人类创造者一样。社会变革的领导者以及开发机器学习系统的组织领导者可以发挥作用，制造性别智能的机器学习并推进性别平等。
正如凯瑟琳·迪格纳齐（Catherine D'Ignazi）和劳伦·克莱因（Lauren Klein）在他们的《数据女权主义》（Data Feminism）一书中所说，女权主义数据实践包括分析权力如何运作，利用数据去挑战不平等的权力结构，超越性别二元，重视多种形式的知识，并综合多种视角，优先考虑当地和原住民知识。女权主义数据可以帮助集中边缘化个体的声音和经验，包括妇女和女孩。
作为一个例子，数字民主（Digital Democracy）是一个与边缘化社区合作，通过技术维护他们权利的组织。它与当地社区团体，如女性受害者委员会（Commission of Women Victims for Victims, KOFAVIV）合作，在海地建立一个安全系统，收集基于性别的暴力的数据。该系统使当地女性能够跟踪、分析、标记和分享数据。另一个重要步骤是承认并努力反对有害的数据用途，正如《女权主义数据“说不”宣言》（Feminist Data Manifest-No）中所述。2
将你的专业知识应用于性别平等的人工智能领域，倡导人工智能扫盲培训，并加入对话。
通过将性别专门知识融入人工智能系统，机器学习的开发人员和管理人员可以更好地了解问题和其解决方案，以减轻性别偏见。
这首先要在性别问题专家中支持人工智能扫盲培训，并通过要求会议组织者举办关于性别和人工智能的会议和研讨会来参与对话。例如，不久之前，性别专家在关于影响力投资的讨论中基本没有出现。像标准研究所（Criterion Institute）举办的研讨会，纳入了金融投资概念和性别考虑的培训，帮助具有性别专业知识的研究人员和专业人士更好地了解影响力投资领域，以及参与并最终推动具有性别视角的投资工作和倡议。3
在考虑或使用人工智能系统来解决性别差距问题时，要认真思考人工智能系统开发团队的人员构成，以及他们使用的数据和他们开发算法的方式。
人工智能正愈加广泛地被用于解决包括性别不平等在内的全球发展挑战，民间社会组织也正在加入其中。例如，世界妇女银行（Women’s World Banking）和财务女性（Mujer Financiera）正在使用机器学习来支持金融的女性包容性。重要的是，坚持并支持机器学习的开发人员在开发、创建和管理这些人工智能系统时将女性和非二元性别个体的声音放在中心位置。另外，在使用人工智能系统之前，要做好尽职调查，评估其潜在的性别偏见和意外后果。
当机器学习系统为正义而建时，他们可以回避对偏见和潜在的意外后果的批判性分析。仅仅打算建立一个善意的系统是不够的。为了帮助研究人员和开发人工智能系统的企业和组织的领导者促进性别智能的机器学习，社会变革领导者应鼓励机器学习发展伙伴追求和倡导以下几点：
1
在开发和管理人工智能系统的团队中嵌入并推进性别多样性、公平和包容性。
如果我们相信人工智能有可能促进一个更公正的世界，这一点是必要的。最近的一项研究表明，构成多元的群体能更好地减少算法的偏见。采取行动，确保多样性是领导层的核心优先事项，并更新机构政策、做法和结构以支持多样性和包容性。
记录你的机器学习数据集（例如，通过数据集的数据表）和机器学习的模型（例如通过模型卡）中的内容。评估数据集对不同性别身份的代表性不足，以及反映现实但其实有问题的潜在不平等现象等问题。最后，与性别专家合作，纳入女性主义数据原则和方法，诊断和解决算法的潜在性别影响，并以性别视角对算法进行审查。
3
在开发人工智能系统的过程中，将包括女性和非二元性别个体在内的边缘化社区成员的声音置于中心。
支持研究并向其他例如离网能源和清洁烹饪部门学习，这些部门将参与式设计和参与式行动研究纳入技术开发。
4
建立对性别问题有敏感认识的治理方法，创造负责任的人工智能。
在制定人工智能伦理治理结构，即人工智能伦理委员会和领导机构时，确保性别的多样性。在负责任或有伦理的人工智能守则和原则中，批判性地思考如何纳入与性别和其他边缘化身份相关的正义和公平。注：关于将性别平等因素纳入人工智能原则的指导，请参见联合国教科文组织的这份报告：https://en.unesco.org/system/files/artificial_intelligence_and_gender_equality.pdf以上这些行动并不是全部，但它们为建立促进公平、性别智能的机器学习提供了一个起点。让我们不要错过这个机会，彻底改变我们思考、设计和管理人工智能系统的方式，从而为今天和子孙后代追求一个更公正的世界。来源：斯坦福社会创新评论官网，首发于2021年3月31日原标题：When Good Algorithms Go Sexist: Why and How to Advance AI Gender Equity作者简介：吉纳维芙·史密斯是加州大学伯克利分校哈斯商学院公平、性别和领导力中心（EGAL）的副主任。十多年来，她一直在进行研究，并致力于推动性别平等和女性的经济赋权。她是EGAL关于减少人工智能偏见指引手册的主要作者；石田·鲁斯塔吉是加州大学伯克利分校哈斯商学院公平、性别和领导力中心（EGAL）的业务战略和运营分析师，她支持资源、工具和思想领导力开发，以促进多样性、公平和包容性。她是EGAL关于减轻人工智能偏见指引手册的共同作者。
专题一览
本期专题【未来经济】包含6篇稿件，敬请关注：
1、《关于平台经济，我们需要建立一种新型数字化关系》
2、《 AI向善？“社会经济”可形塑技术的发展方向》提出，第四次工业革命滚滚向前，而在其中融入社会意识，使科技的发展为社会服务正当其时，本文提出五项策略以实现这一目标；
3、《警惕算法中的性别歧视》指出，算法中的性别歧视十分常见：这是由于算法乃人的产物，也自然会渗透进人的社会中带有的偏见与歧视。为了改善和克服这一问题，本文作者指出了社会变革者和算法写手们可以做的事；（见本文）
4、《数据时代的企业社会责任》（Corporate Social Responsibility for a Data Age）从数据在救灾活动中的作用凸显出其公共属性出发，探讨如何将各个实体（政府、企业、公益慈善机构）采集的数据“打通”，实现数据的共享、数据保护并将数据转化成行动；
5、《可持续发展经理人可以引导第四次工业革命》（Sustainability Managers Could Lead the Fourth Industrial Revolution）呼唤企业的相关部门通过四种做法将挑战转化为发展机遇，在第四次工业革命中注入可持续基因；
6、书评《科技“跑步机”》（The Technology Treadmill）指出，科技创新并不总是带来理想中的结果，对意外后果的不断修正可能会使人类在停不下来的科技“跑步机”上疲于奔命。