NIST｜人工智能也存在偏见？探究人工智能偏见的识别和管理
2022年3月16日，美国国家标准与技术研究院（NIST）发布了《迈向识别和管理人工智能偏见的标准》（以下简称《标准》），《标准》的目的是分析人工智能偏见这一具有挑战性的领域中有争议的问题，并为制定识别和管理人工智能偏见的详细社会技术指导提供路线图上的第一步。NIST表示，《标准》是支持可信赖和负责任的人工智能开发的一部分，为NIST正在开发的AI风险管理框架（AI RMF）提供了相关的指导。
摘译 | 李朦朦/赛博研究院实习研究员
来源 | NIST
《标准》重点提出三部分内容：
描述了人工智能中偏见的利害关系和挑战，并举例说明了偏见破坏公众信任的原因和方式;
识别人工智能中的三类偏见（即系统性，统计性和人类偏见），并描述它们对社会产生负面影响的方式;
描述了减轻人工智能偏见的三大挑战，包括数据集，测试和评估、验证和核实以及人为因素，并对解决这些问题给出建议。
如何理解人工智能偏见
人工智能风险管理旨在最大限度地减少人工智能的负面影响，包括对公民自由和权利的威胁等。而在谈论人工智能风险时，“偏见”是一个重要话题。虽然人工智能偏见并不总是负面的，如通过自动化系统决策为公众提供生活便利。然而，人工智能模型和系统中表现出的某些偏见也可能对个人、组织和社会造成永久化和放大的负面影响。
《标准》指出，偏见与社会透明度和公平性息息相关。对于大多数人来说，算法很少透明，因为非技术受众很难了解和理解公司用于设计、开发和部署的代码及用于决策的复杂人工智能网络。此外，很多人受到人工智能技术和系统的困扰，如未经本人的同意，在申请大学、租赁房屋甚至互联网搜索时，个人数据被人工智能技术和系统输入等。这些情形都导致个人对“失控”和“失去隐私”的恐惧，以及对人工智能的信任下降。
人工智能偏见的类别
《标准》中，人工智能分为系统性偏见、统计性偏见和人类偏见三大类别，具体来看：
系统性偏见系统性偏见，也被称为机构或历史偏见，是由特定机构的程序和做法造成，导致某些社会群体处于有利地位或受到青睐，而其他社会群体则处于不利地位或受到贬低。它们普遍存在于人工智能使用的数据，人工智能生命周期的流程中以及文化和社会中的机构规范、实践和流程中。这不一定是有意识偏见或歧视，而是大多数人遵循现有规则或规范造成的。最为典型的是种族主义和性别歧视，在日常基础设施中未能考虑残疾人的无障碍环境等。
统计性偏见统计性偏见来自于系统性错误而非随机性错误，在没有偏见、偏袒或歧视性意图的情况下也会发生。在人工智能系统中，这些偏见存在于开发人工智能应用的数据集和算法过程中，当算法在一种类型的数据上训练而不能超越这些数据进行推断时，偏见就会出现。
人类偏见人类偏见是人类思维的基本部分，反映了人类思维中的系统性错误。此类偏见往往是隐性的，并与个人或群体通过自动化信息进行决策有关，广泛存在于整个人工智能生命周期的机构、团体和个人决策过程中，以及在人工智能应用部署后的使用过程中。
人工智能偏见对社会的影响
由于人工智能技术与社会紧密联系，其相比传统技术对社会的影响更大。各个部门都普遍部署人工智能的应用程序用于决策支持，从而代替人类做出具有高度影响力的决策。但目前，对这些应用程序的负面影响和其他结果进行验证的方法并不精确，也不全面。
虽然机器学习（ML）系统能够对复杂的现象进行建模，但其是否能够按照人类的社会价值观进行学习和操作，仍值得关注。系统性偏见（如种族偏见），可以通过训练中使用的数据，机构政策以及基础实践（如何被委托、开发、部署和使用），在人工智能模型中比较常见。而统计性偏见、人类偏见普遍存在于工程和建模过程中，只有当正确验证模型性能的不确定性时，这些偏见才会显现。
可以发现，开发和运用人工智能的团队往往对技术的使用方式和人类的监督有不准确的预期，或应用结果不符合设计原意，也会导致人工智能偏见。这些偏见放大和强化了歧视，从而对个人和社会产生负面影响，并且其速度和规模远远超过了传统的歧视性做法（如种族歧视、性别歧视、年龄歧视或能力歧视）。
减轻人工智能偏见面临的挑战和建议
《标准》探索了克服人工智能偏见的措施和治理过程，描述了其过程中的三大挑战，包括数据集、测试和评估以及人为因素，并为解决这些问题提出建议。
数据集挑战
人工智能的设计和开发实践依赖于大规模的数据集来驱动ML过程。一方面，研究人员、开发人员和从业人员更关注数据集的可用性或可获得性，而不是最合适性。因此，这些过程中使用的数据可能不具有代表性。而这些数据却经常在训练ML应用中使用。另一方面，当对一个过程或现象的社会技术背景没有足够的了解或认识时，这些在ML应用程序中所使用的属性，也可能不适用于对不同社会群体或文化的分析。
建议：
开发和部署人工智能系统需要注意的关键问题：是否存在适合或适用于人工智能系统所开发和部署的各种应用、工作和任务的数据集？不仅ML系统的预测行为是由数据决定的，数据也在很大程度上决定了机器学习任务本身。所以，解决数据集的适用性问题需要注意三个因素：
统计因素：解决人工智能偏见的一个主要趋势是关注建模过程中使用的数据集的平衡统计代表性。使用统计现象分析可检测数据集中的偏见，有时有助于克服人工智能偏见。
社会技术因素：在ML应用中，使用数据集必须进行调整，要全面考虑其所处环境的全部社会技术因素。
人类和数据集的相互作用因素：在建立人工智能应用基础模型时，数据集中存在的系统性偏见是由人工智能设计和开发团队关于使用哪些数据集的决定和假设所造成。
TEVV（测试和评估、验证和核实）挑战TEVV（测试和评估、验证和核实）是减轻人工智能偏见所面临的另一个挑战。作为一种工程结构，TEVV旨在事后检测和修复问题，而并不等同于科学方法的全面应用。一方面，结构有效性在人工智能系统开发中尤为重要，另一方面，在许多人工智能项目中，结构化数据收集、最小化确认偏差的可靠实验设计技术等都在被淡化，这一变化也导致人工智能偏见的增长。
建议：
为了减轻认知和不确定性带来的风险，模型开发人员应该与部署它们的组织密切合作。团队应努力确保定期更新模型，并在更新的代表性数据集上测试和重新校准模型参数以满足业务目标，同时保持在预期的性能目标和可接受的偏差水平内。
人为因素挑战随着ML算法在准确性和精确性方面的发展，计算系统已经转变为由人类提供有限输入的自动决策。算法决策系统的发展和普及的同时，由于算法模型会产生和放大不公正结果，公众对人工智能的信任感也随之下降。嵌入在算法模型中的系统性偏见也将造成灾难性的伤害。在没有评估和管理这些风险的情况下，贸然部署人工智能模型和系统的组织不仅会伤害其用户，还会损害其声誉。
建议：
制定算法影响评估，提供一个高层次的结构，使组织能够确定每个算法的风险。
组织多方利益相关者参与：让各种利益相关者参与进来，利用他们的各种经验来应对核心挑战，即在人工智能系统将部署的特定环境中识别有害结果和环境变化。
保证多元化、公平与包容：使能够反映各种背景、观点和专业知识的不同个人群体发挥作用，这也有助于拓宽人工智能系统设计师和工程师的视野。
改进实践：采用生命周期方法确定一些关键点，在这些关键点上，完善的指导、担保和治理流程可以帮助多利益相关者协作整合流程，减少偏见。
优化人类与人工智能配置：利用人和机器智能来创建机器学习模型——“人在回路”（人们参与到一个良性循环中，在这个循环中他们训练、调整和测试特定的算法）的方法，考虑到广泛的社会技术因素，可以优化人类与人工智能的配置。
提高制度和程序透明度：人工智能系统需要更多的解释和可以很好地被解释，可以使用数据表和模型卡等工具。
让人类成为人工智能设计的中心：以人为中心的设计（HCD）可开发可靠、安全和值得信赖的人工智能系统，有助于提高用户有效使用产品的能力。
人工智能偏见的治理
人工智能偏见的治理过程几乎影响到管理过程的各个方面，不仅要关注技术工件（如人工智能系统），还要关注组织流程和文化能力，这些都直接影响到参与培训、部署和监测此类系统的群体。
《标准》指出，对于人工智能偏见治理可从八方面着手：
1、监测：人工智能系统一旦部署，其性能可能与预期不同，导致不同群体受到不同的待遇。控制该风险的关键措施是部署额外的系统来监测潜在的偏见问题。
2、追诉渠道：系统终端用户可以通过反馈渠道标记出不正确或潜在危害结果，并对错误或危害进行追诉。
3、政策和程序：政策和程序可以实现统一的开发和测试实践，这有助于确保人工智能系统结果的可重复性，相关风险可以得到统一的映射、测量和管理。
4、文本标准化：明确的文件可以帮助系统地执行政策和程序，使组织的偏见管理过程在每个阶段的实施和记录标准化。文件还可以作为重要信息的单一储存库，不仅支持对人工智能系统和相关业务流程的内部监督，还可以加强系统维护，并作为纠正或调试处理活动的宝贵资源。
5、问责制：问责制需要对人工智能系统本身的作用进行明确评估，其任务应嵌入到参与培训和部署人工智能系统的各个团队中，不能由一个人承担。
6、文化与实践：为了使治理有效，人工智能需要嵌入到一个组织的整个文化中来强调信仰、规范和价值观。风险管理文化和实践可以作为一种强大的技术，从社会技术系统的角度出发来识别整个人工智能生命周期中的偏见。
7、风险缓解、风险分类和激励结构：有效的人工智能偏见治理重点在于明确承认减轻风险，而不是避免风险。这有助于确保偏见风险在实践中得到迅速减轻并被明确分类，从而使组织能够将有限的资源集中在最重要的偏见风险上。调整各团队的薪酬和晋升激励机制，从而使风险缓解机制的参与者真正被激励使用健全的开发方法，进行严格测试和彻底审计。
8、信息共享：共享网络威胁信息有助于组织改善自身和其他组织的安全态势。确定内部机制，让团队分享有关人工智能的偏见事件或有害影响信息，有助于提升对人工智能风险的重视，并为团队提供信息以避免过去失败的设计。
如需获取《NIST Special Publication 1270-Towards a Standard for Identifying and Managing Bias in Artificial Intelligence》全文，请于“赛博研究院”公众号后台回复“报告3”，即可查阅！欢迎关注及转发~
「国内+国际」隐私保护人员权威认证培训
赛博研究院是国内个人信息保护专业人员权威认证品牌（CISP-PIP）的官方指定授权培训机构，BSI中国是国际隐私专业协会（IAPP）独家授权的中国区官方培训合作伙伴，双方就CISP-PIP与IAPP两大培训认证课程体系展开重磅合作，共同推进数据隐私专业人才培养，提升各类企业数据安全合规能力。
扫描下方二维码立即报名，关于CISP-PIP、IAPP认证培训更多信息，请联系专属顾问：
咨询电话：021-61432696
丁老师 15601773140
陈老师 17821177889
CYBER RESEARCH INSTITUTE