全球首个人工智能治理测试框架和工具集“A.I. Verify”上线！新加坡欲抢占AI国际标准

【学术plus2021新春大礼包】|2019学术大礼包丨加入学术plus丨2018学术大礼包丨2017不可以错过的重磅报告们

2022年5月，新加坡发布了全球首个人工智能监管测试框架和工具集——A.I. Verify。发布该框架和工具集旨在融合测试和过程检查，促进企业和相关利益者之间透明性，从而培养公众对人工智能技术的信任，同时支持人工智能技术的广泛使用。

新加坡发布全球首个人工智能治理测试框架和工具集

编译：学术plus高级观察员   TAO

本文主要内容及关键词1.背景：自动化决策及其应用日渐普及，企业监管模式与公众信任至关重要；新加坡在AI可信方面推出一系列措施与监管框架模式

2.A.I. Verify监管测试框架和工具集：新加坡官方发布，融合国际多个伦理准则与框架，形式为最小可行性产品/MVP，旨在构建信任/促进监管互操作性/开发AI国际标准
①11个伦理准则：数据治理，人类能动性与监管等
②5大支柱：确保人工智能系统的安全和弹性等
③技术测试和检查评估
④检查评估

3.简评：新加坡在人工智能监管领域处于全球领先地位，A.I. Verify对于各行业进行人工智能监管测试具有借鉴意义，在此基础上，各行业应制定个性化的监管与测试方案。内容主要整理自外文网站相关资料仅供学习参考，欢迎交流指正！文章观点不代表本机构立场*****
阅读英文原文/完整报告请点击文末：阅读原文

1.背景

随着人工智能技术的广泛应用，越来越多的产品和服务使用人工智能技术来进行自动化决策。越来越多的企业应用人工智能到其产品和服务中，培养公众对人工智能技术的信任对人工智能技术的应用非常重要。公众需要确保人工智能系统是公平的、可解释的、安全的，部署人工智能系统的企业需要确保其系统是透明和可审计的。 

新加坡在推动人工智能系统可信方面，采取了一系列措施。

• 2019年1月，新加坡推出亚洲首个人工智能监管模式框架（草案），为私人企业提供详细的指导原则，梳理清使用人工智能科技时可如何应对一些关键的道德和监管问题。该框架主要在企业使用人工智能过程的四个方面拟出道德指导原则及措施，分别为：内部监管、人工智能抉择的风险管理、营运管理，以及消费者关系管理。
• 2020年1月，由新加坡个人数据保护委员会(PDPC)联合其他组织共同发布人工智能监管模式框架（第二版）。
• 2022年5月，新加坡发布了全球首个人工智能监管测试框架和工具集——A.I.Verify。目标是培养公众对人工智能技术的信任，同时支持人工智能技术的广泛使用。

2.监管测试

监管测试框架和工具集

新加坡发布人工智能监管测试框架和工具集的目的是将测试和过程检查融合促进企业和相关利益者之间透明性。人工智能系统的开发者和所有者可以通过标准化测试来验证一系列原则的性能。 

A.I. Verify 是由新加坡资讯通信媒体发展局（Infocomm Media Development Authority，IMDA）和个人数据保护委员会（PDPC，Personal Data Protection Commission）共同开发，可以提供安全、弹性、可审计性和监管领域的透明性。IMDA和PDPC开发的人工智能监管测试框架和工具集使得行业证明其负责任人工智能的部署。目前，该框架和工具集是以最小可行性产品（MVP）的形式存在，通过技术测试和过程检查的形式向系统开发人员和所有者提供。 

通过MVP，新加坡希望实现以下目标：

• 使得提供人工智能产品和服务的企业与利益相关者构建信任。
• 促进人工智能监管框架的互操作性。MVP解决了可信人工智能的通用原则，可以帮助企业连接不同的人工智能监管框架和监管。
• 开发人工智能国际标准。新加坡参与ISO/IECJTC1/SC 42人工智能标准组。通过MVP的行业应用，新加坡希望与人工智能系统开发人员、所有者协作来构建帮助开发人工智能监管国际标准的基准。

在开发人工智能监管测试框架和工具集过程中，IMDA融入了国际普遍接受的人工智能伦理准则、指南和框架，包括欧盟和OECD。最终形成了11个关键人工智能伦理准则和5大支柱。

2.1 11个伦理准则

11个伦理准则包括：透明性、可解释性、可复现性、安全性、鲁棒性、公平性、数据治理、可审计性、人类能动性与监管、包容增长、社会和环境福利。

• 透明性：对受到人工智能系统影响的个人提供适当的信息。
• 可解释性：理解和解释人工智能系统在做什么。
• 可复现性：第三方或人工智能系统所有者可以复现人工智能系统的结果。
• 安全性：人工智能系统的安全（网络安全）风险可以被识别和缓解。
• 鲁棒性：人工智能系统对异常的输入数据仍然能够正常运转。
• 公平性：即使在部分属性发生变化后人工智能系统仍然能够做出相同的决策。用于训练模型的数据具有代表性。
• 数据治理：在训练人工智能模型实采用好的数据治理实践。
• 可审计性：对人工智能系统开发采用适当的管理监管。
• 人类能动性和监管：人工智能系统的设计应遵循不会降低人类做出决策的能力。
• 包容增长、社会和环境福利：人工智能系统应对人类和地球产生有益的结果。

2.2 5大支柱

5大支柱描述了系统所有者和开发人员如何构建客户与消费者之间的信任：

• 人工智能和人工智能系统使用的透明性：除了披露人工智能在系统中使用的情况外，个人应该能够做出是否使用人工智能系统的决策。
• 理解人工智能模型如何做出决策：允许个人知晓影响人工智能模型输出的因素。
• 确保人工智能系统的安全和弹性：个人知晓人工智能系统不会带来伤害，是可靠的，在遇到非法输入时能够按照原意图执行。
• 确保公平性：个人知晓用于人工智能模型训练的数据是足够有代表性的，人工智能系统不存在非故意歧视的情况。
• 确保人工智能系统的适当管理和监管：个人应知晓在人工智能系统开发和部署后存在人工审计和控制，人工智能系统应该对人类和社会有益。

2.3 技术测试和检查评估

通过技术测试和过程检查评估的准则：

• 可解释性：技术测试旨在识别影响人工智能模型输出的因素。过程检查包括验证模型设计的相关文档，包括发现评估、性能、准确率之间的平衡等。
• 鲁棒性：技术测试尝试评估模型在输入异常输入时的执行结果。过程检查包括验证可能影响人工智能模型性能的影响因素的文档记录，包括对抗攻击。
• 公平性：技术测试检查人工智能模型对人工智能系统所有者指定的受保护或敏感属性是否有偏见。过程检查主要验证公平性评价标准的选择策略，敏感属性的定义是否与法律法规和社会价值保持一致。 

2.4 检查评估

通过过程检查评估的准则：

• 透明性：通过过程检查受人工智能系统影响的个人提供的信息，包括安全、系统完整性、人工智能在系统中的使用、不足、风险评估。
• 可复现性：检查人工智能模型溯源、数据溯源和版本控制工具的使用。
• 安全性：检查风险评估情况，包括人工智能系统中已经识别和修复的风险。
• 可审计性：检查人工智能系统开发和部署中的内部管理和管理监管情况。
• 人类能动性和监管：检查确保人工智能系统的设计是以一种不会减少人类决策或控制系统的方式进行的。

3.评析

自愿性质的自评估只是一个开始。随着人工智能技术的不断成熟和广泛使用，行业需要以一种客观和可验证的方式向利益相关者证明负责任的人工智能的实现。如何证明人工智能系统的安全、可靠、可信的是一个急需解决的问题。新加坡在人工智能监管领域处于全球领先地位，先后发布了两版人工智能监管模式框架，本次发布的人工智能监管测试框架和工具集对于解决人工智能应用的可信性测试具有非常重要的作用，对于各行业进行人工智能监管测试具有借鉴意义。当前，A.I. Verify的应用也是自愿性质的，一定程度上提高公众对人工智能产品的信任度和人工智能产品的接受度，推动人工智能技术应用的推广。

当前人工智能应用广泛，产品种类多样，需要针对不同行业、不同应用和不同产品形态制定针对性的监管测试方案，并开发对应的测试工具集和数据集。针对自动驾驶等重要领域和应用，需采取和执行更加严格的、强制性的监管测试，尽可能减少人工智能技术产品对人类生活带来负面影响，使人工智能技术更好地造福人类。

（全文完）

参考链接：

https://www.imda.gov.sg/news-and-events/Media-Room/Media-Releases/2022/Singapore-launches-worlds-first-AI-testing-framework-and-toolkit-to-promote-transparency-Invites-companies-to-pilot-and-contribute-to-international-standards-development

https://file.go.gov.sg/aiverify.pdf   

    声明：版权归原作者所有。文章观点不代表本机构立场。图片均来自于网络。

• 《中国电子科学研究院学报》欢迎各位专家、学者赐稿！
• 投稿链接 http://kjpl.cbpt.cnki.net
  
• 邮箱：[e-mail]