新加坡AI治理测试框架和工具包：AI Verify

新加坡在“国家AI战略”（National AI Strategy，NAIS）中指出，其目标是“位于可扩展、有影响力的人工智能解决方案的发展和部署的最前沿”，巩固其作为“开发、测试、部署和扩展AI解决方案的全球中心”的地位。AI Verify是一个AI治理测试框架和软件工具包，是新加坡AI治理框架的重要组成部分。

AI Verify最小可行产品MVP

AI Verify最初是与来自不同行业和不同规模的公司协商开发的。这些公司包括AWS、DBS、谷歌、Meta、微软、新加坡航空、NCS/LTA、渣打银行、UCARE.AI和X0PA。2022年5月25日，新加坡信息通信媒体发展局（IMDA）和个人数据保护委员会（PDPC）推出了AI Verify的最小可行产品（MVP），并进行国际试点。

AI Verify 的 MVP 版本的四个目标是：

第一，IMDA希望组织能够使用 AI Verify 确定其人工智能系统的性能基准，并向消费者和员工等利益相关者展示这些基准，从而帮助组织增强信任。

第二，鉴于它是根据各种人工智能监管和治理框架以及共同的值得信赖的人工智能原则开发的，AI Verify 旨在帮助组织找到各种全球人工智能治理框架和法规的共性。IMDA 还继续与监管机构和标准组织合作，将 AI Verify 的测试框架映射到已建立的框架上。这些努力的目的是让企业能够在多个市场运营和提供人工智能产品和服务，同时让新加坡成为人工智能治理和监管测试的中心。

第三，随着组织试用 AI 验证并使用其测试框架，IMDA 将能够整理行业实践、基准和指标。考虑到新加坡正在参与人工智能全球合作伙伴关系和 ISO/IEC JTC1/SC 42 等全球人工智能治理平台，这些可以推动参与人工智能治理国际标准制定，为制定人工智能治理国际标准贡献宝贵的观点。

第四，IMDA 希望 AI Verify 能够让新加坡创建一个本地 AI 测试社区，由 AI 开发者和系统所有者（正在寻求测试 AI 系统）、技术提供商（正在开发 AI 治理实施和测试解决方案）、咨询服务提供商（专门从事测试和认证支持）和研究人员（正在开发测试技术、基准和实践）组成。

AI verify的测试框架和工具包

AI Verify包括两个部分。第一个部分是一个测试框架，引用了十一项国际公认的AI伦理和治理原则。第二个部分是一个工具包，组织机构使用它来执行技术测试，并记录来自测试框架的流程检查。

在新加坡国家AI战略的指引下，AI Verify根据全球各司法辖区（如欧盟、OECD、新加坡等）的11个主要AI治理原则制定了其测试框架，以帮助组织通过标准化的测试验证其AI系统的性能是否符合这些原则。这11个治理原则包括“透明度”、“可解释性”、“可重复性/可复制性”、“安全性”、“鲁棒性”、“公平性”、“数据治理”、“问责制”、“人类代理和监督”、“包容性增长”、“社会和环境福祉”。

AI verify 测试框架如下表所示：

支柱	原则	评估方法
人工智能和人工智能系统使用的透明度： 这一支柱是向个人披露人工智能在技术系统中的使用情况，以便他们能够了解并就是否使用人工智能系统做出明智的选择。	透明度： 向受人工智能系统影响的个人提供适当的信息。	通过文件证据（例如公司政策和沟通材料）的流程检查进行评估，为可能受人工智能系统影响的个人提供适当的信息。   这些信息包括（根据避免损害知识产权、安全性和系统完整性的需要）：系统中人工智能的使用、其预期用途、限制和风险评估。
了解人工智能模型如何做出决策： 这一支柱是让个人了解影响人工智能模型输出的因素，同时确保类似条件下输出的一致性和准确性。	可解释性： 理解和解释人工智能系统的决策和输出。	通过技术测试和过程检查相结合的方式进行评估。   技术测试是为了确定影响人工智能模型输出的因素。   流程检查包括验证模型选择考虑因素的书面证据，例如人工智能模型的基本原理、风险评估和权衡。
可重复性/再现性： 通过内部或第三方复制人工智能系统，确保人工智能输出的一致性。	通过文件证据的流程检查进行评估，包括人工智能模型来源、数据来源和版本控制工具使用的证据。
确保人工智能系统的安全性和弹性： 该支柱旨在帮助个人了解人工智能系统不会造成伤害，是可靠的，并且即使遇到意外输入也会按照其预期目的执行。	安全： 通过进行影响/风险评估来确保安全，并确保已知风险已被识别/减轻。	通过对重要性评估和风险评估的文件证据进行流程检查进行评估，包括如何识别和减轻人工智能系统的已知风险。
安全： 确保人工智能系统的网络安全。	目前不适用
鲁棒性： 确保人工智能系统在意外输入的情况下仍能正常运行。	通过技术测试和过程检查相结合的方式进行评估。   技术测试试图评估模型即使在提供意外输入的情况下是否仍按预期运行。   流程检查包括验证文件证据、审查可能影响人工智能模型性能的因素，包括对抗性攻击。
确保公平： 这一支柱是评估用于训练人工智能模型的数据是否具有足够的代表性，并进行测试以确保人工智能系统不会无意中产生歧视。	公平性： 避免无意识的偏差，确保即使某个属性发生改变，AI系统也会做出相同的决定，并确保用于训练模型的数据具有代表性。	通过技术测试和流程检查相结合来评估无意歧视的缓解情况。   技术测试通过根据地面事实检查模型输出，检查 AI 模型是否不会根据系统所有者指定的受保护或敏感属性产生有偏差的结果。   流程检查包括验证书面证据，证明存在选择与人工智能系统预期应用的预期结果相一致的公平指标的策略；敏感属性的定义符合立法和企业价值观。
数据治理： 在训练人工智能模型时采用良好的数据治理实践，确保数据的来源和质量。	目前不适用
确保对人工智能系统进行适当的（人类）管理和监督： 该支柱是评估人工智能系统开发和/或部署中的人类责任和控制，以及人工智能系统是否旨在为整个社会带来有益的目的。	问责制： 确保人工智能系统开发过程中适当的管理监督。	通过文件证据的流程检查进行评估，包括用于适当管理和监督人工智能系统开发和部署的明确内部治理机制的证据。
人类代理和监督： 确保人工智能系统的设计方式不会削弱人类的决策能力。	通过对文件证据进行流程检查来评估人工智能系统的设计方式不会降低人类做出决策或控制系统的能力。这包括定义人类在人工智能系统监督和控制中的角色，例如人在环、人在环或人在环外。
包容性增长、社会和环境福祉： 确保为人类和地球带来有益成果。	目前不适用

AI Verify目前可以对大多数表格和图像数据集的常见监督学习分类和回归模型进行技术测试。AI Verify不能测试生成性AI/大型语言模型（Generative AI/LLMs）。AI Verify不设定道德标准，也不保证经过测试的AI系统将完全安全或没有风险或偏见。

AI Verify的测试工具包包含广泛使用的开源测试库。这些工具包括用于解释性的SHAP（Shapley Additive ExPlanations）、用于鲁棒性的Adversarial Robustness Toolkit，以及用于公平性的AIF360和Fairlearn。AI Verify的用户可以在其内部环境中部署工具包，用户将通过用户界面指导进行测试过程，并最终生成一份摘要报告，帮助系统开发者和所有者解释测试结果。

AI Verify基金会

由于AI测试技术仍处于起步阶段，新加坡政府认为有必要汇集全球最优秀的专业知识来推进这一领域。因此，IMDA在2023年6月7日宣布成立了AI Verify基金会，并于同日将AI Verify开源，以利用全球开源社区的集体力量和贡献，开发AI Verify测试工具，以负责任地使用AI。

AI Verify基金会将提升AI测试能力和保障，以满足全球公司和监管机构的需求：

• 培育一个社区，促进对AI测试框架、代码库、标准和最佳实践的使用和发展；
• 创建一个中立的平台，促进对AI测试和治理的开放式合作和思想交流；
• 培养一支AI倡导者网络，通过教育、展览和营销推动对AI测试的广泛采用。

AI Verify基金会有七家主要成员，即Aicadium、Google、IBM、IMDA、微软、Red Hat和Salesforce，他们将设定AI Verify的战略方向和发展路线图。该基金会还有60多家普通成员。

图：AI Verify基金会的部分成员

What's Next？

AI Verify取得成功，还需要在全球范围内得到更广泛的认可和采用。首先，可访问性至关重要，使用AI Verify的AI驱动组织需要能够以极低或零成本访问它。其次，说服更多的组织认识到AI Verify的价值，需要进一步证明AI Verify在技术上和程序上是可靠的，并可以有效地应用于更多（和更新）种类和规模的AI模型和数据集，且不会侵犯对专有AI模型和数据集的商业秘密。第三，AI Verify必须与国际监管框架保持相关性和一致性，确保能够继续帮助组织解决并在重要的新兴AI监管框架内进行互操作，例如欧盟的《人工智能法》、加拿大的AI和数据法案、美国的NIST AI风险管理框架等等。

参考资料：

https://aiverifyfoundation.sg/what-is-ai-verify/

https://fpf.org/blog/ai-verify-singapores-ai-governance-testing-initiative-explained/

https://github.com/IMDA-BTG/aiverify

01

前瞻研究

02

中心动态

03

数据信任与治理

“数据信任与治理”由下一代互联网国家工程中心运营。放眼全球数据治理前沿理论与实践进展，探索可信数据治理的中国模式，促进数据要素有序流通，释放数字经济红利。

TDG focuses on the cutting-edge theory and practice of global data governance, explores the Chinese model of trusted data governance, promotes global data flow, and fulfills the potential of the digital economy.