第四章|构建全方位人工智能管理体系《人工智能治理与可持续发展实践白皮书》

《人工智能治理与可持续发展实践白皮书》

阿里巴巴集团联合中国信通院编写了《人工智能治理与可持续发展实践白皮书》，于2022世界人工智能大会“数字时代的技术责任论坛”上，正式发布！全面总结了阿里巴巴在人工智能治理与可持续发展领域的实践，重点针对当前人工智能应用中的热点问题，从数据、技术、管理及多元协同等方面，系统性介绍了我们的实践思路和方法，同时辅以若干专题进行阐释，期待为社会各界提供有益参考。

白皮书全文4.5万余字，现分章节陆续分享。

往期章节回顾请点击👇：

本文为第四章《构建全方位的人工智能管理体系》

企业是人工智能技术、产品或服务的研发和使用的核心主体，也是人工智能治理落地实践中最重要的主体。企业落实人工智能治理与可持续发展的要求，需要从治理理念、治理组织、治理能力等方面入手，构建全方位的人工智能管理体系。人工智能管理体系框架图如下所示：

4.1

构建全方位人工智能管理体系

人工智能与传统技术的风险治理存在明显差异。就技术发展速度而言，传统领域的技术发展速度比较平缓，可能十年，甚至更长时间才有新一代技术出现；而且新技术的应用、扩散也需要较长的时间。相比之下，人工智能技术的发展速度非常快，几乎每年都更新换代；得益于发达的互联网，新技术的扩散速度也很快，往往几个月内就在业界普及，并触达海量用户。

就治理的成本与时效性而言，对于传统领域技术，参与风险治理的主体有足够的时间对成本、收益和风险做考察与思考，再反复酝酿治理的具体手段。然而，对于以深度学习为主要形式的人工智能，社会各界尚不能完全认识其本质原理，也就无法准确计算其成本、收益与风险。

企业需要秉持可持续发展的人工智能治理理念，兼顾风险治理与创新发展相平衡。首先，企业要做到合规，在法律法规的范围内开展经营活动；其次，企业需要在促进技术创新的领域开展有益探索，在合乎科技伦理的范围内鼓励新技术新应用的尝试。

4.2

健全治理制度:建立合规机制与规范行为

我国针对人工智能治理、算法治理出台了相应的伦理原则、法律法规等文件，对于企业规范开展人工智能相关业务具有重要的指导意义。当前，企业内开发、应用人工智能等算法十分普遍，其中牵涉大量的人员和业务，对内部管理提出了极大的挑战。不断完善人工智能算法安全治理制度，不仅方便与监管要求对标，将治理落到实处，同时也能够助力企业提升管理效率、降低管理成本，保障业务健康发展。

具体而言，企业需要规范算法研发应用的具体行为、加强算法研发应用的风险管控、明确算法合规管理机制、落实算法安全主体责任、建立算法应用干预机制、定义算法安全事件和响应机制等。人工智能算法安全管理制度应包括的主要内容如下：

1、明确算法设计、研发及应用的基本原则：

树立算法正确导向、算法公开透明、避免算法滥用、保护用户合法权益等基本原则 。

2、落实算法备案要求

明确算法备案的主体责任、公示要求、协同机制、填报事项等，积极落实算法备案要求。

3、算法上线安全规范

建立算法上线前测试及灰度过程；重要算法上线时，人工智能风险治理团队进行安全评估；业务部门应建立算法上线监控机制。

4、算法应用干预机制

针对生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等5大类算法，结合企业业务特点，对算法结果的干预责任、操作人员资质、干预原则、合规动作等做出具体要求。

5、算法安全事件及响应

根据算法安全事件的性质、严重程度、社会影响力等因素，对算法安全事件进行分级，不同级别的事件建立适合组织状况的响应机制。

6、违规处罚

对于违反制度规定的员工,按照具体情形处罚

4.3

完善治理组织：明确责任归属与岗位分工

企业中人工智能风险治理的运营管理是一个涉及面广，参与者众多的复杂的系统性工作。企业内部应当设置纵向包括领导小组、管理小组、专职风险治理团队在内的三层组织，横向多部门联动的工作方式，建立责任清晰、分工明确的风险治理体系，目标是确保人工智能安全可控、标准规范、全面高效，形成行业最佳实践。企业人工智能内部组织安排如下图所示：

1. 构建担纲顶层设计的领导小组

企业主要负责人必须主管人工智能风险治理工作，以避免实践中可能遇到的问题，典型如影响力不足、权限不够，与业务部门冲突时难以协调，无法推动落地等。由于人工智能风险治理需要在法律和伦理的约束下展开，在技术标准、行业公约的指引下进行，在各业务的技术实践中落地，这涉及到法律、伦理、技术、业务的全面融合，因此相关领域的主要负责人都需要参与并担负领导责任。

组织顶层设计是设立领导小组，成员包含企业风险管理负责人、企业法务负责人、企业技术负责人、企业科技伦理治理委员会负责人，以及安全技术的负责人。领导小组应主要负责下述工作：

1、把控全局、制定人工智能风险治理的规划；

2、针对高等级风险事件进行决策；

3、布局伦理道德和前沿技术的相关研究；

4、推进人工智能技术助力社会可持续性发展。

2. 构建横向部门联动的管理小组

领导小组之下设立管理小组，由人工智能风险治理团队负责人、数据安全负责人、相关法务、从事人工智能伦理治理研究的专业团队，以及各算法负责人等组成。管理小组主要负责下述工作：

1、研究人工智能风险治理的实践案例，探寻最佳管理方案；

2、制定企业内人工智能研发和应用全生命周期的安全管理规定；

3、组织资源，通过体系化、产品化的方式促进治理措施在应用场景落实；

4、研发安全检测和日常运营的产品，并对人工智能安全事件开展监控、调查和分析工作；

5、定期审核产品或措施的有效性，确保制度的实施。

3. 构建专职日常运营的治理团队

人工智能风险治理团队在管理小组的领导下，负责日常运营与管理，主要工作包括：

1、落实算法备案要求，建立企业内算法风险大图和算法安全评估制度；

2、建设人工智能风险治理产品与工具：牵头研发安全风险监控、安全能力评测、风险事件预警等产品，提供合规解决方案；

3、建立算法干预机制,充分保障用户合法权益；

4、前沿技术、伦理研究：开展对外合作，探索人工智能的前沿技术，展开人工智能伦理研究；

5、解读相关政策法律：与法务部门合作，对法律法规及时进行解读，识别业务的合规风险，给出风险治理指引。

6、合规教育培训：搭建合规教育培训的渠道，积累业务中算法风险治理的最佳实践，联系法律法规组织培训与考试。

4.4

丰富治理能力：结合风险防范与前沿探索

当前，我国出台一系列法律法规、政策规范，要求企业全面构建人工智能治理能力。国家新一代人工智能治理专业委员会于2019年、2021年相继发布《新一代人工智能治理原则——发展负责任的人工智能》《新一代人工智能伦理规范》，旨在将伦理道德融入人工智能全生命周期。

2021年12月，中央全面深化改革委员会审议通过了《关于加强科技伦理治理的指导意见》，在顶层设计层面加强科技伦理治理。《个人信息保护法》《网络安全法》《数据安全法》等法律要求企业开展活动时落实数据安全、保护个人信息的相关要求。

2021年10月，国家互联网信息办公室等九部委联合发布《关于加强互联网信息服务算法综合治理的指导意见》，明确提出强化企业主体责任。企业应构建完善的人工智能管理能力，切实防范人工智能发展过程中的各项风险。落实上述要求，企业需要从全生命周期的风险识别及防范能力、前沿技术探索能力、伦理研究能力等三个层次全面构建完备的人工智能治理能力。企业人工智能治理能力构建如下图所示：

1. 完备风险识别防范能力

企业应当将治理理念落实到工程技术实践中，在人工智能系统全生命周期构建完备风险识别及防范能力。一是以算法备案为契机，建立算法风险大图和算法安全评估制度。当前，我国构建了以双新评估、算法备案、算法检查为主的算法监管制度架构。一方面，企业需要以算法监管为切入点，积极进行算法备案，深入摸排算法应用的基本情况，全局把握风险。

另一方面，企业需要积极开展算法安全评估，审核算法的具体内容，对应用场景的功能做价值导向判断，对算法的原理做合理性分析，对可能存在的算法滥用、自身缺陷做风险评估防护，把风险拦截在萌芽状态，保障用户的正当权益。二是落实合规要求，建立风险检测能力。

企业在算法应用的全生命周期，应积极落实各项合规要求。如建立算法设计与训练的安全审查，算法测试与上线的稳健性监控，以及日常运行的风险感知及记录存档。三是形成算法干预机制，对结果进行纠偏。由于人工智能现阶段存在因为数据使用不当、自身缺陷等原因造成自动化决策结果有偏，需要算法服务提供者对其进行有力的干预，充分保障用户权益。

例如，对于推荐、检索类算法，需要加入内容打散等干预功能，并优化规则的透明度和可解释性；对于决策调度类算法，应当通过完善算法运行机制保障劳动者的合法权益。

2. 提升前沿技术探索能力

治理人工智能的风险，需要从技术底层入手理解其本质和内涵，并根据研究结果寻找有效的治理方案。在预测、分散、降低风险发生的基础上，为人工智能的使用与发展开辟足够的空间，从而实现人工智能的价值最大化。

底层原理的分析，以及对风险的预测、规避等都属于人工智能的前沿技术，企业应加大投入进行深入研究。

3. 重视科技伦理研究能力

从世界范围来看，人工智能技术和应用发达的国家和地区，都高度重视其伦理问题。科技伦理的适度约束，将会促使人工智能新成果获取公众支持和业界认可；过于严苛的约束，则有可能制约技术发展速度。

企业作为落实人工智能治理的重要主体，需要加强人工智能伦理研究，在技术创新和伦理之间寻找到平衡点，实践“高科技+好科技”的文化理念，对新生事物加以约束防范风险，为利用人工智能促进社会可持续发展提供保障。

🌟下期预告第四章：《如何构建行之有效的算法透明》

我们将持续更新，敬请期待😚～关注【AAIG】公众号，回复「 白皮书 」一键下载全文👇

 直播预告 

往期精彩推荐点击标题查看文章● 专题|加强儿童类商品内容治理,守护未成年人健康成长《人工智能治理与可持续发展实践白皮书》




更多人工智能治理和可持续发展好文
点击下方名片关注和星标【阿里巴巴人工智能治理与可持续发展研究中心】

👇AAIG课代表，获取最新动态就找她

 关注公众号发现更多干货❤️

有启发点在看喔👇