2022中国互联网大会丨聚焦数据可信流通,隐私计算开源协同计划发布四项新成果
点击蓝字 关注我们
11月17日,2022(第二十一届)中国互联网大会数据要素流通论坛在深圳召开。论坛以“加快数据流通,激活数据价值”为主题,通过主旨演讲、成果发布以及圆桌对话等互动环节,20余位来自学术界、国家单位、行研机构、产业界的专家学者、行业精英,聚焦数据可信流通技术、企业数据治理策略、深圳数据要素建设成果等主题进行展开深入探讨。
本次论坛由工业和信息化部电子第五研究所、深圳数据交易所、湾区数字科技联盟、清华大学互联网产业研究院、开放群岛(Open Islands)开源社区联合举办。工业和信息化部信息技术发展司副司长王威伟、工业和信息化部电子第五研究所副所长王蕴辉、深圳市委网络安全和信息化委员会办公室副主任张忠亮分别作开场致辞,香港科技大学计算机与工程系讲座教授和前系主任、中国人工智能学会(CAAI)荣誉副理事长杨强以“数据要素的隐私保护计算和可信联邦学习”为题进行了分享。
会上,FATE开源社区、开放群岛开源社区、百度、京东科技、腾讯云等五方机构共同发起的“隐私计算开源协同计划”,创新发布了四大项目成果,并与现场20余位专家学者、行业菁英、企业嘉宾共同探讨隐私计算开源以及互联互通的数据要素流生态建设之道。
开源协同,共建数据要素流通生态
近年来,在数字化、数智化趋势浪潮推动下,人类社会搭建起一个与实体经济融通发展的数字世界。当前数据已成为继土地、劳动力、资本、技术以外的第五大要素,是国家基础性战略资源。习近平总书记强调,充分发挥海量数据和丰富业务场景优势为加快培育要素市场指明了方向,提供了根本遵循。
隐私计算作为一项可以保障数据流通过程中“原始数据不出域、数据可用不可见”的技术,成为数据要素可信流通的关键技术模式。但在落地过程中,普遍存在不同机构合作往往部署不同的隐私计算平台,导致系统建设重复与平台间难以完成信息交互。因此,隐私计算领域互联互通壁垒正在成为数据要素流通正在面临的新挑战。
开源隐私计算技术框架不仅能打破“计算孤岛”,让更多从业者参与验证和研发、接受更多维度的检验,降低企业隐私计算技术研发成本。为了进一步推动数据要素流通生态建设,打破数据孤岛,平台孤岛,乃至开源平台孤岛,在今年世界人工智能大会上,FATE开源社区、开放群岛开源社区、百度、京东科技、腾讯云等五家隐私计算开源探索者,共同携手发起“隐私计算开源协同计划”,旨在推动隐私计算互联互通迈出关键性的一步,为整个生态建设作出良好的示范。
四大创新成果,奠基隐私计算开源互通
经过一个多月的项目发展与探索,“隐私计算开源协同计划”在本次中国互联网大会上,集中发布了顶层联邦学习互通框架HIGHFLIP,京东万象隐私增强深度学习,FATE信创版和联邦生命周期管理器FedLCM等4项创新成果,从顶层框架、深度学习系统、信创支持、应用管理四个方面,推进隐私计算互联互通标准化、规模化的应用和落地。
其中,HIGHFLIP是由百度发起的顶层联邦学习互通框架,通过将顶层接口标准化,使用标准化作业和标准化模型让异构的平台可以无差别使用。基于HIGHFLIP互通,隐私计算使用者无需对现有系统进行结构性调整,一个适配器加一个插件即可接入。并可在一个DAG作业中,调用多个异构联邦学习平台的算子实现协同效应,具有弱侵入式、易于适配、闭源友好、灵活自由等优势。“一次适配,多次使用”的HIGHFLIP,让不同隐私计算平台协力完成同一项计算任务,打破“计算孤岛”,实现数据要素的多对多“网状”流通,安全可控地释放数据要素价值。
在开源协同计划中,百度提出的HIGHFLIP已经与FATE、京东搭建互联互通,充分发挥了该计划的协同效应。未来,开源协同计划期待携手更多平台,共同推进互联互通标准化、规模化的应用和落地。
京东万象是京东科技面向隐私计算场景打造的一款弹性可扩展的联邦深度学习系统。系统支持任意场景联邦模型定制及加密协议适配,为客户提供高可用、可配置、高性能的一站式隐私计算解决方案。并且,系统支持多加密协议、高效的通信协议、多分布式协议和灵活的开发模式。其中,多加密协议可在半同态加密、全同态加密、多方安全计算中灵活切换。通信协议通过深度定制gRPC,目前支持张量传输、压缩与打包、智能路由调度等功能。多分布式协议包括海量训练数据的流式读取,AI框架内置及第三方分布式训练策略的适配。灵活的开发模式,一方面指用户可以进行全流程端到端的联邦建模,另一方面指可采用预置模型或自定义模型来描述业务问题。正是通过五层架构与四大特色的加持,保证前述目标的达成。
FATE信创版是由FATE开源社区基于国产化的芯片、操作系统、编译器等软硬件基础设施与开源成熟的基础引擎,构建的以分布式任务调度框架、高性能模型在线推理引擎、多方通信框架为主体的高可用、高性能、易运维系统架构。
FATE信创版坚持自主可控、开源开放原则,具备自主可控、信创化、安全可证、互联互通、支持大规模生产、开放生态等特性,并重点支持国产化软硬件的适配,在安全可证、系统架构、场景应用等方面达到大规模生产级,同时可与其他隐私计算框架互联互通。
据介绍,目前,FATE信创版已完成v0.1版本的开发,基于鲲鹏处理器和openEuler操作系统稳定可用,使用搭配的Sailing平台构建生产级部署架构。
FedLCM(联邦平台生命周期管理器)是由VMware发起并贡献到FATE开源社区的开源项目。项目支持以图形化的方式,为多个参与方组成的联邦学习系统,提供针对各个联邦全生命周期的完整管理功能。
通过FedLCM,各参与方可在图形化引导下,完成纳管不同环境的 Kubernetes集群,安装各类服务端点,创建FATE和OpenFL等不同框架的联邦,完成各方自动化的互联配置,在联邦中增加修改、移除参与方、接受参与方的注册等操作。同时,FedLCM提供一定的监控机制,以更好的帮助使用者了解部署形成的联邦学习系统和联邦状态。
此外,为促进各个合作方的协调,提供联邦任务全周期的支持,FedLCM可在多个参与方中,部署图形化或低代码的联邦任务项目管理站点系统。参与方可通过本地站点系统进行项目的创建与合作,完成数据关联和管理,并进一步通过图形化、拖拽式的任务创建界面发起联邦学习任务。同时,各个站点系统在互联互通机制下,各方皆可接受项目和任务邀请,监控任务状态并管理模型发起预测任务等。
构建健康的数据要素流通生态,是隐私计算技术发展和规模化应用的关键。“隐私计算开源协同计划”通过系列创新成果,丰富了隐私计算领域的开源互通工具的同时,也进一步强化了隐私计算互联互通的业内共识,将有效促进多元的隐私计算产业与数据要素流通生态的发展。
发布环节最后,“隐私计算开源协同计划”宣布了开放群岛开源社区法律合规组、深圳市北鹏前沿科技法律研究院正式加入隐私计算开源协同计划项目,为该计划提供专业的开源合规法律支持与前沿规则协同研究。
现已启动成员单位招募,扫码了解详情
+
关于开放群岛
开放群岛(Open Islands)开源社区是由深圳数据交易所联合50家国家智库、高校、大型企业共同发起成立的中国首个致力于构建可信数据要素流通体系的开源社区,围绕技术开源协同、行业标准制定、数据要素场景落地等目标,开展隐私计算、大数据、区块链、人工智能等前沿技术探索和落地。
开放群岛(Open Islands)将充分利用深圳自主创新的先进机制和产业优势,在开放群岛完善的社区治理规范、多样丰富的应用实践、以及政府、企业、高校、科研机构等多方资源参与的支持下,能够推动数据要素流通关键基础技术自主可控,为加快建设全国数据交易统一大市场贡献力量。