《2022联邦学习全球研究与应用趋势报告》:差分隐私、多方计算、同态加密相关研究热度逐年上涨
9月1日至3日,2022世界人工智能大会在上海世博中心举办。在3日下午举办的“数据要素流通技术前沿探索论坛”上,《2022 联邦学习全球研究与应用趋势报告》重磅发布。报告指出:在安全隐私方面,区块链、差分隐私、多方计算、恶意攻击、隐私泄露和同态加密的研究热度总体持续逐年上涨。
关注公众号并回复“20220905”获取完整报告
联邦学习技术研究现状
(1)论文发表量复合年增长率为 40%
基于AMiner系统,通过关键词组在标题和摘要中检索2016年至2021年论文数据。结果显示,研究时段内联邦学习相关论文共计4576篇,自2016年被提出以来,研究论文数量逐年增多,到2021年的复合年增长率为 40.78%,相关论文趋势如图所示。
(2)论文发布量以中美两国为引领
根据论文作者所在机构所属国家进行排序分析,发现近年来联邦学习论文发布量TOP10国家依次是中国、美国、英国、俄罗斯、德国、印度、澳大利亚、加拿大、日本和法国。相关论文量较突出的国家是中国(1245篇)和美国(1175篇),详细信息如图3所示。
(3)研究热点涵盖应用、系统和模型设计、安全隐私三个领域
总体来看,基于AMiner系统的论文热词分析,发现2016-2021年联邦学习领域的研究热点TOP10按热度递减依次包括:Internet of Things(物联网)、blockchain(区块链)、edge computing( 边 缘 计 算 )、 optimization ( 优 化 )、deep network(深度网络)、aggregation(聚合)、differential privacy(差分隐私)、healthcare(医疗保健)、Multiparty Computation(多方计算)、reinforcement learning(强化学习)等,如图4所示。可见,在研究时段内,联邦学习的主要研究热点是关于应用及相关算法模型。此外,dataheterogeneity(数据异质性)、communication efficiency ( 沟 通 效 率 ) 、 wireless communication(无线通信)的研究也较热,但没能进入热点 TOP10。
在对联邦学习的应用、系统和模型设计和安全隐私三个主题领域的研究趋势进行分析发现,近年联邦学习在物联网、边缘计算、医疗保健、数据库以及推荐方面的应用研究热度逐渐上升。
在系统和模型设计方面,从热度持续性看,聚合、优化、鲁棒性、激励机制和公平性的相关研究在研究时段内一直保持着不同程度的热度上扬。
在安全隐私方面,区块链、差分隐私、多方计算、恶意攻击、隐私泄露和同态加密的研究热度总体持续逐年上涨。
联邦学习行业应用现状
通过新闻事件分析挖掘和搜索系统NewsMiner数据库,从已公开的新闻数据发现,联邦学习技术的行业应用最早出现在2018年,当时被应用在金融、IT和通信领域,后来几年其应用探索逐渐扩展到智慧城市、教育、汽车等其他多个行业领域。
1.在金融业应用
联邦学习在金融业应用目前处于框架设计、合作探索、在几个业务场景中初步试点的阶段。推进联邦学习在金融业应用落地的参与主体主要是科技公司(百度、腾讯、京东等)、互联网金融机构(微众银行、蚂蚁金服等)、少数传统商业银行(江苏银行、浦发银行、建设银行等)等。
2.在医疗业应用
联邦学习在医疗业应用目前处于研究探索、项目试点的阶段,参与主体不仅有科技公司,而且有较多的国内外权威科研机构、大学院所、医疗机构。国际性科技期刊 Nature《自然》曾发表关于联邦学习在医疗领域应用的文章,展示出联邦学习技术医疗应用的强大潜力。新冠疫情以来,通过使用联邦学习和来自各地区各医疗机构的数据来开发模型的研究意愿和实践更加强烈。
3.在电信业应用
联邦学习的最初提出就是为了解决移动设备数据训练问题,可以看作是其在电信业的最早应用。从公开的新闻数据看,联邦学习在电信业应用探索从 2018 年开始至今,应用场景从早期的通信资源分配已扩展到近期的客户体验和精准营销、6G 和卫星网络等。其中的参与主体主要是大型通信运营商、软硬件制造商等。
联邦学习发展趋势
报告对联邦学习发展趋势进行了分析。在研究趋势方面,通过对AMiner数据库中联邦学习相关论文的分析,生成大数据智能的发展趋势河流图。对比上期热点结果,本期的联邦学习技术研究热度前十主题尽管仍然聚焦于安全与隐私技术方面,但在应用方面发生了一些变化,更加突出了物联网与移动设备方面的研究。
2021年研究热度前十的的研究主题依次分别是:
Data Privacy(数据隐私)
Deep learning(深度学习)
Differential Privacy(差分隐私)
Edge Computing(边缘计算)
Internet of Things(物联网)
Cloud Computing(云计算)
Mobile Device(移动设备)
Homomorphic Encryption(同态加密)
Optimization Problem(优化问题)
Communication Effiency(沟通效率)
技术成熟度指单项技术或技术系统在研发过程中所达到的一般性可用程度51。研究机构Gartner 发布的技术成熟度曲线(Hype Cycle)因模型较成熟,已被广泛用来评估新科技的可见度,目前已成为是科技产业界技术预测的风向标。基于Gartner近年发布的相关技术成熟度曲线,本报告发现,联邦学习(Federated Machine Learning)于2019年首次出现在Gartner 数据科学与机器学习技术成熟度曲线(Hype Cycle for Data Science and Machine Learning)之中,并且被视为“在分布环境下的训练机器学习算法的重要创新”[52]。这表明联邦学习技术应用趋势发展较快,自诞生后仅用了三年时间就吸引了投资者、企业家和消费者的关注,也吸引到 Gartner对该技术应用影响的研究。
此后两年,联邦学习相继出现在其他四个Gartner的技术成熟度曲线里面,分别是2020与 2021 年发布的数据科学与机器学习技术成熟度曲线、以及2021年的隐私技术成熟度曲线(Hype Cycle for Privacy)与公用事业行业 IT 技术成熟度曲线(Hype Cycle for Utility Industry IT),详细情况如表 17 所示。由表 17 可见,在这些技术成熟度曲线之中,联邦学习都是处于“创新触发期” (Innovation Trigger),效益评级均为“高”,都属于“新兴”技术,到达生产高峰期(the Plateau of Productivity)的时间都预计为 5~10 年,且市场渗透率(Market Penetration)都低于1%。
报告还指出,技术标准化建立与实施是联邦学习技术落地应用的重要依据。如今,联邦学习从技术维度上解决了人工智能发展过程中的安全问题。中国已经成为联邦学习技术的深度参与方,国内企业和科研机构积极参与联邦学习的技术研发和应用,以及标准制定。国际与国内联邦学习标准的相继出台有力促进了联邦学习生态的建立与发展。截至目前,联邦学习生态建设较成规模的有 FATE 开源社区与开放群岛开源社区。
未来,随着人工智能技术和应用的不断升级,联邦学习的技术研发和落地应用还将进一步扩大和深入。联邦学习未来市场与商业化的实际落地将出现更多的异构场景下的应用。
报告主要发现:
报告目录:
报告主要内容:
隐私计算头条周刊(8.28-9.3)
基于TensorFlow Encrypted (TFE)的隐私计算benchmark
SCI一区期刊专辑征稿 | 社会大数据隐私、安全与前沿计算主题
姚期智院士:数据、算法、算力为何是数字经济核心技术?
附下载 | 2022年隐私计算技术与行业应用报告合集(33份)
招标 | 近期隐私计算项目招标18(联通、不动产、股权市场、银联等)