论文分享｜公平联邦学习及其设计

论文名称：公平联邦学习及其设计

论文来源：计算机学报

论文作者：暨南大学可信人工智能教育部工程研究中心和桂林电子科技大学广西可信软件重点实验室的古天龙教授、常亮教授与青年学者李龙博士

论文链接：http://cjc.ict.ac.cn/online/onlinepaper/gtl-202396145619.pdf

1

前言

联邦学习是由多个客户端协作开展模型训练的一种分布式机器学习解决方案.

在联邦学习架构下,公平性被赋予了更加丰富的内涵:一方面,联邦学习中不同参与者对模型训练的贡献可能会有很大不同,能够公平反映每个参与者贡献的奖惩激励机制是联邦学习生态可持续发展的关键;

另一方面,无论发送给各个参与方的全局模型是被直接用于结果预测还是用于优化参与方的个性化模型,各个参与方所使用的模型在最终的预测性能或精准度上应该具有公平性.

具有某一个或多个方面公平性的联邦学习称为公平联邦学习.通过系统梳理和全面剖析近年来的研究工作,对联邦学习的公平性概念、定义及度量进行了阐释;

从公平联邦学习生命周期的不同阶段出发,分别对与公平联邦学习设计相关的公平客户端选择、公平模型优化、公平贡献评估、公平激励机制等进行了综述;

从可信人工智能及可信联邦学习的角度,对联邦学习公平性与隐私性、鲁棒性的综合设计进行了讨论;立足于区块链与联邦学习的不同耦合方式,即完全耦合、柔性耦合和松散耦合,对基于区块链的联邦学习框架结构进行了分类阐述,进一步从框架结构、公平性、鲁棒性及隐私保护功能等方面对相关研究工作进行了述评;

最后,从公平性定义及度量、公平联邦学习方法、鲁棒公平联邦学习及符合伦理联邦学习等四个方面,给出了公平联邦学习及其设计所面临的主要问题、挑战及研究热点.

2

公平联邦学习

传统机器学习的公平性增强,或者公平机器学习设计,包括预处理、中间处理和后处理等三类方法.

基于此,联邦学习的公平性增强,或者公平联邦学习设计,也可以采取这三种方式.已有的公平联邦学习设计大都集中于中间处理方法.

从公平联邦学习的生命周期角度,大致可分划为:客户端选择、模型优化、贡献评价、激励机制等方法.

3

本文的重要概念

隐私：隐私和非歧视 (公 平 )是相关但不同的概念,二者都有助于遵守普适社会价值观来公平对待他人.

然而,隐私通常被视为保护信息不被泄露,非歧视则被认为是禁止基于已知受保护属性信息(如,性别、民族)的偏见行为.隐私和非歧视之间可能存在正向或负向的影响.

鲁棒性：对于样本微小的变化,模型的预测不会产生巨 2006 计 算 机 学 报 2023年 大变化,从而保证预测结果的稳定性,这样的模型称为鲁棒(性)模型,或者具有鲁棒性.投毒攻击、后门攻击、拜占庭攻击、搭便车攻击等是 FL鲁棒性的 主要威胁,其目的在于降低或破坏FL模型预测的准确性.公平性和鲁棒性是 FL 应用部署期望兼备的性能.

区块链联邦学习：区块链与联邦学习的结合产生了新的联邦学习 范 式:区块链 联邦学习 (Blockchain Federated Learning,BCFL),BCFL解决了传统 FL面临的一些问题.

首先,去中心化可以在 FL中部署的区块链得以实现,这意味着中央聚合器可以由点对点区块链系统来代替,全局模型的聚合工作可以由区块链节点来完成,从而克服了集中式服务器的单点故障所带来的整个 FL系统的不可靠性.

此外,区块链还可以通过交易验证为 FL 提供验证机制,从而实现在全局模型聚合之前删除不合格甚至 恶意的本地模型更新[138].此外,区块链可以有效地实施 FL 客户端的奖励分配,以鼓励客户端诚实地积极参与模型训练.

4

本文总结

随着可信人工智能、可信联邦学习、公平机器学 习等概念的不断提出,联邦学习的公平性逐渐引起了学术界和产业界的关注,并诞生了一系列研究成果.

本文从联邦学习的公平性概念、公平联邦学习设计、联邦学习公平性与隐私性及鲁棒性的同步增强、区块链联邦学习的公平性等角度出发,对已有研究工作进行了分类梳理,系统地分析了当前的研究进展及存在的主要问题,并进一步从公平性定义及度量、公平联邦学习方法、鲁棒公平联邦学习、符合伦理联邦学习等角度,对未来的研究工作进行了展望。

公平联邦学习及其设计存在大量的值得探讨和尚待解决的问题，亟待开展进一步的深入研究。

本文来源：计算机学报

分享仅供学习参考，若有不当，请联系我们处理。

END
热文推荐