精彩回顾 | 一文纵览可信联邦学习前沿论文与最新进展
杨强教授简要介绍了可信联邦学习的前沿研究成果:No-free lunch定理,为隐私计算安全与效能的平衡提供定量分析的方法;FedCG,利用生成对抗网络和分割学习,既保护隐私又保障性能;FedBCD,提高VFL纵向联邦学习的通讯、训练效率;FedIPR,基于模型和数据集水印实现联邦学习模型所属权验证。
杨强教授还展望了联邦学习的热点研究方向,包括个性化联邦学习(解决Non-IID挑战);模型流通(模型的定价、交易、审计挑战)等。
而后以下四篇论文作者从不同角度详细介绍了可信联邦学习的前沿成果。
论文一
论文信息
作者:Xiaojin Zhang, Hanlin Gu, Lixin Fan, Kai Chen, Qiang Yang
标题:No Free Lunch Theorem for Security and Utility in Federated Learning
论文全文链接:
https://arxiv.org/abs/2203.05816
详细解读文章链接:
可信联邦学习最新论文:从信息论角度,提出隐私与模型性能的No-free lunch定理
香港科技大学博士后研究员张晓今介绍了《联邦学习中隐私与模型性能没有免费午餐定理》。该论文首次从信息论的角度,理论量化了联邦学习的模型效用与隐私保护二者之间的制约关系,有助于研究人员设计实用且安全的联邦学习系统。No-free lunch定理的通用框架还可以指导合适的保护参数的选取,以满足多个维度的个性化要求。 的量化关系还可以作为设计自适应保护机制的基础。
论文二
论文信息
作者:Di Chai,Leye Wang,Junxue Zhang,Liu Yang,Shuowei Cai,Kai Chen,Qiang Yang
标题:Practical Lossless Federated Singular Vector Decomposition over Billion-Scale Data
论文全文链接:
https://dl.acm.org/doi/abs/10.1145/3534678.3539402
详细解读文章链接:
香港科技大学计算机学院在读博士生柴迪介绍了《FedSVD:10 亿规模数据上的无损联邦奇异值分解》。该论文介绍了一种基于随机掩码的纵向联邦线性回归思路。FedSVD方案的效率比同态加密提高四个数量级,误差比差分隐私方案小10个数量级。FedSVD能够支持三个具有百亿规模数据的应用,包括主成分分析、线性回归、潜在语义分析,可在多方生物信息数据分析、多方金融数据建模等场景落地实践。
论文三
论文信息
作者:Yuezhou Wu, Yan Kang, Jiahuan Luo, Yuanqin He, Lixin Fan, Rong Pan, Qiang Yang
标题:FedCG: Leverage Conditional GAN for Protecting Privacy and Maintaining Competitive Performance in Federated Learning
论文全文链接:
https://www.ijcai.org/proceedings/2022/324
详细解读文章链接:
FedCG:利用条件生成对抗网络在联邦学习中保护隐私并保持模型性能
微众银行人工智能部门联邦学习研究团队负责人康焱介绍了《FedCG: 联邦生成对抗网络保护隐私保障性能》。该论文在横向联邦学习中将生成对抗网络与分割学习相结合,利用知识蒸馏,在保护数据隐私的同时保持有竞争力的模型性能。FedCG将每个客户端的本地网络分解为一个私有特征提取器和一个公共分类器,并将特征提取器保持在本地以保护隐私。FedCG与服务器共享客户端的生成器,以聚合共享知识,从而提高客户端本地分类网络的性能。论文四
论文信息
作者:Bowen Li, Lixin Fan, Hanlin Gu, Jie Li, Qiang Yang
标题:FedIPR: Ownership Verification for Federated Deep Neural Network Models
论文全文链接:
https://arxiv.org/abs/2109.13236v3
详细解读文章链接:
微众银行人工智能部门研究员古瀚林介绍了《FedIPR:联邦学习模型所属权验证》。该论文提出了首个联邦学习模型版权验证框架,创新性地解决了模型所有权验证在联邦学习中的多水印冲突问题和性能问题。模型版权保护问题在FedIPR 框架在不牺牲模型可用性前提下,提供了可靠且鲁棒的模型反盗版机制,保护了模型拥有者的合法权利和商业利益。
联邦学习领域专家们的研究正在逐渐为可信联邦学习打下坚实的基础。于此同时,仍存在如何实现隐私保护、模型性能、计算效率三者的平衡,如何提高决策的可解释性,如何保证模型可监管、可审计等热点问题亟待解决。我们期待在产学研各界的共同努力下,可信联邦学习从理论完美走向实用完美,为数字经济的发展和数据要素流通提供良好的解决方案。
点击下方获取直播完整视频
END
【github直达】:阅读原文或复制链接https://github.com/FederatedAI/FATE即可,点击star,方便下次使用。