隐私资源：如何在差分隐私联邦学习中合理分配

作者：罗易凡

（图片来源于网络）

研究背景

近年来，数据驱动的移动应用得到了飞速的发展，但这些海量数据通常包含着大量用户隐私信息，这将带来了严重的隐私泄漏问题。跨设备联邦学习系统通过将数据存储和模型训练本地化，可以有效的提升隐私的保护。但是由于上传的模型参数可能包含敏感信息，这导致传统的联邦学习系统仍存在隐私泄漏的风险。目前最有效的解决方案是采用差分隐私增强的联邦学习（Differentially Private Federated Learning）系统：通过对本地模型参数进行差分隐私处理来达到隐私保护。这种做法可以有效的保护隐私，但在面对连续或多联邦学习训练任务时，该系统会出现严重的性能下降。因此，在差分隐私联邦学习系统下，如何合理的分配有限的隐私预算资源来尽可能的完成更多的联邦学习训练任务成为当前研究的重点。

研究方法

为了解决这个问题，本文提出了一种基于隐私资源调度的差分隐私联邦学习平台，如图1所示。该平台考虑了第三方开发者对于联邦学习训练任务的不断需求以及本地训练设备对于隐私保护的考虑，在保证隐私预算的同时，通过合理规划本地设备的隐私资源来尽可能多的完成联邦学习训练任务。具体来说，该平台实现了以下两大技术：

1. “无尽”的隐私预算分配：通过引入时间块隐私组合定理来考虑时间块粒度上的隐私损失，而不是整个数据流，保障每一个时间块都有隐私资源可以分配来保障可以服务不断到达的联邦学习训练任务。
2. 细颗粒度的隐私预算调度：设计了一种分配和回收非可再生隐私资源（如图2所示），以服务更多联邦学习任务。具体来说，当新联邦学习任务到达时，平台首先考量现有隐私预算以及当前任务的预算需求，分配既定的预算给当前任务。当任务结束后，多余的预算将会回收到预算池中供其他任务使用。

图1. 基于隐私资源调度的差分隐私联邦学习平台

图2. 细颗粒度的隐私预算调度

研究结果

本文中的最主要结论在于通过实验仿真展示其设计的差分隐私联邦学习平台对于现有的平台，提升了一倍以上的任务完成率，并且降低了至少50%的服务出错率。

具体来说，本文对比现有的主流规划算法：先到先服务（FCFS）、服务预算要求最低的（SJF）、隐私块为主导的公平分配机制（DPF）。得到的仿真结果如图3所示。

图3. 任务完成数量以及服务出错率的实验仿真对比

从上图可以观察到：

1. 在不同数量的联邦学习任务下，本文提出的算法对比其他主流算法都有着显著的提升。

2. 综合来看，本文提出的算法提升了2.1倍的任务完成数量，并且降低了55.2%的服务出错率。

参考文献

[1] Yuan, Jinliang, et al. "Privacy as a Resource in Differentially Private Federated Learning." In Proceedings of IEEE INFOCOM, 2023.

写在最后

我们的文章可以转载了呢~欢迎转载与转发呦

想了解更多前沿科技与资讯？

点击上方入口关注我们！

欢迎点击右上方分享到朋友圈

香港中文大学（深圳）

网络通信与经济实验室

微信号 : ncel_cuhk