查看原文
其他

论文分享 | 基于LWE(Learning with Error)的高效联邦学习安全聚合

0

摘要

本文介绍Timothy Stevens等2022年发表在USENIX Security Symposium中的文章“Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors”。


联邦学习利用边缘计算从用户数据中训练模型,此过程中用户的隐私易泄露仍然是一大主要挑战。使用差分隐私技术可在一定程度保护用户数据隐私,然而早期大部分技术需要可信第三方的参与,否则会因增加太多噪声而导致生成的模型可用性较低。最近的安全聚合技术使用多方安全计算(MPC)技术消除了需要第三方的需求,但随着用户规模的扩大,方案的计算效率不够理想。本文基于Learning With Errors(LWE)技术实现了新型高效且满足差分隐私的安全聚合协议。实验结果表明与现存具有差分隐私的联邦学习安全聚合方案相比,本文安全聚合协议在不损失模型精度的前提下,性能优于当前大部分技术。


论文名称:Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors

论文链接:https://www.usenix.org/conference/usenixsecurity22/presentation/stevens


1

方法

将安全聚合与差分隐私相结合,可以确保联邦学习中端到端的隐私。如图1所示,安全聚合允许系统中心合并所有用户的更新,而不会泄露任何单一用户的更新。基于差分隐私的方法为每个用户的更新添加噪声,以确保训练过的模型不会暴露用户数据的信息。

图1 安全聚合与差分隐私

为减少使用MPC求和时向量的维度,本文所用的LWE技术如图2所示,敌手已知 计算出满足等式的 是困难的。

图2  LWE困难问题

如图2中的LWE实例所示,通常的维度高于的维度。但现有大部分方案中均使用作为客户端数据的掩码,并且在抵消掩码时也需要完成对的聚合。本文在保证安全性的同时实现通信开销降低的原因是:方案使用作为客户端隐私数据的掩码的前提下,只需完成的聚合就可消除掩码。与现有大部分方案相比客户端实际需要交互的数据维度有所降低,从而有效降低了通信开销。此外,本文方案安全性正是基于LWE困难问题

图3 本文技术核心

本文方案使用的流程如图4所示,具体包含如下三个步骤:

第一步:

每个Client在本地生成LWE困难问题 ,并将得到的 与其持有的秘密值 (通常为梯度)进行添加掩码的操作得到 ,然后将 发送给Data Curator。

第二步:

Client通过MPC协议,得到所有 的和 并发送给Data Curator。

第三步:

Data Curator可以将收到的所有进行 聚合得到 ,由于 是系统中的公开参数,因此可计算得 ,最终可计算得到所有Client秘密持有的 与秘密值 之和


图4 系统流程


因此,本文方案最终得到的值中包含了每个Client生成LWE困难问题中的error之和,该值满足差分隐私,如图5所示。

图5 聚合噪声


2

具体算法

本文提出的Masking Aggregation算法如图6所示。

上述算法中的 算法,如图7所示。


3

实验结果

最后,本文分别使用MNIST和CIFAR-10数据集对方案的通信开销和模型训练准确性进行了大量实验,实验结果如图8所示。可见本文方案在不损失训练模型准确性的前提下,通信开销有了明显的降低。


对联邦学习安全聚合方法感兴趣的小伙伴,可以点击横向联邦学习下隐私保护安全聚合:问题,方法,与展望进一步了解!


本文参考:Crypto Lab

分享仅供学习参考,若有不当,请联系我们处理。


END

往期推荐


1.笔记分享 | 组队学习密码学(2)——密码学在联邦学习中的应用
2.密码学中的模乘算法——巴雷特模乘(Barrett Modular Multiplication)3.pFedPT:将prompt学习融入进联邦学习4.密码学中的模乘算法——蒙哥马利模乘(Montgomery Modular Multiplication)


继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存