论文详解丨工业人工智能的高效和隐私增强的联邦学习

今天分享的论文是在2019年发表于IEEE会议上的论文："Efficient and Privacy-enhanced Federated Learning for Industrial Artificial Intelligence" .

1

背景

在AI模型训练中，联邦学习可以通过跨多个工业节点的分布式培训来缓解隐私和可扩展性问题，但是，共享参数很容易受到攻击者的侵犯而引发隐私威胁。在目前的解决办法中，由Shokri and Shmatikov等人提出的第一个保护隐私的分布式学习系统，参与者选择性地共享一小部分梯度，以确保训练数据的隐私。然而，他们提出的方法已经暴露出对于被动攻击者是不安全的。此外，通过安全多方计算提出了一种隐私保护协议来支持联邦学习中的安全聚合以及另一种将门限秘密共享和同态加密相结合的方案，不幸的是，这两种方法都需要大量的通信负担。

因此，针对上述问题，迫切需要设计一种非交互式、保护隐私的联邦学习方案，即使对手与多个实体勾结，也能防止局部梯度和共享参数的隐私泄露。

2

主要内容

该论文着重探讨了在工业环境下应用联邦学习的挑战和解决方案。联邦学习是一种分布式学习方法，允许多个参与方共同训练一个模型，而不需要将数据集中在一个中央服务器上。

该论文提出了一种高效的联邦学习算法，以满足工业环境中的需求。它针对联邦学习中的通信、计算和隐私保护等方面进行了优化。作者介绍了一种新的通信协议，用于减少参与方之间的通信开销，并提高训练效率。此外，他们还引入了差分隐私技术，以保护参与方的数据隐私。

该算法分为五个阶段：

1）初始化

初始化安全参数与训练实体的数量，将生成每个实体以及云服务器加密的公钥私钥。

2）训练网络

将数据集划分为多个子集，分给每个实体使用自己的私有数据集学习神经网络，该私有数据集是完整数据集Dt的子集。在训练之后，每个实体计算整个数据集上的损失并计算各自的梯度。

3）梯度加密

为了有效增强加密方案，每个实体通过乘以比例因子10^5截断剩余的小数部分来将其局部梯度进行缩放。实体可以使用模块化算法进行计算将梯度转换为整数，该算法更高效，适合加密操作。它不可避免地导致相当有限的精度损失，不过这种对密码方案整体准确性的影响几乎可以忽略。

4）聚合解密

由云服务器接收各个实体传来的密文进行聚合与解密，聚合所有密文，接着计算误差项的总和，利用映射函数输出向量，结合向量与密文根据解密算法解密出所需的全局梯度。

在这过程中，文章通过执行模块化缩减来定期降低密文的数量，将密文从一个模数转换为另一个模数，从而产生更小的噪声范围。

5）更新网络

每个实体接收全局梯度，更新其局部参数，并更新其本地网络模型。训练过程进行多次迭代，每轮由各个实体组成，执行本地计算，聚合他们的更新，并将全局梯度发送回所有实体以进行下一轮。

3

安全分析

在这篇论文中，作者通过设计并实现了一个高效且具有隐私保护功能的联邦学习系统，旨在解决工业人工智能领域中的隐私和数据安全问题。为了确保该系统的安全性，作者进行了以下安全分析：

1）研究人员采用了加密技术来保护训练数据确保训练数据在传输和处理过程中的隐私安全。在BGV加密方案中，明文数据会被加密成密文进行传输和处理。而密文的不可区分性是指对于任意两个明文，它们相应的密文在统计上是不可区分的。文中提出A-LWE 问题使用基于格的密码方案生成密钥。目标是确保攻击者无法将密钥与随机字符串区分开来。此属性对于许多加密协议的安全性至关重要，并通过相关定理证明了只有解决lattice problem才能求解出A-LWE问题，即对手只有在最坏的情况下能够解决格问题时才能将 A-LWE 密文与随机值区分开来。

2）文章引入了聚合器遗忘安全性。这是指在联邦学习中，聚合器（aggregator）能够对实体（participants）的模型更新进行聚合，同时无法获得关于任何特定实体的敏感信息。这种安全性保证了实体的隐私不会泄露给聚合器。假设对手A勾结了除了µ和ν的所有实体，通过聚合，对手A可以得知密钥以及µ和ν发送密文的总和，然而，对聚合器（云服务器）来说，根据分析1，在没有解决lattice problem的情况下，无法区分两个不同的密文，因此证明文章提出的协议结构具有聚合器遗忘安全性。

3）为了进一步提高隐私保护，差分隐私被应用于实体的模型更新，以提供个体隐私保护。通过对模型更新添加噪声，可以防止聚合器根据更新推断出特定实体的信息。同态加密用于保护数据的隐私性。参与方在本地对其数据进行加密处理，然后将加密后的数据传输给聚合器。聚合器在执行模型聚合时无法直接访问解密的数据，从而保证了数据的隐私性。

4

性能分析

1）首先，将文章所提出的PEFL协议与现在流行的联邦学习协议相比，PSA和PPM可以抵抗攻击者跟多个实体的勾结，但是无法保证后量子安全性，PDL让所有的参与者共享相同的解密密钥，在真实环境是极其危险的，下图体现了PEFL相比其他协议的优越性。

2）文章列举了将两种噪声级别添加到模型训练中，并检验模型训练的准确性以及损失函数收敛速度快慢的图像。Fig3图结果指出，使用差分隐私添加噪声训练模型的平均准确性较高，并且具有小噪声扰动的神经网络的精度更稳定，损失函数也越容易收敛。Fig4中的a图指出随着超出或违反隐私保证的可能性（δ）的增多，在PEFL协议训练下模型的准确性并没有多大的变化，也就是说随着隐私泄露可能性的增大，本文提出的协议能很好地保障模型训练的准确性；Fig4中的b图指出随着实体数量的增加，基本对模型训练的准确性没有影响。

3）本篇文章只考虑密文计算的运行时间。图Fig5表明，安全参数越大，计算成本更高。每个实体的计算成本随着产生梯度的数量线性增长。但是，当参与者人数增加时，此成本保持不变。这说明，本文提出的协议在实现非交互性的同时，本身对模型训练的影响不会随着实体的增多而导致计算成本显著增加。

5

总结

本文介绍了一种用于工业人工智能的隐私增强型联邦学习（PEFL）的新方法。PEFL的主要目标是实现高效和安全的联邦学习，同时解决隐私问题。与现有解决方案相比，PEFL通过防止局部梯度和共享参数的隐私泄漏来提供增强的隐私保护。

此外，PEFL即使在对手与多个诚实实体勾结的情况下也能确保高度的隐私。作者证明PEFL提供了后量子安全性，这意味着即使针对使用量子计算机的攻击，它仍然保持安全。

他们还证明，考虑到潜在共谋攻击，PEFL保证了聚合遗忘的安全性。为了评估PEFL的性能，在机器学习的标准基准MNIST数据集上进行了实验。实验证明，该方案达到了实际的准确性并保证了客观的计算成本。

本文参考:  NSIS实验室

分享仅供学习参考，若有不当，请联系我们处理。

END

热文推荐