论文分享 | 基于差分隐私的多方对偶学习

隐私计算研习社 2024-01-09

作者: 高原，公茂果等

论文链接: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9686623

0

摘要

该论文针对对偶学习场景，基于传统的面向用户的差分隐私算法，设计了面向特征的差分隐私技术，在理论上保证了其他参与者无法精准推导本地数据特征和分布，保护了对偶训练和推理过程中的数据隐私性。

同时，在第三方服务器端引入同态加密算法汇合梯度信息，保证了多方协同中的计算安全性。该方法仅需对现有的多方学习结构进行最小的修改，并且各方都可以分别构建灵活而强大的模型，其精度不低于非分布式自学习方法。

该算法是一种多场景通用框架，可以无损应用于图像、网络和数值型数据。例如，进行污染和遮挡图像的修复和补全，在社交网络中进行用户推荐和节点分类，或者打通金融、医疗等数据敏感型企业之间的隐私协同，实现互利互通。

图1 本文架构图

1

多方对偶学习多方对偶学习允许多方协作训练机器学习模型，而无需共享各自的私人数据。在此框架中，各方根据自己的数据训练本地模型，然后仅与其他各方共享模型参数，各方使用这些共享参数更新其本地模型并重复该过程直到趋于一致。

这种方法可确保各方数据的隐私得到保护，同时仍允许他们从有关各方的集体的知识中得到自己需要的信息。

2

主要贡献

本文基于传统的面向用户的差分隐私算法，针对对偶学习场景，设计了一种面向特征的差分隐私技术，本文的主要贡献如下：

● 引入了一种用于缺失数据补全和标签预测的新型多方双向学习 (MPDL) 框架，使参与者之间的样本空间和特征空间重合。

● 引入面向功能的差分隐私，为其部署仿射转换层作为预处理步骤，从而在不泄露隐私的情况下进行双重训练和测试。

● 为多方学习问题提供解决方案，并表明 MPDL 是应对多方环境中重叠对不足的挑战的自然选择。

● 提供一种利用参与者标签数据的新方法。

3

本文概述

本文第二章主要介绍了相关背景知识，包括多方学习，对偶学习和隐私保护技术，第三章定义了多方学习问题和框架细节，第四章利用实验的方法验证了方案的正确性和高效性，最后本文总结了现有挑战和未来想要进行的具体工作。

本文第三节详细介绍了MPDL中的扰动以及对差分隐私的灵敏度和误差界限的理论分析，作者在图像数据集上进行实验，以研究使用各种中心模型（例如MLP和CNN）的MPDL的有效性和可扩展性。

他们还使用广泛使用的银行和医疗保健现实世界数据集来评估其算法的性能。此外，他们还验证了该方法在保护图表隐私方面的有效性。

4

总结与展望

该论文的作者概述了未来工作的几个方向：

1. 他们计划通过研究循环神经网络和图形神经网络作为核心模型的可行性，使MPDL框架可扩展以用于更多场景，例如文本处理，从而提高框架的可扩展性；

2. 他们还计划探索新的方案，以降低模型的复杂性和去除对第三方的依赖，并保证方案的效率；

3. 此外，他们的目标是通过使用更多的非重叠样本来减少采样误差。

本文参考：IEEE TRANSACTIONS ON CYBERNETICS

分享仅供学习参考，若有不当，请联系我们处理。

END

继续滑动看下一个

隐私计算研习社