pFedPT：将prompt学习融入进联邦学习

个性化联邦学习(PFL)允许个性化模型通过利用来自所有分布式客户端的知识来提高泛化能力和鲁棒性。现有的PFL算法以模型为中心的方式处理个性化，这些都没有考虑分布式客户端的数据特征。本文提出pFedPT，在每轮pFedPT培训中，每个客户都会生成一个与本地数据分布相关的本地个性化提示。然后，在由原始数据和视觉提示组成的输入上训练本地模型，以学习包含在提示中的分布信息。此外，视觉提示可以作为正交方法添加，以在客户端上为现有的FL方法实现个性化。

论文名称：Visual Prompt Based Personalized Federated Learning

论文链接：https://arxiv.org/abs/2303.08678

1

Introduction

PFL当今面临两大挑战：一个是如何从每个局部异构数据集上训练的模型中提取有用的全局特征；另一个是如何将提取的全局特征与个性化特征相结合，产生更好的特定于客户的模型。

当前很多方法只是简单地提取共同的知识，并在模型层面实现个性化，而忽略了数据层面的潜力，这可能会进一步加强聚合模型和本地数据集之间的个性化适应。

视觉提示（visual prompt）可以有效地帮助大规模预训练模型在不改变任何预训练模型参数的情况下，通过简单训练任务相关提示实现快速任务转移。本文将不同的客户视为不同的任务，并采用客户特定的提示来微调每个本地客户的聚合模型，这有助于将提取的全局特征与个性化特征相结合。

本文提出pFedPT，通过使用视觉提示来隐式地为聚集模型在客户机上提供数据分布的提示。具体来说，每个客户端模型都集成了一个可学习的提示生成器，其主干参与分类的聚合。提示生成器是一组可在本地学习的参数，可以根据其本地数据分布为其附属客户端生成个性化的视觉提示。在pFedPT的本地训练期间，生成的个性化视觉提示被添加到图像中。后两幅图说明，生成的提示增加了类间变化(InterVar )，同时减少了类内变化(Intra-Var)。

贡献：

1. 第一个提出使用客户特定提示来帮助聚合模型通过利用客户的个性化特征实现更好的局部适应和泛化的工作。

2. 提出了一种新的PFL框架，称为pFedPT，用于联合图像分类任务，该任务使用来自每个客户端的视觉提示来微调聚合模型，并用关于本地数据分布的信息注入聚合本地模型。

3. 说明了pFedPT可以与几个现有的FL和解耦PFL方法集成，以提高它们的性能。

2

Methodology

设存在个客户端，写为，客户端拥有数据集，则FL的目标为：

针对pFL的优化问题可以写为：

pFedPT的核心观点是训练可学习的连续可视提示，这些提示表示客户端的数据分布，并使用它们在这些客户端上本地微调主干。每个客户端上的提示可以作为帮助骨干完成训练任务的先验知识。

在执行图像分类任务时，pFedPT首先将本地提示生成器生成的提示添加到每幅图像中，然后将其传递到主干中进行分类预测。

1. 当整个主干被冻结时，用本地数据更新每个客户机上的提示生成器的参数。

2. 训练几个时期后，提示发生器将被冻结，主干将开始更新固定数量的时期。

3. 所有客户端的训练过程完成时，它们将训练好的主干发送到服务器，随后由服务器进行聚合操作。

4. 聚合主干将被广播到每个客户端，继续训练。

提示生成器基于本地数据分布为每个客户端生成提示，并可被视为对输入图像的主干预测结果进行微调的指南。因为提示是特定于客户的，所以可以实现个性化的结果。

提示器用参数表示，将提示添加到输入图像以形成提示图像，有几种方法可以根据模板和大小来设计视觉提示：随机位置的像素块、固定位置的像素块和填充。

设提示大小为，实际参数面积为，最终填充量为。

我们的目标是为每个客户端和骨干学习个性化提示。共享主干负责提取每个客户端的公共知识，并识别各个客户端的视觉提示所携带的信息。特定于客户的提示负责增加主干的引导，以实现微调，从而适应客户的数据分布。本文在客户端数据级别实现了主干的个性化预测。

3

Optimization for pFedPT

pFedPT首先使用固定的聚合模型训练提示生成器，该模型使正确标签的可能性最大化，即求解： 

在本地更新提示生成器后，我们冻结提示生成器的参数，然后对主干进行几个纪元的训练。即训练：

本地训练的主干可以学习对应于客户端上的提示的客户端数据分布，并且提示知识经由服务器处的模型聚集在客户端之间传递。

与经典个性化联邦学习FedRep的区别：

4

Evaluation

性能展示：

视觉提示对其他算法的影响：

加入提示后的图像效果：

不同的提示信息填充方式影响：

添加了提示之后的图像的数据分布之间的关系：

每个客户端上提示随训练过程得到的差异性：

对于个性化联邦学习感兴趣的同学，也可以阅读研习社其他文章：

作者简介：齐天宇，北京理工大学自动化学院智能信息与控制研究所研究生。主要研究兴趣包括机器学习、联邦学习、隐私保护。知乎：一朵小脑花。

END

往期推荐

1.笔记分享 | 组队学习密码学（2）——密码学在联邦学习中的应用
2.笔记分享 | 冯登国院士MPC讲座（3）——基于混淆电路方法的安全多方计算协议3.会议信息 | 2023年6月截稿的密码学与信息安全会议整理4.密码学中的模乘算法——蒙哥马利模乘（Montgomery Modular Multiplication）