IEEE TPDS 2023 | 基于有损通信的联邦学习模型传输策略

On Model Transmission Strategies in Federated Learning with Lossy Communications

Xiaoxin Su¹,  Yipeng Zhou²,  Laizhong Cui¹*,  Jiangchuan Liu³

¹Shenzhen University

²Macquarie University

³Simon Fraser University

导读

论文On Model Transmission Strategies in Federated Learning with Lossy Communications发表在计算机领域顶级期刊IEEE TPDS上，由深圳大学计算机与软件学院大数据技术与应用研究所崔来中教授团队和澳大利亚麦考瑞大学、加拿大西蒙弗雷泽大学课题组合作完成。
该工作全面研究了联邦学习在有损互联网上的最佳传输策略，系统地整合了模型压缩、前向误差校正和重传，以实现有损通信的联邦学习，并推导出了所设计的传输策略在非凸损失函数下的收敛速率以及最佳传输方式。

引言

在联邦学习中，分散的客户端通过互联网与参数服务器交换模型更新，从而协同完成模型训练。其分布式特性能很好地利用客户端的本地数据并保护数据隐私，但其训练过程也会产生大量通信开销。现有的模型更新传输研究主要集中在通信信道的带宽限制上，然而，互联网的无线传输是非常不可靠，如果仅仅使用传输控制协议（TCP）来保证数据传输的可靠性，在丢包率高的情况下网络利用率会很低。

为解决高丢包率情况下网络资源利用率低的问题，本文提出了一种有损通信下联邦学习的传输策略。具体来说，该方法使用用户数据报协议（UDP）来实现客户端与参数服务器之间的数据传输，以实现在不可靠网络下对带宽资源的高效利用，为了避免丢失的数据对模型的收敛造成影响，本文系统性地结合了  压缩、前向误差校正和自动重传技术设计了FedLC算法来控制传输的流量和数据包的丢失率。我们分析了FedLC在训练非凸损失函数的模型时的收敛率，并基于该收敛结果设计了对应的优化问题，来调整数据的压缩率、添加的冗余度和重传次数，从而实现最优的传输策略。该算法可以在给定的训练时间内大大提高训练的模型的精度，减少传输的流量。

技术贡献

本工作主要贡献如下：

• 设计了FedLC算法，在有损通信条件下基于UDP传输模型更新。FedLC结合了前向误差校正和自动重传，以减轻数据包丢失的影响；
• 利用吉尔伯特模型来分析丢包率，从而分析了在模型压缩损失和通信损失情况下FedLC的收敛速率；
• 基于FedLC的收敛率而设计了一个优化问题，在压缩率、冗余度和重传次数方面优化模型的性能。

方法介绍

该方法的具体流程如图1所示。客户端训练得到的模型更新数据先使用  进行压缩，将选中的  个参数划分到数据包中进行传输，添加冗余度  的数据包对部分丢失的数据进行恢复，并通过参数服务器与客户端之间的同步，对丢失的数据进行  次重传。

图1. 方法流程

首先，使用一阶马尔科夫链对数据包对丢失率进行建模，分析数据传输过程中丢失的数据包的数量；然后，基于建立的模型，探讨冗余度  和重传次数  如何影响最终接收到的数据的完整性；并且，为了节约消耗的带宽资源，传输前对模型更新数据进行压缩，只传输最具影响力的  个参数；最后，基于该传输的方法来分析训练的模型的收敛性，从而设计对应的优化问题对上述的三个参数进行调整，以实现最优的传输策略。

由于设计的优化问题是一个非凸的问题，因此无法使用现有的方式进行有效地求解。为了求解参数的最优值以加快模型的收敛，将该优化问题进行的限制条件放松，定义不结合防丢包策略，即  =0和  =1的情况。此时的优化问题限制在最特殊的情况，是一个凸优化的问题，可以使用现有的优化方式进行快速求解。将求解出来的解作为最优解的上界，在该上界的范围内进行遍历从而搜索到最优的参数设置，从而能高效地优化对应的目标函数。

结果展示

如图2和3所示，使用公开的数据集CIFAR-10和FEMNIST进行实验，在不同的丢包率下（丢包率为0.1，0.3和0.5），设计的FedLC算法可以优化模型的传输，从而在给定训练时间进一步提高训练的模型的性能。

图2. CIFAR-10数据集上的模型训练结果

图3. FEMNIST数据集上的模型训练结果

总结展望

由于联邦学习中客户端采用远程工作方式，快速传输模型更新是影响FL性能及其广泛应用的最重要因素之一，本文展示了模型更新在有损互联网上传输的挑战。本文研究了这种情况下的最优传输策略，并推导了该传输场景下的收敛率，在UDP基础上建立了FedLC算法，在互联网环境中有效地平衡了模型的准确性和通信的成本。在公共数据集上进行的实验结果表明，FedLC可以比现有的工作更有效地利用带宽资源，以提高模型的性能。

思考讨论

Q: 文章中的实验都是基于图像识别的卷积神经网络进行的，其训练的模型存在相似性。本文所提出的算法是否可以应用于自然语言处理等不同的学习任务上？

A: 可以。本文的理论分析是基于具有非凸损失函数的模型的，这种模型包含了大部分的学习任务，对于复杂的卷积神经网络、循环神经网络等模型都适用。 

以下是开放型问题，欢迎各位读者交流讨论：

Q: 该算法是基于一阶马尔科夫链对网络情况进行建模的，然而实际的网络情况是动态变化的，使用该模型进行分析可能无法涵盖不同的网络情况，是否有改进的建模方式，使得分析的理论结果更加符合实际的网络情况？

深圳大学计算机与软件学院

大数据技术与应用研究所

Big Data Institute

重点研究大数据近似计算、大数据机器学习与人工智能算法、大数据驱动的新一代网络技术、大数据融合知识图谱、大数据智能行业应用。
官网地址：http://bigdata.szu.edu.cn/合作电话：[phone]

转载申请

联系电话：[phone]          联系邮箱：[e-mail]