科研速递丨理工学院唐晓莹教授团队在机器学习会议ICML2023上发表文章

会议介绍

ICML（International Conference on Machine Learning，国际机器学习大会）为国际机器学习学会主办的国际会议，被公认是人工智能、机器学习领域最顶级的国际会议之一。

摘要

联邦学习是一种隐私保护的分布式机器学习范式。为了提高通信效率，通常使用local SGD进行模型训练。然而，由于不同客户端设备上数据的多样性，这种方案目前有收敛缓慢、不稳定的缺点。本论文提出了FedBR，通过减少特征提取器和分类器在本地训练时相对全局模型的偏移，来解决local SGD带来的问题。本论文在多种数据集（MNIST，CIFAR10和CIFAR100）以及多种网络结构（CNN，VGG，Transformer）上进行实验，结果说明了FedBR相对于其他SOTA算法的有效性。

主要贡献

1. 本论文提供了一个统一的视角，来解释面对异构数据的FL本地训练中的困难。本论文提出了三个关键的问题：（1）本地分类器的输出分布不均衡；（2）对于相同的输入数据，本地特征与全局特征的不一致；（3）对于不同输入数据，本地特征过于接近。

2. 本论文提出了FedBR，通过使用少量的全局虚拟数据来解决本地训练偏移的问题。FedBR包含两个部分：（1）约束分类器输出，使分类器输出分布更均衡；（2）通过对抗对比学习的方式使学习到的本地特征与全局特征更接近，同时使不同输入数据得到的本地特征之间的边界更清晰。

3. 本论文通过实验充分证明了FedBR相对其他SOTA解决方案的有效性，且FedBR的两个组成部分都可以有效的改善FL的本地训练过程。此外，相比于其他使用全局虚拟数据的方法，FedBR可以在使用更少的全局数据的情况下得到更好的训练结果，从而提高了训练的效率。

作者简介

本论文通讯作者为香港中文大学（深圳）理工学院助理教授唐晓莹。

唐晓莹，香港中文大学（深圳）理工学院助理教授、博士生导师，兼任深圳市人工智能与机器人研究院副研究员。分别于电子科技大学英才实验学院、香港中文大学信息工程系获学士、博士学位，2016至2019分别在瑞士联邦理工学院担任研究科学家以及在香港中文大学任职博士后研究员。入选广东省“珠江人才计划”青年拔尖人才项目、深圳市海外高层次人才“孔雀计划”C类、龙岗区深龙英才。入选IEEE PES中国区电动汽车技术委员会委员，并担任电动汽车与能源交通系统融合技术分委会常务理事。目前主持国家自然科学基金青年项目一项。

唐晓莹教授的主要研究方向为联邦学习算法理论、模型泛化以及充电网络优化等人工智能交叉领域。以第一作者获得IEEE SmarGridComm 2013年唯一最佳论文奖，以第一作者在国际知名出版社Springer出版科研专著“Optimal charging control of electric vehicles in smart grids”。曾担任IEEE ICC 2019智能电网研讨会副主席、ICCC2021MWN分会主席、WOCC2022注册与财务主席以及国际顶级会议如IEEE SmartGridComm、IEEE PSCC、IEEE Globecom等技术委员会会员，以及ICML、NeurIPS、TSG、TPWRS、TII、IOJT等国际顶级期刊或会议的审稿人。

本论文第一作者为香港中文大学（深圳）在读博士生郭永新。

郭永新，2020年毕业于南开大学软件工程专业，目前在香港中文大学（深圳）唐晓莹教授团队攻读博士学位。主要研究方向为时空异构数据下的联邦学习。

END

点击以下链接，进入理工时刻：