【源头活水】NeurIPS 2020 Federated Learning（一句话论文系列）

不知不觉，距离上次写完ICML 2020的Federated Learning论文解读系列已经两个月了。那个系列只有五篇文章，我用了一个月才写完，还是在被观众朋友们催了一次的情况下，这次万人大会NeurIPS中的FL的文章有十几个，不知道要写到什么时候.....

但是机智如我，马上就想到了解决难题的办法 - 我决定，从一个paper一篇知乎文章，改成一个paper一句话，不接受反驳。

作者：红烩牛肉饭

地址：https://www.zhihu.com/people/hong-hui-niu-rou-fan

所有Accepted Paper的链接在这里：

https://neurips.cc/Conferences/2020/AcceptedPapersInitial

其中FL文章不完全统计如下（我附上了目前我在网上能找到的paper的链接）：

Arxiv访问慢的小伙伴也可以在本公众号后台回复关键词【paper63】下载论文 PDF~

01

本文研究在FL的setting下用UCB算法解决bandit问题的同时保证各个agent之间communication的隐私。

论文地址：http://web.mit.edu/dubeya/www/files/dp_linucb_20.pdf

02

顾名思义，就是把PCA算法在FL的setting里解决一下，同时用上了Differential Privay，还限制了一下memory。

论文地址：https://arxiv.org/abs/1907.08059

03

这篇文章研究的是 hub-and-spoke model，不太了解这个领域，抄一段摘要过来：we introduce FedSplit, a class of algorithms based on operator splitting procedures for solving distributed convex minimization with additive structure.

论文地址：https://arxiv.org/abs/2005.05238

04

这篇文章的目标是设计一个robust的FL算法来抵御FL中每个client的数据分布各异性（heterogeneous），主要是affine distribution shift导致的问题。

论文地址：https://arxiv.org/abs/2006.08907

05

本文考虑这么一种场景：假设所有的client都可以被分为一些组，每个组内的client的task相同，但是组和组之间的task不同。本文的算法同时鉴别client所在的组以及训练每个组的模型。

论文地址：https://arxiv.org/abs/2006.04088

06

本文用Moreau envelopes来regularize每个client的loss function从而达到学习个性化模型的目的。

论文地址：https://arxiv.org/abs/2006.08848

07

本文的目标是寻找到一个初始的模型，所有的client只需要一步或者非常少的训练就能得到一个适用于该client的模型。

论文地址：https://arxiv.org/abs/2002.07948

08

本文提出了一个框架来分析现有的FL优化算法（例如 FedAvg和FedProx）在data heterogeneous情况下的收敛性，并且提出了FedNova算法 - a normalized averaging algorithm that eliminates objective inconsistency while preserving fast error convergence.

论文地址：https://arxiv.org/abs/2007.07481

09

文章首先说明了FL算法对backdoor攻击的鲁棒性等于模型对对抗样本的鲁棒性 - 后者目前还是一个open problem，其次文章认为检测FL模型中的backdoor不太可能是first order oracles或者polynomial time，最后，文章提出了一个新的backdoor attrack：edge-case backdoor。

论文地址：https://arxiv.org/abs/2007.05084

10

文章提出了FedAc算法 - FedAc is the first provable acceleration of FedAvg that improves convergence speed and communication efficiency on various types of convex functions.

论文地址：https://arxiv.org/abs/2006.08950

11

It is actually possible to faithfully reconstruct images at high resolution from the knowledge of their parameter gradients, and demonstrate that such a break of privacy is possible even for trained deep networks

论文地址：https://arxiv.org/abs/2003.14053

12

现有的FL算法大部分是直接取所有model的均值得到server model，本文提出了一种用知识蒸馏来聚合模型的方法。

论文地址：https://arxiv.org/abs/2006.07242

如果喜欢这个一句话论文的方式，不妨来个点赞，评论，关注三连！后续会继续跟进最新的FL领域进展。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

历史文章推荐

分享、点赞、在看，给个三连击呗！