重磅|Google推出联合学习：实现数百万无集中训练数据的协同机器学习

全球人工智能

---

作者：Brendan McMahan、Daniel Ramage  翻译：邵明

标准的机器学习方法是在一台机器或一个数据中心上集中训练数据。谷歌现在已经构建好了世界上最安全、最强大的云基础设施来处理数据，以便于更好的为我们服务。现在可以利用移动设备来进行用户交互训练模型：联合学习。

联合学习能够使手机协同学习一个共享的预测模型，与此同时手机还能够保存所有的训练数据，这就避免了将数据存储在云中再进行机器学习。通过将模型训练也带到移动设备上，这就胜过了仅在移动设备训练模型来做预测。

它的工作原理是像这样的：你的移动设备下载当前的模型，然后通过你手机中的数据来训练此模型，然后再将此过程中模型表现的不足之处进行改善。然后将改善后的模型通过加密通信的方式发送到云端，然后云端接收到多个移动设备传回的模型后，再对模型进行完善，这样就能得到一个更好的模型。这个过程中，所有的训练数据都在你自己的设备之中，并不会存储到云中，也不会被改变。

你的手机会根据你的使用情况在本地训练适合你的模型（A）许多用户更新的模型被聚集在一起（B）根据反馈，修改共享模型的（C）这个过程能够被无限重复，以提高模型的性能。

联合学习允许更智能的模型，能降低延迟和功率损耗，并且能保证隐私。这种方法还有另外一个直接的好处：基于更新的模型，针对你使用手机的方式来提供给你个性化的体验。

我们目前正在安卓上使用Gboard来测试联合学习。当Gboard显示一个被建议的查询时，你的手机会询问你是否确定存储当前的上下文信息。联合学习通过处理移动设备上的这些建议来进一步提高Gboard的查询建议模型。

https://v.qq.com/txp/iframe/player.html?vid=f13153dhtw7&width=500&height=375&auto=0

为了使联合学习成为可能，我们必须克服许多算法和技术上的挑战。在典型的机器学习系统中，像随机梯度下降（SGD）这样的优化算法，运行在云服务器上均匀分配的大型数据集上。这种高度迭代的算法要求低延迟、高吞吐量地连接到训练数据集上。但是，在联合学习中，这些数据以高度不均匀的方式分布在数百万台设备上。另外，这些设备存在着更高的延迟、更低的吞吐量，只能进行间歇性的训练。

这些限制激发了我们对研究联合平均算法（Federated Averaging algorithm）的兴趣。联合平均算法能够用于训练深度学习网络，相比于SGD版本的联合算法，它只需要使用10—100倍，甚至更少的通信设备。这背后的关键思想在于，利用现代移动设备中强大的处理器去计算比简单梯度质量更高的更新。由于使用高质量的更新来产生一个好的模型所需要的迭代步骤更少，所以训练所需的通信设备就更少。由于上传速度通常比下载速度慢的多，因为我们还提出了一种新颖的方式来大大地减少了上传的通信成本。尽管这些方法主要是关注于深层网络，但是我们也设计了针对高维稀疏的凸模型的算法，这些算法在点击通过率预测等问题上表现优异。

将这项技术部署到数百万台运行Dboard的手机上需要极其复杂的技术栈。在设备上训练模型需要使用TensorFlow的微型版本。精心的部署能够确保模型只能在设备空闲，自由的无线连接时运行，因此这对手机也没什么影响。

你的手机仅仅在不会对你的经验产生负面影响的情况下参与联合学习

然后，系统需要以安全，高效，可扩展、能容错的方式进行通信和聚合模型更新。只有这种方式，才能确保联合学习成为可能。

联合学习工作时，不需要将个人数据存储到云中，但是我们的研究并不仅仅限制于此。我们开发了一套利用加密技术的安全聚合协议，所以服务器只能够在100或1000个用户参与的情况下解密系统，然后更新模型。这个过程中，任何一个人手机中的更新都不会被检测的。这是第一个对深度学习问题、有连通性约束问题的实用性协议。由于我们设计了联合平均算法，因此协调服务器只需要平均更新结果，这就为使用安全聚合协议提供了条件。该协议并不局限于此，也可以运用于其它问题，我们正致力于将此协议用于生产实现，希望在不久之后能够部署到联合机器学习的应用程序之中。

我们的工作可能才刚刚起步，联合学习也不能解决所有的机器学习问题，但潜力是巨大的。谷歌将继续推进基于云的的最先进的机器学习技术，但我们也继续深入研究以拓展联合学习的应用范围。

应用联合机器学习要求机器学习的从业者使用新工具，具备新的思维方式：不需要直接访问或标注原始数据就能模型开发、模型训练和模型评估，并且通信成本低。我们相信联合学习给用户带来的利益值得我们去应对那些技术挑战，我们现在发布我们的工作进展，希望机器学习社区进行一次深刻而广泛的探讨，以应对未来的挑战。

---

AIJob社是《全球人工智能》旗下专门为AI开发工程师免费服务的求职平台。我们将竭尽全力帮助每一个ai工程师对接自己喜欢的企业，推荐给你喜欢的直接领导，帮你谈一个最好的薪资待遇。

微信咨询：aihr007  简历投递:[e-mail]  企业合作:[e-mail]

《全球人工智能》招聘5名兼职翻译及10名兼职VIP社群专家：图像技术、语音技术、自然语言、机器学习、数据挖掘等专业技术领域，工作内容及待遇请在公众号内回复“兼职+个人微信号”联系工作人员。

热门文章推荐

重磅|全球AI报告：看看谷歌|苹果|Facebook等十几家巨头都收购了哪些牛逼的AI公司？