喜讯 | 崔曙光教授团队在国际顶级期刊《美国国家科学院院刊》发表研究论文

香港中文大学（深圳）崔曙光教授的研究团队近日在国际顶级期刊《美国国家科学院院刊》（Proceedings of the National Academy of Sciences）发表研究论文，提出了高效通信的联邦学习算法从而实现联邦学习在无线蜂窝网络中的部署。本项研究的合作者包括：本·古里安大学Nir Shlezinger、魏茨曼科学研究学院Yonina Eldar、普林斯顿大学H.Vincent Poor。崔曙光教授和H. Vincent Poor共为本文的通讯作者。

崔曙光

港中大（深圳）校长讲座教授

理工学院教授

未来智联网络研究院院长

港中深-京东集团人工智能联合实验室主任

深圳市大数据研究院常务副院长

边缘设备，如物联网设备（传感器）、服务器和机构（医院）能够用联邦学习协作训练机器学习模型。在训练过程中， 边缘设备无需共享其私人数据。然而，在联邦学习的训练过程中，边缘设备需要迭代交换它们的机器学习模型参数。因此，利用联邦学习训练可靠的机器学习模型所需的时间不仅取决于训练的迭代次数，还取决于每一步的机器模型 参数的传输时间。在实际应用中，多个运行联邦学习的边缘设备需要通过资源受限 （带宽或功率受限）的通信网络传输训练的机器学习模型参数。因此，边缘设备的迭代传输机器学习模型 参数会引起显著的时延。该时延可能要比机器学习模型的训练时间大几个数量级。因此，机器学习模型传输时延是在无线蜂窝网络中部署联邦学习的主要瓶颈之一。崔教授团队提出了一种通信高效的联邦学习算法。该算法能够能够合理地运用无线网络资源从而降低了联邦学习的收敛时间和训练损失。

崔教授团队主要对联邦学习算法中边缘设备的选择，需要传输的机器学习模型参数的压缩，无线网络中的频谱资源的分配进行优化。首先，针对需要传输机器学习模型参数的边缘设备数远大于网络能够支持的通信设备数， 崔教授团队设计了一种随机边缘设备选择方案。该方案根据用户与基站的距离以及对联邦学习参数更新的历史贡献决定边缘设备的接入概率，不仅保证了每个边缘设备都能参与联邦学习训练，还降低了联邦学习的收敛时间和训练损失。

图1. 联邦学习用于手写字体识别（左图）。在不同允许接入的设备数下，联邦学习的收敛速度（右图）
为了进一步减少联邦学习算法的收敛时间，崔教授团队根据联系学习算法的特点：1）边缘设备无法完全了解自己的联邦学习模型参数的分布；2）中心服务器与边缘设备需要反复通信，提出了利用通用矢量量化方法对需要传输的机器学习模型参数进行压缩的算法，从而减少了边缘设备之间需要交换的模型参数量值。通过理论分析与实验验证发现，所提出的量化方法能够大大降低量化与噪声对学习模型带来的误差。

图2. 联邦学习采用不用量化方法的性能对比


如有兴趣进一步了解该研究，请参阅《美国国家科学院院刊》（Proceedings of the National Academy of Sciences）网址：https://www.pnas.org/content/118/17/e2024789118


                                             转载自未来智联网络研究院微信公众号本文鸣谢：崔曙光教授美编：杨小雯文编：陈明哲