科研速递 | 理工学院黄建伟教授团队在IEEE计算机通信国际会议INFOCOM发表论文
近日,香港中文大学(深圳)理工学院黄建伟教授团队的论文“Joint Participation Incentive and Network Pricing Design for Federated Learning”被IEEE计算机通信国际会议IEEE International Conference on Computer Communications(INFOCOM)收录。
01
会议简介
INFOCOM(IEEE International Conference on Computer Communications)是计算机网络领域三大顶级国际会议之一,长期以来被中国计算机学会(CCF)推荐为A类国际学术会议。每年由IEEE主办,在国际上享有盛誉并具有广泛的学术影响力,是计算机网络顶尖学者每年一度的学术盛宴。
02
研究背景
随着支持物联网的机器类通信的快速发展,用户设备正在生成前所未有的大量数据用以训练智能机器学习模型。然而,用户的隐私问题往往导致集中收集和存储所有用户的数据用于模型训练存在风险(甚至是非法的)。联邦学习可以在保护用户数据隐私的同时实现有效的协作学习。具体地,在模型训练过程中,分布式用户将自己的私有数据保存在自己的设备上,只与中心服务器共享中间模型参数。
然而,联邦学习仍然存在几个未被充分探索的性能瓶颈,包括缺乏参与激励和沉重的通信开销。如果用户没有获得足够的激励(奖励)来补偿他们的计算和通信成本,用户自愿参与联邦学习训练不易实现。尽管一些早期的重要工作探索了联邦学习的激励机制设计,但他们并没有考虑巨大且动态变化的通信开销和网络运营商的资源定价。为了克服上述瓶颈,我们研究联邦学习中激励机制和网络定价的联合设计。
03
研究问题
1)考虑到沉重的通信开销,联邦学习服务器对具有隐私信息的异构用户的最优激励机制是什么?
2)考虑到动态变化的网络资源需求,网络运营商应该如何定价以最大化其利润?
3)就服务器、网络运营商或用户的收益而言,他们之间以何种结构交互更好?
04
研究贡献
1)考虑动态变化的网络资源需求的激励机制设计:据我们所知,这是第一个考虑动态网络资源需求的联邦学习激励机制设计的分析研究。这样的研究对于联邦学习系统的可持续发展具有实际意义。
2)不同交互结构下最优契约和网络定价的联合设计:我们提出多阶段博弈来分析服务器的最优契约激励和网络运营商的最优动态定价。我们成功解决了由异构用户的隐私信息导致的网络运营商和服务器非凸的复杂优化问题。
3)交互结构的比较:我们研究表明网络运营商、服务器和用户依次做出决定(垂直交互结构)优于服务器和网络运营商同时做决定的水平结构。这是因为垂直结构下的顺序决策过程避免了服务器激励的用户无法承担网络资源费用的情况。
4)关于网络定价和需求分布的见解:当用户对网络拥塞容忍度较高时,我们发现网络运营商的最优决策是为用户选择的时隙设置相同的价格实现注水式网络需求分布。然而,当用户对拥塞敏感时,运营商会通过动态定价鼓励用户选择网络需求较少的时隙。
5)表现评估:基于真实世界数据集的数值结果表明,与最先进的基准相比,我们提出的机制可将服务器成本降低多达 24.87%,并将网络运营商的利润提高多达 1245.25%。
图1:服务器成本和网络运营商利润比较
05
作者简介
通讯作者:黄建伟教授
黄建伟教授现任香港中文大学(深圳)校长讲座教授和协理副校长(拓展事务),深圳市人工智能和机器人研究院副院长和群体智能研究中心主任。黄教授是IEEE Fellow,IEEE通信学会杰出讲师,科睿唯安计算机科学领域全球高被引科学家。黄教授现任 IEEE Transaction on Network Science and Engineering 的主编。
黄教授长期专注于网络优化,群体智能和经济学交叉领域的开创性研究,总共发表了7本英文学术专著,320多篇国际一流期刊和会议论文,谷歌学术总引用超过 15000。他的论文11次获得国际会议和期刊的最佳论文奖,包含2011年IEEE马可尼无线通信论文奖。他获得2014年香港中文大学青年研究学者奖,2009年IEEE通信协会亚太杰出青年研究学者奖。
第一作者:丁宁宁博士
丁宁宁博士现为美国西北大学博士后研究员。她于2018年获得东南大学信息工程学士学位,2022年获得香港中文大学信息工程博士学位。她专注于网络经济学与机器学习的交叉领域研究,目前主要包括联邦学习、编码机器学习和物联网系统的机制设计和定价研究。
第二作者:高林教授
高林教授现为哈尔滨工业大学(深圳)电子与信息工程学院副教授,博导。曾入选IEEE通信学会亚太杰出青年研究学者、广东省“特支计划”科技创新青年拔尖人才、深圳市海外引进高层次人才、2021年斯坦福大学“世界前2%顶尖科学家”榜单。
高林教授长期以来一直从事网络、经济学与人工智能的跨学科研究工作,在博弈论、网络优化、网络经济学、机器学习等交叉学科领域具有坚实的研究基础。研究成果已出版学术专著3本,发表学术论文120余篇,其中包括CCF A类顶级期刊和会议论文40多篇。所发表论文在Google Scholar中总计被引超过4000次,3篇论文曾入选ESI高被引论,4篇论文获得国际学术会议最佳论文奖。
*特别鸣谢丁宁宁博士对本文的贡献。
点击以下链接,进入理工时刻:
理工学院赵俊华教授受邀担任南方区域电力市场管理委员会专家委员
我的读研万花筒 | 供应链与物流管理2022级硕士研究生分享
理工学院三名本科生参与机器人领域国际知名会议IEEE ROBIO 2022并做口头报告
科研速递 | 理工学院黄建伟教授团队论文被IEEE JSAC国际期刊接收