【AAAI2023】对抗性权重扰动提高图神经网络的泛化能力

大量理论和经验证据表明，较平坦的局部最小值倾向于提高泛化能力。对抗权重扰动(Adversarial Weight Perturbation，AWP)是一种快速有效地寻找这种最小值的新兴技术。在AWP中，我们最小化损失w.r.t。模型参数的有界最坏情况扰动，从而有利于在其周围邻域内具有小损失的局部最小值。AWP的好处，以及平坦度和泛化之间的联系，已经被广泛研究了i.i.d.数据，如图像。本文针对图数据广泛研究了这一现象。在此过程中，我们首先推导出非i.i.d的泛化界。节点分类任务。用所有现有的AWP公式确定一个消失梯度问题，并提出一种新的加权截断AWP (WTAWP)来缓解这个问题。用WT-AWP正则化图神经网络，持续提高了许多不同图学习任务和模型的自然和鲁棒泛化能力。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“AWP” 就可以获取《【AAAI2023】对抗性权重扰动提高图神经网络的泛化能力》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料