WWW 2022 | 可扩展的图随机神经网络

作者 | 刘林松

单位 | 南京邮电大学

来源 | MIND Laboratory

论文标题：

GRAND+: Scalable Graph Random Neural Networks

收录来源：

WWW 2022

论文来源：

https://arxiv.org/pdf/2203.06389.pdf

论文介绍

近期的工作认为图随机神经网络具有很好的性能，但是难以用在大型图上。本文提出了一个广义的前推算法，预先计算传播矩阵，并使用它以小批量方式执行图数据扩充，最后使用一个自信感知的一致性损失来优化模型。

论文方法

令 表示一个图， 表示一个数据样本，表示边的集合，表示邻接矩阵，D 表示度矩阵， 表示加了自环的图， 和 是对应的邻接矩阵和度矩阵。每个样本 s 有一个特征向量 和标签 。在半监督学习中，只有一部分节点有标签 ，其他节点没有标签 。

图随机神经网络是图神经网络的一致性正则化框架，优化不同增强中未标记节点的预测一致性，通过随机传播来增强数据。首先对特征矩阵进行扰动，之后通过混合顺序的矩阵在图上传播。图随机神经网络使用平均池化的矩阵来传播：

随机传播的策略可以表示为：

表示从 Bernoulli 分布中得到的随机丢弃节点的 mask， 表示丢弃节点的概率。被丢弃的节点信息可以由邻居的信息来弥补。在训练的过程中，随机传播的过程重复 M 次，得到 M 个增强后的矩阵 。之后这些矩阵送入 MLP 得到 M 个预测值，使用标准的分类损失和一致性损失正则化项来训练。

是 MLP 为节点 s 预测的概率。

然而，在实践中， 的计算非常耗时，图随机神经网络使用幂迭代直接计算增强后的特征矩阵。但是在每一次训练的过程中，都需要重复 M 次来产生不同的特征矩阵，因此时间复杂度非常高。为了解决这一问题，本文预先计算传播矩阵所需的行向量，并以小批量方式执行随机传播，来代替之前的幂迭代。本文的传播矩阵为：

其中，， 是行正则化的邻接矩阵。为了实现快速的训练，节点 s 的特征向量计算方式为：

表示 中，节点 s 对应的行向量。 表示 中非 0 元素的索引。在训练时，只需要为一批节点生成增强特征。

本文的训练过程分为三个部分。首先使用本文提出的 GFPush 算法得到每个节点的稀疏化的行近似 ，用于支持随机传播。在每一个训练的步骤中，采样出一批节点，用近似的行向量为每个节点生成多个增强特征。将增强后的特征送入 MLP 得到预测值，通过最小化损失来优化模型。

实验结果

作者在多个数据集上进行了节点分类任务：

为了验证可扩展性，作者在多个大型数据集上进行了实验：

对于模型中的参数，作者也进行了分析：

总结

本文提出了一个用于半监督学习的可扩展高性能 GNN 框架，通过广义前推来计算特征传播的矩阵，同时使用自信感知的一致性损失来实现一致性训练。与现有的方法相比取得了很好的效果。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·