导读 图神经网络在真实场景中的研究意义不言而喻，它为复杂关系建模、个性化推荐、社交网络分析和生物信息学研究等领域提供了新的解决方案和突破口。这些应用领域的发展和进步将受益于图神经网络技术的不断演进，为我们理解和应对复杂问题提供有力的工具和支持。本次分享题目为真实复杂场景下的图神经网络。
主要介绍以下六个部分：1. 网络嵌入的对抗性表征机制学习
2. 块建模引导的图卷积神经网络
3. 增强类别区分度的图神经网络
4. 当对比学习遇上同配性：缓解同质性限制的自监督图神经网络
5. 文献目录
6. 合作者团队
分享嘉宾｜何东晓 天津大学 教授
编辑整理｜陈启航
内容校对｜李瑶
出品社区｜DataFun
01
网络嵌入的对抗性表征机制学习
1. 研究背景
在当前的表征学习领域，图神经网络是主流方法之一。其核心机制涉及聚合邻居信息和进行特征转换来传播属性。这种方法被广泛应用于半监督学习，以提高模型的鲁棒性和适应无监督学习的场景。然而，在处理图数据时，标注成本往往很高，因此寻求更加鲁棒无监督的学习方法成为迫切需求。
（2）GAN 的结合途径与潜在困难
一种潜在的解决方案是将生成对抗模型引入图神经网络领域。生成对抗模型由生成器和判别器组成，它们之间进行互相对抗的博弈，类似于“制造假币”和“发现假币”的过程。目前的一些研究工作已经开始探索将生成对抗模型应用于图神经网络，以提高其鲁棒性。然而，当前的方法主要集中在将生成对抗应用于图神经网络输出的表征结果上，而不是直接应用于表征机制本身。在探索如何更好地利用生成对抗机制时，研究者们开始考虑将其应用于图神经网络的表征过程中。在这一过程中，使用编码器（如 GCN）作为表征机制的代表是较为合适的。然而，传统的生成对抗模型只包括生成器和判别器两个角色，如何在图神经网络中实现两种机制之间的对抗仍然是一个具有挑战性的问题。
在我们的研究中，引入了一个新的参与者，代表另一种表征机制，通过两个参与者之间的竞争，在判决过程中互相指导优化，实现了表征机制的不断改进。这种新设计的对抗性机制，与简单地向表征结果添加高斯正则项的方法有所不同。
在这个新方法中，有三个参与者，包括一个生成正样本的生成器、一个生成负样本的生成器和一个判别器。在这个生成对抗模型中，正样本生成器和负样本生成器扮演良民和坏人的角色，分别努力制造好样本和欺骗判别器。判别器的任务是尽可能地区分好样本和坏样本。
正样本生成器利用自动编码器框架重构拓扑，并通过互信息约束属性和表征之间的关系，最大程度体现属性信息。负样本生成器也采用类似的框架，并在生成表征机制时引入了一些噪声，以便模拟正样本生成器的行为来欺骗判别器。最后，判别器的目标是将生成的表征机制正确地识别为好样本或坏样本。
训练过程可以看作是一个极小极大化的过程。除了最初添加的拓扑和属性损失外，正样本生成器还需要处理判别器的反馈损失，以协助其被正确识别。相反，负样本生成器则希望欺骗判别器，因此除了原始的重构损失外，它还有一个与判别器损失相反的额外损失，以最小化其被正确识别的可能性。
在节点分类、节点聚类、链接预测及可视化等任务中，我们的方法表现良好。
4. 结论
我们提出了一种新的网络嵌入生成对抗框架，名为 ArmGAN。与传统方法不同，ArmGAN 在表示机制上采用对抗学习策略，而不是在嵌入结果上，从而提高了性能。该框架包含三个角色。实验结果表明，ArmGAN 在性能上明显优于现有的最先进方法，包括典型的基于 GAN 的方法和基于互信息的方法。
块建模引导的图卷积神经网络
接下来，关注于图神经网络的“同质性限制”问题。传统的图神经网络假设邻居信息能够很好地代表节点特征，但在异质网络中，这种假设并不成立。为解决这一问题，目前的方法包括聚合高阶邻居信息和负信号传播等，但它们并未从根本上改变GCN 最本质的传播聚合机制。
由于之前在社团发现方面使用了块模型，因此考虑将其引入 GCN 的传播聚合机制中。但我们面临如下两个问题：首先，需要计算块矩阵，确定两个类之间的连接模式，但计算块矩阵需要知道每个节点所属的类别；第二，即使计算出块矩阵，块矩阵仍然显示出异质性，即每个块中的节点更倾向于与其它块中的节点连接，无法直接用它去指导传播聚合。通过实验尝试，我们将块矩阵 H 与其转置相乘得到矩阵 Q，代表类之间的连接模式。然后，利用 MLP 进行预测标签，并进一步计算块矩阵。
BM-GCN 主要分为两部分：第一部分是块矩阵和块相似度矩阵的计算，第二部分是在软标签和块相似度矩阵的指导下，共同指导 GCN 的传播和聚合，以实现自适应同质、异质网络的新型传播机制。
具体做法包括以下步骤：首先，利用部分已知标签训练一个 MLP 模型。对于已有标签的部分，使用真实标签进行训练；对于没有真实标签的部分，采用 MLP 模型生成的软标签可以总体上提升准确性，增强可信度。这样做的目的是使计算块矩阵 H 时更加可信。接下来，利用计算得到的块矩阵 H 来计算块相似度矩阵 Q，以增强相似类之间的连接。
通过将矩阵可视化，我们发现通过块矩阵与转置块矩阵 H 相乘得到的块相似度矩阵表现更为理想。块相似度矩阵中，每一行都体现了一类与其他类之间的连接模式，如果两类节点相似，那么它们与其它节点相连接的模式则更为相似。
下面是该方法在几个常用数据集上的实验结果。实验结果表明我们的方法在同配和异配网络都具有优秀表现。
增强类别区分度的图神经网络
1. 研究背景与探索实验
GCN 存在过平滑问题。随着层数的增加，GCN 的精度通常会下降，这是一个公认的问题。通常，只使用两到三层的 GCN 来避免这种情况。我们在 Coral 数据集上进行了实验，验证了这种性能表现。在精度下降的背后，应该是表征出了问题。随着 GCN 层数的增加，各个节点的表征趋于一致，难以区分。然而，通常只考虑到不同节点的表征难以区分，很少考虑到特征在不同维度上的混淆。为了探究这个问题，我们进行了一系列实验。
我们在几个数据集上测试了不同维度的表征随着层数增加而发生的变化。为了量化表征的区分度，我们提出了一种局部可区分性标准，将表征降为类别维度。通过计算每个节点在各个维度上的区分度，我们可以评估其表征的质量。实验结果表明，我们提出的标准能够更好地拟合真实精度，并揭示了随着层数增加，大多数节点的类别区分度逐渐降低的趋势。然而，在某些节点上，深层信息仍然有价值，这提示我们需要更深入地研究如何在深层次上学习到区分度较高的表征。
我们提出了一种新的方法，主要分为三部分。首先，利用局部类别区分度以节点粒度进行过滤。在添加新层时，如果发现局部类别区分度下降，则过滤该层，并直接进行到下一层；如果类别区分度提升，则采用该层。
另外，我们采用了初始补偿策略，利用初始特征能够较好地反映节点自身特性的特点。最后，在损失函数中添加了一个约束项，即全局类别区分度，来联合优化所有节点的类别区分度。
这个方法不仅解决了过平滑问题，还在一定程度上解决了同质性限制问题。在同质性和异质性的网络上，该方法的数值结果都很好。
当对比学习遇上同配性：缓解同质性限制的自监督图神经网络
1. 研究背景
我们的第二个和第三个工作是针对半监督模型 GCN 展开的。考虑到自监督学习和对比学习的最新进展，我们探索是否可以提出一种适用于图数据的自监督图神经网络方法。然而，GCN 存在同质性限制的问题，这在一定程度上影响了其性能。因此，我们的研究旨在同时解决这两个问题，这也是我们将其命名为“一石二鸟”的原因。
在将对比学习方法迁移到图数据上时，我们面临着一些挑战。对图数据进行增强可能会破坏其拓扑结构。例如，简单地删除一些边可能会导致节点之间的联系变得更加间接，这可能影响到对比学习的有效性。
首先，我们验证一下异质边对 GCN 的性能影响。通过删除与不同类相连的边来研究 GCN 在此情况下的表现。实验证明，删除这些边后，GCN 的性能得到了提升，这表明异质边对其性能有影响。此外，我们还探讨了在无需增强的情况下如何定义正例和负例。我们提出了一种将节点的一阶邻居作为正例的方法。最近的实验结果表明，这种方法可以进一步提高模型的性能，其优势在于它不依赖于数据的增强，而是利用了图结构本身的信息。
在模型框架中，引入了一个判别器，用于判断节点的邻居是否属于同一类别。在 GCN 的编码器部分，需要找出目标节点及其所有一阶邻居，并将它们的表征拼接起来。然后，使用一个神经网络来判断目标节点和其邻居是否属于同一类别。该神经网络的任务是学习目标节点与其邻居是否具有相似的特征，即学习它们属于同一类别的概率。学习完成后，我们通过设置一个阈值使用 Gumbel-Max Trick 来确定哪些边应该被删除以及哪些应该保留，这样就可以生成一个新的拓扑结构。在这个新的拓扑结构中，删除了被判定为异质的边，保留了同质的边。接下来，在这个新的拓扑结构上进行 GCN 的传播。
此外，我们对比学习框架中的损失函数也是基于这个新的拓扑结构定义的。然而，在确定节点的一阶邻居时，仍然使用原始的拓扑结构。这是为了防止模型在初始训练阶段过度删除边。在判别节点是否属于同一类别时，仍然使用原始拓扑结构，以防止模型在早期训练阶段出现错误的边删除。3. 实验结果
实验结果显示，我们提出的 NeCo 方法在各种数据集上均取得不错的效果。
文献目录
合作者团队
分享嘉宾
INTRODUCTION
何东晓
天津大学
教授
何东晓，天津大学智能与计算学部教授、博士生导师。主要从事图数据挖掘和图机器学习研究，主持国家自然科学基金项目 3 项（含面上项目 2 项），国家重点研发课题 1 项。在人工智能、机器学习和数据挖掘领域的顶刊或顶会上发表论文 50 余篇，其中一作或通讯发表 CCF A 类期刊或会议长文 20 余篇，谷歌引用超 2700 次，H 因子 30。以通讯作者指导学生获数据挖掘顶会 ICDM21 最佳学生论文奖亚军（4/990），一作获全国社会媒体处理大会 SMP2022 最佳论文奖，一作获《自动化学报》年度优秀论文奖；入选百度学术 AI 华人女性青年学者(全球 80 名)入选、天津市 131 人才。