©PaperWeekly 原创 · 作者｜桑运鑫
学校｜上海交通大学硕士生
论文标题：Representation Learning for Attributed Multiplex Heterogeneous Network
论文来源：KDD 2019
论文链接：https://arxiv.org/abs/1905.01669
代码链接：https://github.com/THUDM/GATNE
这篇论文提出了一种在 Attributed Multiplex Heterogeneous Network 上进行嵌入学习的框架 GATNE，该框架同时支持转导式学习（transductive learning）和归纳式学习（inductive learning），在 Amazon，Youtube，Twitter 和 Alibaba 四个数据集上取得显著提升。相比于传统的只有一种边或只有一种节点的图，Attributed Multiplex Heterogeneous Network（AMHEN）中包含多种节点，多种边，每种节点都有不同的属性，各种类型的图有代表性的嵌入方法如下表所示。每对节点之间可能有多种类型的边，需要对每种关系都学习不同的表示。
很多图嵌入方法都是转导式学习，无法处理没有见过的数据，而商品推荐中存在长尾和冷启动的问题。
- 真实场景中的图规模通常很大，所以提出的算法应当可以处理大规模数据。
基于上述问题，文章提出了 General Attributed Multiplex HeTerogeneous Network Embedding（GATHE）。对于一个图 ， 是 个节点的集合， 是属于不同关系 的边的集合，每条边 都有一个权重 ，根据边的类型 ，我们可以将图拆分成各个子图 。为了使模型同时适用于转导式学习和归纳式学习，文章首先提出了适用于转导式学习的 GATNE-T，之后通过一些改进提出了适用于归纳式学习的 GATNE-I。
对于 GATNE-T，对每个节点 的 embedding 分为 base embedding 和 edge embedding 两部分。同一个节点的 base embedding 在不同的边类型中是一样的。在边类型为 的子图上，edge embedding 则从邻居节点的 edge embedding 聚合得到：
之后将经过节点 经过 次聚合之后的 种（边的类型数）不同的 edge embedding 拼接在一起进行注意力加权，加上 base embedding 得到节点在边类型 下的 embedding：其中 是衡量不同 edge type 重要性的超参数， 是可训练的转换矩阵。但是转导式的方法只能获得在训练集中出现过的 item 的 embedding，但在商品推荐等真实场景中存在冷启动问题，因此文章在 GATNE-T 的基础上提出了归纳式的算法 GATNE-I。该算法使用节点 的属性 生成 base embedding，其中 是节点 的节点类型。同样的，节点初始的 edge embedding 也通过类似的方式生成：最终，节点 在 edge type 上的 embedding 为：
其中 是 coefficient， 是可训练的转化矩阵。在模型训练上，文章采用了基于 meta-path 的 random walk。对于只包含关系 的子图 和给定的 meta-path ，每一步的转移概率规定为：训练的目标函数为最大化给定 时周围节点出现的概率：
论文标题：Graph Neural Networks for Social Recommendation
论文来源：WWW 2019
论文链接：https://arxiv.org/abs/1902.07243
代码链接：https://github.com/wenqifan03/GraphRec-WWW19
一个基于 GNN 的社交推荐系统要处理两个图：社交图（social graph）和用户-商品图（user-item graph），这方面的研究主要面临以下挑战：如何有效融合两个图
如何同时捕捉用户和商品之间的交互和观点
如何处理不同的社交关系
规定 和 分别是用户和商品的集合， 是用户-商品评分矩阵， 是用户 对商品 的评分，也可以被认为是用户 对商品 的观点。 是评分，如果不知道则取 0。此外， 表示用户和用户之间的社交图，如果用户 和用户 之间有关系 ，如果没有则取 0。给定用户-商品图 和社交图 ，目标是预测 中的缺失值。我们使用一个嵌入向量 来表示用户 ，用另一个嵌入向量 来表示物品 。因为涉及到用户和商品两个主体，整个模型分为 User Modeling 和 Item Modeling 两部分。User Modeling 用于学习用户的隐变量 。为了有效地结合用户-商品图和社交图，模型从两个图中使用两种不同的聚合方式学习用户隐变量。在用户-商品图中学习商品空间中的用户隐向量：
其中 是用户 交互的商品集， 是表征用户 和商品 之间交互的向量。因为用户与商品之间的关系有多种，体现在评分矩阵 上就是每个元素 可能有多个取值，例如 ，如果用户 与物品 的关系为 ，则 可以利用物品嵌入 和观点（opinion）嵌入通过 MLP 获得：
在聚合方式上，采用类似 Attention 的方式进行加权：
获得 和 后，可以通过 MLP 获得用户隐向量 ：
Item Modeling 方面，和在用户-商品图中的 User Modeling 类似的，如果用户 与物品 的关系为 ，则用向量 来捕捉两者之间的交互信息。最终的隐向量 也是通过类似注意力加权的形式得到：
模型中涉及的三个嵌入向量：item embedding , user embedding , opinion embedding 随机初始化。损失函数为：
文章提出的模型在 Ciao 和 Epinions 两个数据集上取得了最好的结果。
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
📬 投稿邮箱：
• 投稿邮箱：hr@paperweekly.site
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。