SFFAI分享 | 崔泽宇：套装搭配推荐在图神经网络上的应用【附PPT与视频资料】

关注文章公众号

回复"SFFAI21"获取PPT资料

视频资料可点击下方阅读原文在线观看

作者简介

---

崔泽宇，中国科学院自动化研究所博士一年级在读，本科毕业于华北电力大学（保定）。研究方向为多模态数据挖掘与推荐系统。在WWW会议发过一篇论文。

背景

---

搭配问题是电商系统中的一个非常重要的任务，它需要综合利用图像文本，协同信息等等商品及用户关系，对商品进行深入的理解整合，并且建立一个优秀的美感评估机制，才能够获得一个优秀的搭配系统。当下的互联网电商平台中，阿里京东等公司，都设计了专门独立的搭配平台，比如时尚大脑，滴搭系统。这些搭配平台在给予用户以更高质量的商品推荐的同时，也在辅助商家，帮助商铺提供更好的营销手段有很高的商业价值。

问题定义

---

搭配任务主要的定义为一个打分问题。就是输入一套商品输出一个打分，通过这个打分的高低来评价这一套商品搭配的优劣情况；目前很多工作为了简化任务，把这个任务转化成了两两配对的问题，即输入两个商品，评价两者之间的搭配程度，如下图所示：

过去工作总结

---

近年来，服装搭配任务在深度学习的框架下，获得了更好的学习和表达能力。如下图为主流的工作脉络。在深度学习的基础框架下上的从度量学习的角度提出了基本的框架，把商品特征映射到风格空间进行距离度量，再后来加入多专家模型提高搭配风格空间多样性，auto-encoder， 知识蒸馏，Gans等模型的思路。其中有2篇是直接对套装做处理，其他都是针对两两搭配的模式。但是这些方法都是全监督的模型。

我们的模型

---

针对套装搭配任务，我们首次提出采用图结构建模套装内各个商品之间互相影响的关系，并通过图神经网络进行套装搭配度的评价。

如下图所示，目前搭配相关的问题，要么是仅仅考虑套装中两两之间搭配度的（a），要么是把套装看作一个序列问题(b)。这两者很明显都不是解决搭配的好的结构。同一个套装之中不同的商品之间应到相互之间都有影响，因此，如(c)所示，图结构才是搭配应该有的状态。

节点级别参数量的图神经网络（node-wised GNNs）

---

下图为整体的模型框架图：

我们把某个套装特征作为输入训练的时候，从完整的类别关系图中，取出当下套装的子图，在子图上用GNNs，GNN的输入是各个商品的图像特征，最后输出的隐藏层中采用attention融合，最后获得rating。

在搭配问题中，我们可以直观的发现，不同类别之间交互关系显然是不同，比如说，一件衣服对裤子的影响，和帽子对裤子的影响显然是不同的，所以，GNN每一条边上转移矩阵应当也不一样，但是边的数目太大了，通常一个正常的库中，类别数通常有100来中，那么边的数据接近1W个，这样的参数量是我们这个问题无法接受的。所以，我们把每条边上的转移矩阵变换成，这条边对应链接的两个节点的in，out矩阵相乘的结果。这样我们只需要2*节点数目个数个的矩阵就可以了表达交互的不同的特性了。

以下为本工作的实验结果展示：

本工作收录于WWW2019

论文地址：https://arxiv.org/abs/1902.08009

代码地址：https://github.com/CRIPAC-DIG/NGNN

欢迎大家的讨论与联系

邮箱：[e-mail]

SFFAI招募召集人！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI自2018年9月16日举办第一期线下交流，每周一期，风雨无阻，截至目前已举办36期线下交流活动，共有70位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了SFFAI的活动。SFFAI已经成为人工智能学生交流的第一品牌，有一群志同道合的研究生Core-Member伙伴，有一批乐于分享的SPEAKER伙伴，还有许多认可活动价值、多次报名参加现场交流的观众。

我们邀请你一起来组织SFFAI主题论坛，加入SFFAI召集人团队。每个召集人负责1-2期SFFAI主题论坛的组织筹划，我们有一个SFFAI-CORE团队来支持你。一个人付出力所能及，创造一个一己之力不可及的自由丰盛。你带着你的思想，带着你的个性，来组织你感兴趣的SFFAI主题论坛。

当召集人有什么好处？

谁可以当召集人？

怎样才能成为召集人？

为什么要当召集人？

了解我们，加入我们，请点击下方海报！

历史文章推荐

若您觉得此篇推文不错，麻烦点点在看↓↓