CnGAN：面向跨网用户偏好推荐的生成对抗网络

©PaperWeekly 原创 · 作者｜孙裕道

学校｜北京邮电大学博士生

研究方向｜GAN图像生成、情绪对抗样本生成

论文标题：CnGAN: Generative Adversarial Networks for Cross-network User Preference Generation for Non-overlapped Users

论文链接：https://arxiv.org/abs/2008.10845

引言

对于推荐系统大家早已见怪不怪了，购物平台上有淘宝，京东，拼多多，音乐平台上有 QQ 音乐和网易音乐，视频平台上有优酷和爱奇艺。它们共同的特点就是根据自己的喜好和浏览记录进行个性化的推荐。

但是还有一种推荐方式就是跨平台跨网络的推荐方式，比如说，你喜欢看《泰坦尼克号》这部电影，音乐平台得知这个消息就会给你推荐《My heart will go on》这首歌曲。

但是跨平台跨网络推荐的一个主要缺点是它们只能应用于重叠的用户（通俗易懂的理解是在不同的平台和网络中你有不同的 ID 和昵称，但这些 ID 和昵称都是特指你这个人）。因此，构成大多数用户的非重叠用户被忽略。

本文作者针对这个问题提出了一种新的基于多任务学习的编码器 GAN 推荐体系结构——CnGAN，作者在 Twitter 源网络上生成用户首选项，在 YouTube 目标网络上生成推荐。实验结果表明，生成的偏好可以用来改善非重叠用户的推荐。CnGAN 在准确性、新颖性和多样性方面，与最先进的跨平台跨网络推荐解决方案相比，所得到的推荐具有更高的性能。

本文涉及到大量的数学符号和公式，并且算法模型图也不是一目了然，所以我会对本文进行详细的解读。

论文的贡献

本文的贡献可以归结如下三点:

• 该论文是第一次尝试应用基于 GAN 的模型为非重叠用户生成缺失源网络偏好进行推荐，具有一定的开创性。
• 作者提出了一种新的基于 GAN 的模型 CnGAN，该模型包括一个新的内容损失函数和基于用户的成对损失函数，用于生成和推荐任务。
• 大量的实验表明，CnGAN 对非重叠用户进行推荐的有效性，并与现有的方法相比提高了推荐的整体质量。

模型介绍

3.1 核心思想

在本文中作者提出了跨网络跨平台的推荐体系 CnGAN，该模型通过学习目标网络偏好流形到源网络偏好流形的映射，综合生成非重叠用户的源网络用户偏好。所得到的用户偏好在一个推荐体系结构中使用。作者还提出了一种新的基于用户的两两损失函数，利用隐式交互来更好地指导多任务学习环境下的推荐生成过程。

3.2 预备知识

贝叶斯个性化排名（BPR）是一种基于隐式反馈的项目排序的通用优化准则，它采用成对的实例进行训练具体为：

其中 是所有项的集合， 是用户 已交互的项集，待优化的目标函数为：

其中 ， 是模型的参数， 是激活函数， 是正则化参数。

连续空间特征捕捉：在该论文中作者利用每个用户在每个时间间隔内的目标网络交互及其对应的源网络交互来训练 CnGAN。由于 CnGAN 是一个基于 GAN 的模型，需要在连续的空间中输入信息，所以使用主题建模来捕捉连续主题空间上的用户交互信息。

令 表示时间  处的重叠用户，其中 和 表示的是在 时间间隔内目标和源网络交互状态。非重叠用户 仅使用目标网络交互来表示。

作者使用 YouTube 作为目标网络，Twitter 作为源网络，在 YouTube 上进行视频推荐。是一组交互的视频的集合（比如是自己喜欢或添加到播放列表中的视频），是推文的集合。

假设每个交互（视频或者推文）都与多个主题相关，并从与每个交互相关的文本数据（视频标题、描述和推文内容）中提取主题，并且使用 TwitterLDA 进行主题建模，因为它对短而嘈杂的内容最有效。

基于主题建模目标网络上的每个用户 被表示为一组主题分发 ，显时间间隔为 ， 为主题数。每个向量 是时间 的主题分布，其中 是主题 的相对频率，而 是相应主题的绝对频率。

类似地，在源网络上，交互表示为 。由此产生的主题频率表示用户对相应的 主题的偏好程度。因此， 在一个连续的主题空间上呈现出时间间隔 内的用户偏好，并形成了该模型的输入。

3.3 生成器的任务

生成器任务学习的目的是通过使用编码器（E）、鉴别器（D）和生成器（G）将目标网络偏好流形映射到源网络偏好流形上。

当捕捉更精细的用户偏好时，作为主题分布向量（ 和 ）捕获的用户偏好就会变得更稀疏，并且在一个时间间隔内的交互数量会较低。训练具有高度稀疏数据的机器学习模型的最有效方法之一是对输入特征之间的交互作用进行建模。

作者使用两个神经网络编码器 和分别用于目标和源网络，将输入的主题分布转换为密集的潜在编码，可以得到的编码表示为 和 ，其中 是潜在空间的维数。

对于非重叠用户 ，让 表示时间 间隔的目标网络编码。生成器任务的是综合生成映射源网络编码，该编码与丢失的源网络编码 密切相关。接着就是 GAN 的经典原理部分 ，使用目标编码 尝试生成映射源编码来愚弄判别器 。

类似地，判别器 尝试区分真实源编码 和生成的编码 。

与标准 GAN 中的判别器 类似，其中判别器 D 只能学习区分给定输入对中实际的和生成的源网络编码，而不会去学习判别给定对是否是映射对。因此，在训练过程中，作者输入不匹配的源和目标网络编码，以确保学习到有效的映射。通过修改了 的损失函数，使不匹配对的输出分数最小，匹配对的输出分数最大。

对于给定的目标网络编码，作者只从真实数据中提取不匹配的源编码，以避免潜在的偏差。不匹配对是通过在同一时间间隔内对来自不同用户的实际编码或通过在不同时间间隔对来自同一用户的编码进行配对来创建的具体过程如上图所示。因此，判别器 D 的损失函数如下所示：

其中 和 是目标网络和源网络中匹配和不匹配的主题分布， 是目标网络主题分布， 是针对给定目标网络编码 生成的匹配源网络编码。

生成器 接收目标网络编码 ，并综合生成从实际映射数据中提取 的映射源网络编码。GAN 模型通常用于从随机噪声中生成真实图像，对于给定的噪声向量，不同的 GANs 可以学习多个从输入空间到输出空间的映射。

CnGAN 的目标是学习从目标到源网络编码的特定映射，对于给定的实数对映射数据 ，生成器 目标是将生成的 和真实的 源编码之间的损失最小化，具体的公式如下所示：

其中， 是实际编码和生成编码之间的 范数的内容损失。

3.4 推荐任务

作者将推荐任务描述为一个时间感知的 Top-N 排名任务，用当前和以前的用户偏好来预测在下一个时间间隔 中用户最可能交互的 个项目集。其中，BPR（贝叶斯个性化排名）优化使用随机梯度下降来更新参数，具体参数更新过程为：

其中， 是学习速率， 是给定 三元组的成对损失，而 是用户 和项目 的预测评级。由于 BPR 是一个通用的优化标准， 可以使用任何标准的协同过滤方法获得。

作者在训练过程中使用了固定时间长度的滑动窗口方法，在每个时间间隔内，使用时间间隔内的交互作用对模型进行训练，并且基于用户的损失函数如下所示：

其中，

在优化的过程中，参数 被更新为：

对于不同的 值，得到以下偏导数：

作者使用 Siamese 网络架构作为推荐架构，因为它自然支持成对学习如下图所示。

给定一个不重叠的用户 ，当前的首选项 ， 和先前的偏好 ，在时间 ，模型学习了一个传递函数 ，该函数将用户映射到潜在用户空间 ，其中具体形式如下所示：

传递函数 是用神经网络学习的，因为神经网络比简单的线性模型更具表现力和有效性。因此，对于时间 处的非重叠用户 ，使用潜在用户和项表示之间的内积来获得任何给定项目 的预测评级 ，具体形式如下所示：

论文中虽然生成任务和推荐任务是分开的，但它们相互依赖以获得更高的总体性能。生成任务通过合成有效表示用户的源网络编码来提高推荐者的准确性。推荐任务通过缩小推荐源的空间来有效地引导搜索源。

因此，作者在 MTL 环境中训练两个相互关联的任务，以从彼此的训练信号中获益，则多任务培训目标如下所示：

其中 是 、 和 的值函数， 是 损失函数。 

实验探究 

4.1 数据集 

由于缺乏可公开使用的跨平台跨网络数据集，作者从两个公开可用的数据集YouTube（target）和 Twitter（source）网络上提取重叠的用户，并收集了从 2015 年 3 月 1 日到 2017 年 2 月 29 日的 2 年时间内互动和相关文本内容（视频标题、描述和推特内容）的时间戳。

筛选出两个网络中交互次数少于 10 次的用户，以便进行有效的评估。最终的数据集包含 2372 个用户和 12782 个 YouTube 视频。

如下图所示为离线训练损失，其中作者比较了 D，G 和 R 的离线训练损失。这三个过程大约的迭代次数都是在 50 此附近，与 D 和 R 相比，G 的损失下降的很慢。在同一个训练过程中，作者进一步对比了本文提出的 G 损失和 Vanilla G损失，可以发现 Vanilla G 损失增长幅度更大。

下图为在线训练过程中 R 损失变化情况。在前 10-15 次迭代中损失函数下降很快，在大约 20 次迭代之后，推荐者的准确度达到了顶峰。额外的迭代往往会过度拟合模型并降低性能。因此本文所提出的解决方案在实际应用中是可行的，因为在线训练的成本可以接受。

如下图所示是作者将推荐者的准确度与多个 Top-N 值的比较示意图。基于神经网络的解决方案显示出更高的准确性，因为它们捕捉到用户偏好中的复杂关系。

在基于非神经网络的解决方案中，TimePop 的准确率最低，因为它基于一个简单的统计数据——视频的流行程度。TDCN 的性能优于 TBKNN 和 TimePop，因为它有效地利用了源网络和目标网络的交互来模拟用户的偏好。 

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：[e-mail] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。