WWW 2023 | 推荐系统冷启动问题的架构搜索策略

©PaperWeekly 原创 · 作者 | 吴世光

单位 | 清华大学

论文标题：

ColdNAS: Search to Modulate for User Cold-Start Recommendation

收录会议：

The WebConf 2023

论文地址：

https://arxiv.org/pdf/2306.03387.pdf

代码链接：

https://github.com/LARS-research/ColdNAS

合作机会：

清华大学电子系科研助理、博士后招聘（见文末）

引言

推荐系统旨在根据用户的喜好和需求，提供个性化的内容和服务，相关应用遍布各个领域。然而，推荐系统中的用户遵循长尾分布，大量用户只有少量的行为数据。此外，新用户不断涌现，他们在系统中也只有很少的历史数据。

对于这类用户，在实现个性化推荐过程中很容易出现过拟合，即推荐系统的用户冷启动问题，它是推荐系统一直面临的一个严重问题。考虑到现代推荐系统大多是基于含有大量参数的深度网络构建，需要大量的训练样本才能获得良好的效果，冷启动问题变得更具挑战性。

近来有趋势是将用户冷启动问题建模为一个小样本学习问题并取得了成功 [1]，其中每个任务对应着一个用户。目前最有效的方法是使用超网络 [2,3]，根据用户交互历史生成用户特有的适应性参数，进而对主网络进行调节。这些方法包括嵌入层、适应网络（超网络）和预测器（主网络）三个部分。其基本思想是将小样本学习任务的数据集直接输入超网络，预测目标输入主网络。

超网络能够根据任务信息生成适应性参数，用来调整主网络，以此方式使任务信息对目标的预测过程产生影响。如何利用超网络生成的适应性参数来调整主网络，对模型效果有重大影响，现有工作都采用了逐特征线性调整函数（FiLM），对用户行为表征进行逐特征的缩放和移动，但这些表征不具备明确的物理意义，且调整的位置很难决定，工作间也各不相同 [2,3]。因此，如何在合适的位置选择合适的函数对主网络进行调整是亟待解决的问题。

为此，我们提出了一种解决推荐系统冷启动问题的架构搜索策略 ColdNAS（Cold-start Neural Architecture Search）。在给定的超网络和主网络中，针对超网络的用户个性化输出与主网络的预测过程的作用方式，通过神经结构搜索自适应地寻找合适的结构（用户个性化参数对主网络进行调整的函数和位置）。

我们设计了一个搜索空间，能够广泛覆盖各种有效的调整结构，并可能发现更优秀的结构；还设计了一个针对该问题的高效且稳定的搜索算法，由空间转换和可微分搜索 [4] 两步组成。

核心思想：通过搜索空间转换提升搜索效率与稳定性

对于调整函数，我们设计了由一系列常见 element-wise 运算组成的搜索空间。由于一个函数中的运算数可能很多，且主网络中有多个位置可以有不同的调整函数，整体搜索空间过于巨大。直接应用可微分搜索在这个搜索空间上表现十分不稳定。考虑到深度神经网络的拟合能力，通过对适应网络的合理假设，我们理论证明了可以转换为一个更小的搜索空间，并在转换后的搜索空间上设计了搜索网络结构实现稳定高效的可微分搜索。

骨架网络

现有的基于超网络进行调整的推荐系统用户冷启动模型，由以下三部分组成：嵌入层、适应性网络、预测器。

▲ 图1 基于超网络的推荐系统用户冷启动模型

• 嵌入层 E（Embedding Layer）将用户和物品的类别特征或数值特征映射成密集向量。
• 适应网络 A（Adaptation Network）将用户 的支持集 作为输入，生成特定于用户的适应性参数 。

• 预测器 P（Predictor）以查询的目标用户-物品特征为输入，在特定于用户的适应性参数的作用下对可能的交互进行预测。

我们采用多层感知器 MLP（Multi-Layer Perception）作为预测器，将感知器第 层的输出记作 ，每一层的输出经过调整函数 与用户适应性参数 作用后，输入给下一层：

为了能够找到合适的调整结构，我们设计了如下的 搜索空间：

其中 的选择如下：

这些都是常见且简单的维度不变的二元运算操作。我们选择这些运算以避免 的内部结构过于复杂，以至于很容易对冷启动用户产生过拟合。

该搜索空间可以看成一个二叉树，大小为 ，其中 即感知器层数， 是个不变量（非负整数），其值越大，越有可能包含更理想的调整结构，但搜索空间也会更大，进而有效的搜索难度也变得更有挑战性。

高效搜索

原始搜索空间可能非常大，直接进行搜索难以做到高效和稳定。我们提出首先将原始搜索空间转换为一个等价但更小的空间，等价性是由运算之间的一些相似性和深度神经网络的表达能力所启发的。在转换后的空间上，我们设计了一个搜索网结构来进行高效且稳定的可微分搜索。

可以证明下图（a）的原始搜索空间与下图（b）转换后的搜索空间等价：

该空间转换简要思路如下：首先，将 中的运算分为四组：

然后通过对适应网络 对表达能力的假设，能够证明所有运算满足交换律，且同组内的运算满足结合律。这样一来，就可以任意交换一个 中一系列运算的顺序，当一组内的运算相邻时可以结合为一个运算，直到 中只存在分属于 4 组的 4 个运算，且他们仍满足交换律。

转换后的搜索空间大小为 ，空间转换这一步骤在 ColdNAS 算法中至关重要。下表展示了通过空间转换，搜索空间缩小的程度。本工作中采用的预测器 MLP 层数 ，压缩率按照 原空间大小/转换后空间大小 计算。对于绝大多数有价值的情况（ 的取值）转换后的搜索空间远小于原搜索空间，为稳定的可微分搜索带来了可能。

在转换后的空间中，对于每一个 ，由于只用考虑 4 个满足交换律的运算，只需以任意顺序判断每一个运算是否应该进行即可。通过引入可微分的参数当作运算的权重并优化这些权重参数（结构参数）的方式进行搜索，即将图 1 中红色虚线中的每一个 替换为下图中所示的结构，完成搜索网络的构建。利用构建的搜索网络即可进行稳定的可微分搜索。

实验结果

在三个经典的基准数据集上，本文提出的 ColdNAS 架构搜索策略，其整体性能表现全面领先已有工作（其中 MAE、MSE 是衡量预测值和真实值之间的差值，值越低越好；nDCG 衡量推荐列表的相关性，值越高越好）

能够数据自适应地找到合适的结构（保留的运算数 k=4）：

算法效率高，搜索并训练整个过程大约相当于基于超网络的一般方法的两倍左右时间：

与其他搜索算法的比较，ColdNAS 采用的同时优化所有参数（结构参数与模型权重）能够快速收敛到最优结构：

不同搜索空间的比较，转换后的搜索空间（T）中能够快速找到原始空间中的优秀结构：

未来工作

本文针对基于超网络进行调整的小样本学习模型提出了搜索空间和搜索算法，并在推荐系统冷启动场景中进行了实验，取得了较好的效果。在未来工作中，可以从以下三个方向进一步探索：一是对搜索空间进行扩展，引入更多种类的运算或更复杂的调整结构；二是优化搜索算法，研究如何针对不可微分指标进行有效的结构搜索；三是对应用场景进行扩展，把方法应用到其他小样本学习场景中，构建并搜索不同任务的超网络模型。

参考文献

[1] Lee, H., Im, J., Jang, S., Cho, H., & Chung, S. (2019, July). Melu: Meta-learned user preference estimator for cold-start recommendation. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 1073-1082).

[2] Lin, X., Wu, J., Zhou, C., Pan, S., Cao, Y., & Wang, B. (2021, April). Task-adaptive neural process for user cold-start recommendation. InProceedings of the Web Conference 2021 (pp. 1306-1316).

[3] Pang, H., Giunchiglia, F., Li, X., Guan, R., & Feng, X. (2022, April). Pnmta: A pretrained network modulation and task adaptation approach for user cold-start recommendation. InProceedings of the ACM Web Conference 2022 (pp. 348-359).

[4] Liu, H., Simonyan, K., & Yang, Y. (2018). Darts: Differentiable architecture search.arXiv preprint arXiv:1806.09055.

合作机会

本文以推荐系统冷启动为应用背景，探索了 NAS 在小样本学习模型中的应用。除此之外，本组还有以下新工作：

1. Understanding and Simplifying Architecture Search in Spatio-Temporal Graph Neural Networks. Transaction of Machine Learning Research (TMLR). 2023

2. Automated 3D Pre-Training for Molecular Property Prediction. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD). 2023

3. On Strengthening and Defending Graph Reconstruction Attack with Markov Chain Approximation. International Conference on Machine Learning (ICML). 2023

4. Search to Capture Long-range Dependency with Stacking GNNs for Graph Classification. The Web Conference (WebConf). 2023

5. Neural Architecture Search for GNN-based Graph Classification. ACM Transactions on Information Systems (TOIS). 2023

6. Searching a High Performance Feature Extractor for Text Recognition Network. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2022

7. Bilinear Scoring Function Search for Knowledge Graph Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2022

8. Designing the topology of graph neural networks: A novel feature fusion perspective. The Web Conference (WebConf). 2022

9. Searching to Sparsify Tensor Decomposition for N-ary relational data. The Web Conference (WebConf). 2021

10. DiffMG: Differentiable Meta Graph Search for Heterogeneous Graph Neural Networks. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD). 2021

欢迎对以上论文感兴趣的童靴们联系我们。欢迎邮件以下合作导师。

姚权铭

清华大学电子工程系，助理教授（博士生导师）

于香港科技大学计算机系取得博士学位，之后加入第四范式担任高级科学家，创建和领导公司的机器学习研究组。已在发表 CCF-A 类会议和期刊论文 70 余篇，Google Scholar 总引用 6500 余次。常任 ICML、NeurIPS 和 ICLR 领域主席（Area Chair）。获得过Google 全球博士奖研金、香港科技大学优秀博士论文奖、吴文俊人工智能学会优秀青年奖、福布斯 30Under30 精英榜（中国区）、香港科学会优秀青年科学家、全球华人 Top-100 人工智能青年学者、国际神经网络学会早期成就奖。

科研助理、博士后招聘。

邮箱：[e-mail]

主页：https://lars-group.github.io

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·