AIJ 2023 | 基于迁移学习的结合有偏和无偏数据的协同推荐
Transfer Learning for Collaborative Recommendation with Biased and Unbiased Data
1Shenzhen University
2Hong Kong University of Science and Technology
导读
项目主页：http://csse.szu.edu.cn/staff/panwk/publications/TJR/
该工作为结合有偏和无偏数据的协同推荐提出了一种新颖的联合重构迁移方案以实现两种数据之间的有效知识迁移和共享，该方法使用两种不同的模型来提取用户的偏好和偏置信息，并使用包含偏置信息的潜在表征来细化预测以获得更准确和无偏的推荐，该方法可以与现有的各种代表性推荐架构进行集成并在大量实证研究中展示了其有效性。
引言
大多数现有的推荐模型都只通过带有偏置的用户-系统交互数据训练得到，从而潜在地可能在推荐过程中继承和放大各种偏置影响。先前的工作表明引入一组额外收集的无偏数据作为模型训练过程中的监督可以有效缓解偏置效应。这可以被称为结合有偏和无偏数据的协同推荐任务。
为更好地解决该问题在实际应用中遭受的三个挑战，即如何减少有偏数据中的偏置（偏置挑战），如何以互补方式联合建模两种不同类型的数据（异质性挑战）和如何缓解两种数据之间的规模差异（不平衡挑战），本文提出了一种联合重构迁移方法。具体来说，该方法采用两种不同的模型分别提取用户的偏好表征和偏置表征，结合两个来纠正模型的预测以解决第一个挑战；该方法设计了一个联合损失函数，以统一的形式重构（无偏）目标数据和（有偏）辅助数据来解决第二个挑战；该方法设计了偏置正则约束项和双向知识蒸馏技术来缓解不平衡挑战。
技术贡献
使用线性细化预测网络在用户的偏好表征和偏置表征之间建立对应关系，并以线性方式从预测中分离偏置信息的影响； 基于偏置关系，使用统一的联合损失函数重构（无偏）目标数据和（有偏）辅助数据以促进两种类型的表征的学习； 提出了偏置正则约束和双向知识蒸馏技术来增强模型对于数据不平衡问题的鲁棒性。
方法介绍
该方法的具体流程如图1所示。其输入分别为有偏数据 以及有偏数据和无偏数据的并集 。
图1. 方法流程
首先，使用混淆编码网络 对合集进行编码得到混淆潜在表征 ，包括用户的偏好信息和偏置信息，且它将用于通过解码器生成相应的混淆预测 ；然后，将有偏数据输入到编码网络 和变换网络 中得到包含偏置信息的表征 ，并且通过相同的编码器来获得混淆预测中偏置效应的影响程度 ；最后，从混淆预测中移除偏置效应的影响程度得到更理想的无偏预测结果 。
为了促使模型在优化过程中可以有效地捕获相应的偏好信息和偏置信息，从而获得如上述所期望的两种不同类型的表征。该方法额外引入了多个辅助损失作为监督目标，包括约束混淆预测与有偏数据的标签更加趋近来更好地学习偏好信息和偏置信息的结合，约束无偏预测与无偏数据的标签更加趋近来更好地指导模型的纠偏学习，以及约束无偏预测与有偏数据的标签相对趋近来控制偏置表征影响的程度不会过大。网络使用的损失函数为：
结果展示
如图2所示，该方法与三种有代表性的推荐架构集成后，在三个基准的无偏测试数据集相较于现有的主流基线都具有更好的推荐性能。
图2. 实验结果
总结展望
有效地解决推荐系统中的各种偏置问题是迈向可信推荐的一个重要任务。本文聚焦于在无偏数据的指导下，有效地利用有偏和无偏数据的知识迁移和共享来缓解偏置问题。此外，本文提出的方法从表征层面上刻画了偏好和偏置信息的关系以及定义了相应的移除偏置效应的方式，为纠偏推荐提供了新的解决思路。
思考讨论
Q: 文章中假设偏置效应在混淆预测中的影响是线性的，是否有可能是其他的影响？
A: 是的。目前我们在实验中采用简化的假设来约束混淆预测和无偏预测之间的关系是线性的，并且可以观察到较好的模型性能改善。然而，通过引入一些更复杂的对应关系，可能可以进一步提高性能。我们将对此进行更深入的研究。
以下是开放型问题，欢迎各位读者交流讨论：
Q: 该方法依赖于额外收集的无偏数据来作为指导。然而，在很多场景中，收集这种无偏数据可能较为困难。是否有其他替代的方式来获得与无偏数据具有类似性质的模拟数据？
深圳大学计算机与软件学院
软件工程研究中心
Software Engineering Research Center
深圳大学软件工程研究中心重点研究软件中间件、程序可靠性、云计算和软件智能等技术，与华为等企业开展了产学研合作，相关成果已在中兴网信等产业化，荣获广东省科学技术一等奖和中国电子学会科学技术一等奖。
转载申请
联系电话：0755-26534078联系邮箱：wuyazhou@szu.edu.cn