专题|构造多方收益的信息流推荐系统《人工智能治理与可持续发展实践白皮书》

《人工智能治理与可持续发展实践白皮书》

阿里巴巴集团联合中国信通院编写了《人工智能治理与可持续发展实践白皮书》，于2022世界人工智能大会“数字时代的技术责任论坛”上，正式发布！全面总结了阿里巴巴在人工智能治理与可持续发展领域的实践，重点针对当前人工智能应用中的热点问题，从数据、技术、管理及多元协同等方面，系统性介绍了我们的实践思路和方法，同时辅以若干专题进行阐释，期待为社会各界提供有益参考。

白皮书全文4.5万余字，现分章节陆续分享。

往期章节回顾请点击👇：

专题

构造多方收益的信息流推荐系统

1.信息流推荐存在“信息茧房”和“马太效应”两大问题

信息流推荐算法通常在用户授权的前提下，利用用户在信息内容上的各类行为表达，理解用户的兴趣需求，为用户尽快找到心仪的内容集合、商品集合，同时也可以帮助生产侧快速获取用户。在电商场景，信息流推荐算法可以大幅提升用户和商品、内容的匹配效率，让用户、商家和平台共同受益。

在广泛应用和快速发展中，信息流推荐也逐渐出现了一些问题。一方面，对于用户可能造成信息茧房问题，具体表现为推荐结果越来越单一和同质化。另一方面，对于生产者可能造成马太效应，即流量在头部生产者的聚集现象越来越明显。

上述问题的根源，在于推荐算法设计阶段，过于关注流量的分发效率、点击率的优化、成交转化率的提升，相对忽视了用户实际体验以及生产侧供给生态的持续优化。此外，深度学习自身的不可解释等固有缺陷也给系统的优化和干预增加了挑战。

2.淘宝针对电商场景下信息流推荐算法的治理实践

淘宝积极开展技术和机制上的创新，致力于解决电商场景推荐算法的缺陷。应对信息茧房问题，不断提升推荐结果的多样性和新颖性，同时严格遵守《个人信息保护法》等法律法规要求，为用户提供推荐系统个性化退出开关。应对马太效应问题，持续孵化有潜力的中小长尾商家和高品质商品。

1）建模用户负反馈数据，减少推荐用户不喜欢的内容 

给用户提供了便利的反馈推荐问题的入口，包含用户长按不喜欢的商品、内容等，在随后出现的浮窗中选择负反馈的细分原因。推荐系统可以使用用户的负反馈信息来建模用户的负向兴趣，减少给用户推荐不喜欢的内容。

负反馈数据通常都比较稀疏，在实践中淘宝提出使用多任务学习的方法，通过其他辅助任务来帮助负向兴趣的学习。在负向兴趣建模中，分别引入用户的近期点击行为、长期点击行为来刻画用户的正向兴趣，引入用户的负反馈行为、近期曝光未点击行为来刻画用户的负向兴趣。长期、大量的线上数据表明，使用该方法能够促使针对整体商品的负反馈明显下降。

2）搭建发现性推荐链路，提升推荐系统的多样性

淘宝首页推荐搭建了独立的发现性推荐链路，专门推荐用户近期未点击过的类目商品。用户访问淘宝时，常规链路和发现性链路分别产出推荐结果，并由后续的混排算法综合这两部结果完成最终的排序。

发现性召回的逻辑主要包含四个部分。一是发现性向量化召回，即基于用户短期行为，学习用户的跨品类点击行为，为用户推荐与近期行为相关的品类。二是发现性检索召回，结合用户短期和长期行为与跨类目相似商品索引，构建发现性推荐能力。三是时令召回，在节假日、果蔬上市时间、季节更替等时令节点到来之前，将对应的商品召回。四是基于认知推理的标签召回，基于标签/类目构建知识图谱和推理链路，实现拓展用户兴趣的目的。

3）开展全链路无偏学习，刻画用户多样的兴趣分布

相比于传统针对单场景或单任务建模的方式，利用用户在淘宝多场景的数据进行学习，可以更好地刻画用户兴趣分布。但由于不同场景的数据分布差异性较大，导致直接使用多场景数据进行训练的效果往往不理想。

针对此问题，提出了信息流推荐全链路无偏学习解决方案，充分利用推荐系统的漏斗型结构以及淘宝多场景的数据，解决了单场景单任务建模遇到数据选择偏差问题和数据稀疏问题，如下图所示。模型在首页信息流推荐落地后，对打破推荐中越买越推的循环起到了明显的改善效果。

4）开辟新品赛道，助力中小商家快速成长

为了缓解马太效应，淘宝开辟了新品赛道，帮助中小商家解决新品上架后启动流量低的问题，同时建立了分层机制帮助优质新品快速成长。具体实现上，设计了新品冷启动机制，在新品发布后给予一定的初始流量保障。在初始流量保障下，新品就能够顺利度过冷启动阶段，进入正常的优胜劣汰的排序机制。

为进一步提升流量的利用效率，淘宝提出了基于多模态迁移网络的算法选品模型，更准确高效地预测新品的成长潜力，挖掘出更多的潜力新品进行孵化。项目上线后在各类目都获得了广泛的应用，并取得了良好的业务效果。

5）通过精准商品潜力挖掘，助力乡村振兴

相对于头部的大商家，后发展乡村的中小商户和企业的商品由于自身的劣势在海量商品中难以被发现，优质商品容易在竞争激烈的市场中被埋没。针对这一问题，首先通过层次图神经网络算法分析市场中商品与商家的经营表现构建商品的基础画像，与市场中消费者的潜在需求进行匹配，从而发现中小商户发布商品的潜在用户机会。其次针对缺少用户行为的商品通过元学习构建了能够快速适应数据的商品表达，并提出深度兴趣迁移网络从而通过知识迁移实现对于商品成长的精准预测。

基于该技术打造的商家赋能系统帮助湖北恩施、陕西富平、甘肃定西等后发展地区商家快速成长，为淘宝平台上的中小商家日均带来近千万的成交增量，为实现共同富裕添砖加瓦。相关成果形成论文《Hierarchical Bipartite Graph Neural Networks: Towards Large-Scale E-commerce Applications》发表在ICDE-2020。

🌟下期预告专题：《维护电商平台信息真实和竞争公平》

我们将持续更新，敬请期待😚～关注【AAIG】公众号，回复「 白皮书 」一键下载全文👇

 今日推荐 👇AAIG课代表，获取最新动态就找她

 ❤️关注公众号发现更多干货

有启发点在看喔👇