阿里妈妈技术团队 5 篇论文入选 TheWebConf 2022

近日，第31届国际万维网大会(The Web Conference / WWW)审稿结果出炉, 阿里妈妈技术团队有5篇论文入选。

TheWebConf 成立于1989年，原名为“The International World Wide Web Conference (WWW)”，于2018年正式更名为“The Web Conference, TheWebConf”。至今已成功举办30届，是网络系统与应用交叉领域的顶级学术会议，也被列为《中国计算机学会推荐国际学术会议和期刊目录》中交叉/综合/新兴类的A类学术会议(CCF A类)。今年会议将于4月25-29日在法国里昂以线上会议形式召开。本届会议共收到1822篇长文投稿，其中有323篇长文被接收，接收率约为17.7%。

阿里妈妈论文概述

接下来为大家介绍阿里妈妈技术团队入选论文，后续我们将邀请论文作者详细解析论文思路和技术成果，欢迎关注~

▐ Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction

基于实时样本回补与label修正的无偏CVR延迟反馈建模

摘要： 在广告场景中，CVR预估同时作为排序机制与CPC、oCPX等多种出价策略的基础模块，承担着平台效益与广告主ROI兼顾、保持电商广告平台健康发展的重要职能。同时，为了使模型能够快速适应流量的实时变化，提升模型的预估能力，商业系统中通常以在线学习的方式实时更新模型。然而，在线学习场景下，成交普遍存在的、显著的延迟反馈现象将更加严重，进一步提升了CVR预估的难度。业界主流的CVR延迟反馈建模方法通常引入一个观测窗口来平衡label准确性和样本时效性，并设计不同的样本回补机制来充分利用稀疏的各类反馈信号，最后应用重要性采用来消除观测分布和真实分布上的偏差。但现有方法在应用重要性采用的过程中都错误地将假负样本当做真负样本进行处理，导致实际上有偏的建模。我们提出了DEFUSE方法(DElayed Feedback modeling with UnbiaSed Estimation)，将观测样本划分为4种类型，在此基础上优化了重要性采用的推导和应用方式，通过在4类样本上更细粒度地应用重要性采样，实现了CVR延迟反馈的无偏建模。针对归因周期较小的场景，我们提出了一种基于观测窗口内外成交独立建模的Bi-DEFUSE方案，将CVR预估拆分为两个子任务，充分利用了无偏的窗口内分布进行建模，并采用多任务学习框架实现了联合训练。详尽的离线实验充分验证了DEFUSE、Bi-DEFUSE设计思路的合理性，取得了相对业界主流方案更加显著的收益。目前，该建模方案已在阿里妈妈搜索广告主场景全量上线，取得了显著的在线效果。

▐ UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized Knowledge Distillation

CVR预估模型去偏：基于不确定性约束的知识蒸馏

摘要： 转化率 (Post-click Conversion Rate, CVR) 预估是广告/推荐系统中的一项重要任务。传统 CVR 模型通常在点击空间中训练，由于在线服务时需在曝光空间中推理，模型性能受限于训练/推理空间不一致的样本选择偏差问题 (Sample Selection Bias, SSB)，而已有的全空间 CVR 模型均未充分利用未点击样本。为缓解 SSB 问题，我们从未点击样本中提取知识，提出基于不确定性约束的知识蒸馏框架 UKD (Uncertainty-Regularized Knowledge Distillation) 实现全空间 CVR 预估，其包含一个点击自适应的教师模型和一个不确定性约束的学生模型。教师模型借鉴领域自适应的方式，学习曝光样本的点击自适应表示并生成未点击样本的伪转化标签。生成伪标签后，学生模型利用点击样本和未点击样本进行全空间训练。同时，学生模型引入不确定性建模伪标签中的固有噪声，在蒸馏过程中自适应地削弱噪声的影响以取得更优的预估效果。在多个外投广告场景上的实验结果表明 UKD 优于以往的去偏方法，在线实验进一步验证了 UKD 在 CVR、CPA 指标上获得了显著提升。

论文下载：https://arxiv.org/abs/2201.08024

▐ MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration

MBCT：基于树模型的特征可感知的个性化校准方法

摘要： 概率预估（如点击率，转化率）是搜索推荐和计算广告领域的核心技术之一。以广告场景为例，概率预估的准确性会直接影响平台对每条流量的价值判断, 继而影响流量的分配与计费，相比于搜索推荐场景更关注预估模型的排序能力，广告场景对预估的绝对值准确性有着更高的诉求。但是目前大多数预估模型主要在优化分类的准确性，而不是概率值的大小。因此，学者们提出了校准算法来对预估模型的输出概率进行修正。现有的校准方法主要可分为分箱（Binning）和缩放（Scaling）两类。其中分箱方法已经被证明在分布无关的假设下校准效果具有充分的误差保证，所以我们也考虑延续分箱校准方法进行算法优化。现有分箱校准方法存在两个主要缺点：a）分箱方案只考虑模型原始预估值，即仅根据预估值大小进行分箱和校准，严重限制了效果天花板；b) 分箱校准是非个性化的，会将一个分箱中的所有样本校准成相同的值，不适用于对排序能力敏感的计算广告领域。我们提出了一个特征可感知的分箱校准框架（Feature-Aware Binning Framework），通过树结构算法学习原始模型在特征空间上的误差范式来优化预估误差，简称MBCT（Multiple Boosting Calibration Trees）。我们在树的每个节点中应用线性函数进行校准系数映射，实现了单样本粒度的个性化校准能力。由于MBCT方法是非保序的（即预估值与校准值不严格保序），具备进一步优化预估值排序效果的空间。我们选择了三个不同应用领域的数据集进行验证，结果表明MBCT在校准误差和排序效果优化方面均表现出明显的优势。此外，我们还设计了一个全新的校准评价指标MVCE（Multi-view Calibration Error），从多维度视角全面度量校准误差，多组仿真实验表明MVCE是目前进行校准效果度量的最优指标。目前，MBCT部署在阿里妈妈展示广告平台中，取得了显著的业务收益。

▐ On Designing a Two-stage Auction for Online Advertising

在线广告两阶段拍卖机制设计

摘要： 在线广告拍卖机制通过设计分配和扣费机制来优化社会福利、收入等指标。学术界通常假定广告系统经过一次拍卖就可以在所有的参竞广告上得到最终的分配结果。但工业界在线广告系统广泛采用两阶段的拍卖架构，在前序拍卖时通常采用复杂度低的预估模型和机制策略初选广告候选集，并在后续阶段通过精细且复杂度高的预估模型和机制策略来确定最终拍卖结果。这样的架构为了保证满足在线广告系统的时效性要求，但是可以发现这两阶段的决策过程是相互独立的，实际上前序拍卖结果的质量会显著影响到后续拍卖的效果，因此这种直观的两阶段拍卖机制在效果上并非最优的。在本文中，我们研究了两阶段架构中前序和后序预估模型及机制策略的关系，并通过考虑两个阶段间的决策交互来设计一个两阶段协同广告拍卖机制。通过在前序拍卖阶段解决随机子集选择问题并在后序阶段使用广义二价拍卖来重建两阶段拍卖的关联，并证明了这种模式仍然保持了拍卖机制的激励兼容性。由于前序拍卖阶段的建模是一个NP计算难题，通过定义一个新的子集选择指标，即预拍卖分数 (PAS)，提出了一种可扩展的近似解决方案。在公共和工业数据集上的实验结果表明，与直观的两阶段拍卖和其他基线相比，本文提出的两阶段广告拍卖机制在社会福利和收入等指标上有显著提升。

论文下载： https://arxiv.org/abs/2111.05555

▐ DC-GNN: Decoupled Graph Neural Networks for Improving and Accelerating Large-Scale E-commerce Retrieval

DC-GNN：面向大规模广告召回场景的解耦式图模型方法

摘要： 在大规模广告召回场景中，图神经网络（GNN）由于其强大的拓扑特征提取和关系推理能力成为最先进的技术之一。大规模广告召回场景通常包含了数十亿量级的商品和数百亿量级的交互关系，导致传统的基于GNN的召回方法训练效率低。在训练效率的限制下，通常只能应用浅层的图模型算法，这极大限制了图模型的表达能力，从而降低了广告召回的质量。为了提升训练效率以及图模型表达能力，我们提出了解耦式图模型方法（DC-GNN）以改进和加速基于GNN的大规模广告召回。DC-GNN主要包含三个阶段：预训练（Graph Pre-training）、深度聚合（Deep Aggregation）与双塔CTR预估。具体来说，预训练阶段设计有监督的边预测任务（Link Prediction）和自监督的图多视野对比学习任务（Multi-view Graph Contrastive Learning）相结合的多任务学习来重点学习图节点属性信息，同时有效增强GNN鲁棒性；深度聚合阶段利用异构线性图算子（Heterogeneous linear diffusion graph operators）进一步高效挖掘图深层结构信息来增强图节点的向量化表达；双塔CTR建模阶段将前两个阶段生成的节点向量化表达作为输入，获取预估分数以进行广告召回。DC-GNN通过将双塔CTR预估和图操作进行解耦，使得训练复杂度独立于图结构，有效提升了训练效率。同时，深层聚合阶段允许更深层次的图操作以挖掘高阶图结构信息，从而有效提升了模型的表达能力。大规模工业数据集实验表明，本文所提的DC-GNN方法在大规模广告召回场景下模型性能和训练效率都获得了显著提升。

END

也许你还想看

丨阿里妈妈技术团队4篇论文入选WSDM 2022

欢迎关注「阿里妈妈技术」，了解更多~

疯狂暗示↓↓↓↓↓↓↓