阿里妈妈展示广告智能拍卖机制的演进之路
本文为「DataFunSunmmit：互联网核心应用算法峰会」演讲实录
编辑整理：熊佩 华中师范大学
导读：近几年，互联网广告营销市场规模不断扩大，其累计市场规模已达千亿。机制设计在广告投放中扮演着核心角色，如何帮助广告主出价以赢得更有价值的流量，如何设计激励兼容的机制以保障平台收入和稳定、可持续的健康发展等都属于这个范畴。本文基于阿里妈妈展示广告业务，详细介绍广告智能拍卖机制的演进之路，主要内容如下：
阿里妈妈展示广告业务背景介绍
阿里妈妈展示广告业务现状与分析
AIDA广告智能决策分配框架
智能拍卖机制演进之路
AIDA广告智能决策分配框架未来规划
提到机制设计，大家首先想到的词是什么呢？经济学，囚徒困境，博弈论，激励兼容。从本质上来说，广告其实是一个经济学问题，机制设计是这个问题的核心。这其中包含了很多研究问题，比如对于每次展现机会应该分配给哪些广告主，并扣多少钱；在广告主相互博弈的商业系统中，如何设计广告拍卖机制才能保证广告主说真话，并使得广告平台博弈均衡。智能拍卖机制是这两年来阿里妈妈展示广告团队逐步摸索并建立起来的一个方向，近期也被列为了阿里妈妈八大智能方向之一。下面我会从整个技术发展的脉络出发，给大家汇报下我们在这个方向上的工作。
1. 阿里妈妈消费者全链路精准营销核心场景
阿里妈妈展示广告主要是指阿里妈妈展示域媒体的商业营销产品，常见的产品有超级推荐和超级钻展。经过近几年高速发展，展示广告已经成为阿里妈妈的核心产品，持续为数以百万的广告主提供营销服务，每年为集团贡献可观收入。
投放媒体方面，展示广告涵盖了淘内所有的展示位和信息流；淘外也接入了阿里集团内多数Apps，比如支付宝、优酷等；同时，阿里集团外的媒体比如头条等都接入，以帮广告主实现全媒体渠道投放。对于广告主，可以做到消费者全链路精准营销。对于消费者，在阿里的媒体内、外，整个投放路径上，可以体验到更优质的广告服务。
广告主投放目的方面，广告主商品种类繁多、营销目标各异。为了更好地满足广告主的营销服务，阿里妈妈推出了一系列的智能营销工具。比如品牌广告的合约售卖模式，效果广告的CPM/CPC/CPA售卖模式，针对这些基础类型投放的一些优化产品有OCPM/OCPC及更加智能的BCB/MCB等。另外，展示广告资源位也越来越多，为了帮助广告主同一份预算投放在所有媒体上，近期阿里妈妈也推出了展示OneBP。
2. 大媒体广告平台下的多目标利益优化
现在的媒体搭建广告平台，并运营广告主，形成了包含媒体-广告平台-广告主的大媒体形式。在这种全新营销背景下，多目标利益优化是广告平台重要优化方向。广告主有多个异质化营销目标，比如曝光、拉新、转化等。而媒体需要优化用户体验，在电商场景上又有拉动GMV的要求。比如钻展需要调控CTR以提升用户体验，信息流要优化广告主ROI。而这种大媒体形式下的广告平台，除了优化广告收入之外，还需要考虑到广告主、媒体等多方利益的优化诉求。
机制策略是整个广告系统的核心，通过出价、分配和计费决定哪些广告主的广告最终展示及费用，从而影响广告主和广告平台的效果。因此，机制策略需要设计灵活的决策算法帮助广告主优化多样的营销诉求，通过设计拍卖机制实现平台的多目标优化。由于广告系统存在多方博弈，机制策略还需要具备良好的经济学性质。最后，广告系统的发展需要持续的帮助广告主创造增量价值，并引入增量流量增加收入，所以无论对于策略迭代还是新场景的接入，都需要设计好的顶层框架，来推动业务的快速发展。
阿里妈妈展示广告，在AIDA系统之前，在解决多方利益优化问题上，使用了平台视角的OCPC，其基本思路就是通过调节bid来优化广告的多目标，同时又通过把bid约束在一个区间内来保证广告的利益。仔细分析下来，就会发现这个方案其实把多方利益耦合在一起来进行优化，这样效果上就会存在跷跷板效应。我们对这个问题进行了思考，这个算法的耦合状态限制了多方利益的同时优化，且统一的ROI约束很难适应新的优化目标的接入。而为引入增量流量，未来要接入新的的场景和业务模式，原有的框架把代码多次拷贝，导致了系统非常臃肿，难以维护和迭代。这也是为什么我们要设计AIDA这一面向未来业务发展的框架。
面向未来业务发展，多方利益优化、经济性公平均衡等，阿里妈妈展示广告设计了智能决策分配框架，简称AIDA。
AIDA基于业务未来发展趋势，以算法架构先行，引入拍卖机制作为理论基石，设计了AIDA分层协同算法框架。算法框架分为两层，下层是面向广告主多目标诉求的Bidding智能体，将广告平台流量价值货币化。上层是通过拍卖机制优化整个广告平台的目标。下层通过bidding机制撬动整个平台侧的分配机制，上层通过经济学性质保证下层广告主利益均衡。
在这个算法框架下，广告主的多样化优化目标是独立的，新增的广告主或者营销目标，可以灵活插拔式优化。面向广告主目标优化的出价算法在经济学拍卖机制保证下，通过博弈均衡保证系统的稳定性。AIDA框架前展示广告的拍卖机制是静态的，比如GSP、VCG等，为了打开效果优化的天花板，并利用工业界海量数据的优势，并结合深度网络的强大的学习能力，打造了智能拍卖机制的方向，从而诞生了Deep GSP 和Neural Auction等这样的拍卖机制策略。最后，为了能够更好的支撑业务发展，和工程团队一起搭建了平台化框架，这样新场景或者新业务来的时候，能够快速的把机制策略的能力补全。
综合来看，AIDA分层协同算法框架，通过bidding智能体优化广告主多目标，通过智能拍卖机制提升平台分配效率。AIDA平台化的工程框架，快速支撑业务迭代。
1. 为什么要做智能拍卖机制
如前所述，大媒体形式的广告平台需要优化多目标，但是广告平台的多目标优化不等同于经典的多目标优化问题，在广告博弈场景下，需要设计面向多目标优化的拍卖机制。而经典的拍卖机制，比如Myerson Auction，GSP、VCG等，往往只考虑单个目标优化，没有办法直接应用到多目标的优化上。
近几年学术界将深度学习和强化学习技术应用到拍卖机制领域中，显著地提升了优化效果。以哈佛，Google Research为代表的学术界在深度拍卖机制做了大量的探索，其中RegretNet在深度拍卖机制里受到广泛关注。但是学术界设计的拍卖机制理论假设很强，难以应用到工业界。
因此我们开始思考，如何设计新型的面向多目标优化的拍卖机制，并结合工业界海量数据的优势，通过深度网络提升机制的优化能力。
2. 问题定义和挑战
基于以上背景，阿里妈妈展示广告定义了多目标拍卖机制的问题及挑战。
① 问题定义
其中f(b;M)函数是优化目标，比如RPM、CTR、GMV。优化目标的约束条件是经济学性质，比如均衡博弈，即在保证良好的经济学性质下优化多目标。
② 面临挑战
如何将经济学性质融入到机制设计中，即博弈均衡是一个经济学问题，如何用简洁的数学形式表达，并融入模型中学习。
如何面向后验目标优化，即很多优化目标指标难以精准估计，只能通过真实反馈的方式才能获得。
如何灵活调控多目标，即不同阶段优化目标不一样，如何设计更灵活的调控机制，满足不同阶段优化目标。
3. 深度网络赋能拍卖机制(Deep GSP)
① 面向多目标优化的智能拍卖机制Deep GSP
定义展示广告智能拍卖机制的问题边界后，调研了具备经济性激励兼容的Myerson Theorem理论，该理论的充要条件有两个，一是单调分配，即广告主出价越高，获得展示分配的概率越大；二是最小扣费，即保证广告主恰好竞得展示流量的最小扣费，等价于第二家广告主的出价。同时，Myserson理论能推导收入最大化的最优机制。假设广告主value的分布已知且独立，能推导出一种最优的广告的分配函数，根据分配函数及广告主的出价决定流量给哪个广告主。
基于Myserson启发及GSP框架，设计了具有良好的可解释性且易于部署的Deep GSP机制。该机制定义了分配形式，当给定广告主的竞价队列时，在遵循Myserson激励兼容充要条件下，根据广告主自身的特性学习模型系数 ，从而影响rankscore决定分配及扣费。当满足对单调递减，Deep GSP对于效用最大化（utility maximizer）单个广告主满足激励兼容，多个广告主满足纳什均衡。同时，对于value maximizer广告主也满足激励兼容。
② Deep GSP关键创新技术
简单介绍Deep GSP的关键创新技术，具体细节可以参考论文。
首先，单调性保证广告主单调分配。bid作为网络特征，单调递增代表网络对特征的梯度大于0，设计网络时需考虑单调性部署。
其次，站在平台机制视角，需要决定给广告主什么动作，哪个广告主胜出。最好的机制是让所有的广告主配合起来，让最好的广告主胜出，差的广告主失败，然后评估对广告主动作的好与坏，以及对整体效果的影响有多少，其中涉及到信用分配的问题，结合启发式算法综合考虑每个广告的质量，对整体的影响做reward。
最后，面向一个真实反馈做模型的训练。和其他强化学习不太一样，没有使用模拟环境，而是基于真实的环境产生数据，然后做闭环的训练，这样可以保证优化效果真实有效。
③ DeepGSP业务贡献及学术沉淀
在多目标优化方面，帕累托曲面显示Deep GSP效果优于GSP、uGSP。在提效与多目标调控方面，Deep GSP在2020.5-2020.11共做了多次技术升级，通过面向真实反馈优化，提升了平台分配效率，累计拉动信息流广告大盘两位数增长。多目标调控方面，多次用于业务决策提升CTR和ROI，调控效果显著高于uGSP等策略。
Paper "Optimizing Multiple Performance Metrics with Deep GSP Auctions for E-commerce Advertising" 被WSDM'2021接收，大会对文章也做出了“开创性”称赞。
4. 端到端优化的拍卖机制(Neural Auction)
① 智能拍卖机制的进一步思考Neural Auction
Deep GSP是基于广告粒度建模，通过信用分配解决强化学习优化方向。但是存在两个问题，第一，信用分配难，Reward设计非常依赖业务经验；第二，搜索空间大，如果<状态，动作>探索不充分，很难找到最优解。
为突破Deep GSP的问题，经过多智能体value分配或者集合建模，尝试将所有的广告主参竞放在一个集合中优化，建模和效果在同一个维度，省去做信用分配，单目标优化有效，但是多目标优化效果不明显。单目标是端到端优化，只要学出value的分布，然后进行softmax，将最大的作为展示广告，第二作为扣费。多目标下需要对所有的广告先排序，基于排序结果进行分配扣费，但是排序过程不可微，无法像监督学习通过优化效果，通过Loss反向传递驱动模型训练。因此，推出Neural Auction拍卖机制，通过最后的效果反向传导的方式，驱动整个模型训练，实现端到端学习。
② Neural Auction - 端到端优化的拍卖机制
基于可微排序算子，实现整个过程的端到端学习。
沿用“基于rankscore排序”的机制分配框架，并使用深度神经网络计算每条广告的rankscore，Neural Auction主要由三部分模块构成：
集合编码器（Set Encoder），学习整个竞价队列的上下文信息，输出一个定义在竞价队列上的特征；
上下文评分函数（Context-Aware Rank Score Function），以单个广告的特征和竞价队列特征作为输入，学习每个广告的排序分数，并保障广告主的 IC/IR 性质；
可微排序引擎（Differentiable Sorting Engine），以竞价队列所有广告的排序分数为输入，以可微的形式进行排序操作，并进一步计算在当前排序分状态下的其他估计指标。
③ Neural Auction技术细节 - Differentiable Sort Engine
④ NeuralAuction 业务贡献和学术沉淀
在多目标优化方面，帕累托曲面显示Neural Auction效果优于GSP、uGSP、Deep GSP。在提效与多目标调控方面，Neural Auction在2021.4 - 2021.6做了多次迭代升级，在展示广告多个场景效果取得大幅提升。大促期间，多目标调控显著提升了广告ROI。
Paper “Neural Auction: End-to-End Learning of Auction Mechanisms for E-Commerce Advertising”已经被KDD2021接收。
5. AIDA平台化 - 面向机制策略的平台化框架
为了支撑业务的快速发展，提升策略迭代效率，设计了面向机制策略的平台化框架AIDA。其中两个创新的模块是：
图化在线服务引擎，也称为AIDA agent。属于业界开创性的基于TensorFlow框架将机制策略以图化的编程模式、高并发的提供服务。
离线策略解决方案部分，为了业务灵活快速接入，且保障算法服务调用的稳定性，将离线策略沉淀到阿里妈妈的星云平台。该平台是展示广告核心的离线解决方案框架。
智能拍卖机制设计在阿里妈妈展示广告初现成果，AIDA平台化工程框架对机制策略迭代效率，提供的服务性能等也产生深远价值。对于广告智能决策分配框架有如下五方面规划：
技术纵深：虽然初步探索出机制设计的几种解决方案，但工业界机制策略是非常复杂的问题，目前技术只解决了小部分问题，更多的业务场景需要把技术做得更深。
新场景、新技术相互促进：新业务能给技术带来新视角，同时，新技术也能给业务带来新的想象力。比如按照点击售卖，或者按照展现售卖等，诞生了很多新需求。比如集合拍卖，需要技术突破，促进业务突破。
广告生态优化：面向整个广告系统可持续健康发展，比如广告主扶持，新品、新客冷启动等。
基础机制理论探索：传统的机制设计，假设广告主优化目标单一，物理推导或者技术设计相对简单。目前整个智能化的广告系统，广告主营销的商业目标变得更加多样化。广告主优化目标的研究，决定机制设计优化方向。
开源和平台化：策略或机制设计上有成效的结果，通过论文形式公开共享，同时，在工程上实现开源和平台化。
END
#阿里妈妈 校招实习生/研究型实习生/社招 招募#
关于我们：阿里妈妈展示广告团队，基于阿里生态内外海量用户/商家/媒体数据，面向全网流量每天实时进行千亿规模的广告投放，优化阿里广告技术体系，驱动业务增长，并推动技术持续走在行业前沿。团队自主研发了大量的核心算法技术，如TDM、DIEN、Deep GSP、Neural Auction等。
加入我们能给你带来什么：[1] 技术落地的巨大业务价值。在这里，有超大规模电商数据，有着广袤的业务场景，你的每一个想法都有机会在这土壤上落地、创造巨大的价值！[2] 技术深度的提升。在这里，有各位行业技术大咖，还有顶尖高校合作项目，你可以和他们面对面讨论交流，碰撞思维，激发你的潜能！
提供的岗位：机器学习岗位。[1] 校招实习生，面向23届毕业生；[2] 研究生实习生，不限毕业时间的优秀硕士博士生。[3] 社招，背景相关的社招。
岗位要求：机器学习岗位，在a.搜索、推荐、广告算法；b.深度学习、强化学习；c.自然语言处理；d.知识表示及推理；e.图像识别；f.统计机器学习；g.广告售卖机制等方向背景匹配的都可以来尝试。
投递简历邮箱（请注明-展示广告机制策略）：alimama_tech@service.alibaba.com