【技术博客】数据驱动精准化营销在大众点评的实践
精准化营销一直以来都是互联网营销业务在细分市场下快速获取用户和提高转化的利器。在移动互联网爆发的今天，数据量呈指数增长，如何在移动和大数据场景下用数据驱动进行精准营销，从而提高营销效能，成为营销业务部门的主要挑战之一，同时也是大数据应用的一个重要研究方向。本文通过数据体系架构和技术实现案例，分享美团大众点评数据应用团队在这个方向上的一些尝试和实践经验。
总体框架
在介绍数据体系和框架前，为了方便大家理解，先简单阐述一下O2O营销的基本组成：O2O营销是由营销发生的渠道（站内，站外）与营销的主题业务（流量，交易）两个维度组成的，其中产生了多种营销的形态，如精准化用户营销活动、DSP的精准投放、渠道价值排名和反作弊等，数据分析和挖掘在这些环节都能发挥很大的价值。本文主要阐述站内的精准化用户营销活动。
一个站内用户运营活动的生命周期大概可以归纳为：确定目标、选取活动对象、设计活动方案、活动配置与上线、线上精准营销与动态优化以及效果监控与评估六个环节。如下图所示。
在这个周期中，数据都有巨大的发挥空间与价值。我们在项目启动后与业务充分沟通，了解其业务痛点，确定一期主要尝试从数据上帮助运营和财务同事解决以下几个问题：
① 营销活动前：确定目标和选取活动对象
② 营销活动中：效果监控和跟踪；用户和商户端策略的输出
③ 营销活动后：效果评估和优化建议
对于①的目标确定，以前更多是拍脑袋决定，缺乏一套稳定的分析框架和模型。而活动对象，包括用户和商户/团单选取，需要业务和BI同学每次人工跑数据得出，效率低下。
而对②和③，更是缺乏一套公司的营销监控平台，时常出现预算花超不可控的情况。活动结束后，效果数据也是各个业务方自己给出，口径不一致导致难以整体评估效果。
系统架构
基于上述的业务场景和需求，我们用分层的金字塔架构设计了一套营销数据系统和服务，有效满足了业务的诉求并具有很好的平台扩展性。
最底层是我们的数据仓库和模型层，这里又大致可以分为三个主题：画像，运营和营销，流量。这三个都是运营活动必不可少的数据组成部分。
对于画像，我们的做法是部分自主建设，同时集成业务方如搜索、广告和风控团队开发的画像标签，形成统一的画像宽表。目前我们的用户标签体系覆盖了包括：基本信息、设备信息、消费浏览以及特征人群等5个大类的180多个标签。在标签的实现上，我们也秉承从需求出发的原则逐步迭代，从最初的以统计和基本的营销模型如RFM为主，到现在在潜在用户挖掘和用户偏好上开始探索使用机器学习的挖掘方法。
在营销运营集市上，我们与财务和支付系统协作，开发了一套公司预算流水号系统。运营人员在配置活动时，从财务申请预算流水号，并在优惠后台配置与对应活动关联，用户享受优惠的每一笔订单都会在业务表中进行打点，做到在最细粒度上的预算监控。同时在用户、商品等维度建模后，形成了营销交易评估的指标体系：新用户成本，新老用户分布，7天、30天购买留存等。
活动评估的另一个维度就是流量：活动页的点击、转化漏斗、不同渠道来源等指标是运营人员无时无刻不关心的，这部分模型作为数据中心数据仓库中核心的一环。我们参考了其他公司的做法，建立了自己的PV、UV、Session以及路径树转化等模型，可以很好地满足运营需求。
在数据仓库之上，我们建立了数据服务层。在统一使用公司高性能的RPC框架之上，针对不同的应用选择了差异化的数据存储和查询引擎。比如在画像服务中，需求是满足线上业务系统的实时访问需求，要求毫秒级的并发和延迟，因此我们选用了Redis作为存储。而相较之下，分析类产品对并发和延迟要求相对较低，但对数据在不同维度上的聚合操作要求较高，在对比了Kylin、ElasticSearch（以下简称ES）、Druid后，我们决定使用ES作为存储和查询引擎，主要有2个理由：一是我们有留存等指标，需要重刷数据，而对于Kylin来说，无法使用其提供的自动增量cube机制，重建数据代价较大，同时ES在同样的维度上，空间膨胀度上比Kylin少近一半；二是ES整个系统设计和架构非常简洁，运维方案简单，也有专门的工具支持，对于当时没有专职运维的开发团队来说是一个捷径。
最上层是数据产品和应用，针对前面提到的运营活动的不同阶段提供数据平台和工具：
人群分析平台（Hoek）：用户可以通过选择画像服务提供的不同的标签组合快速创建人群包，创建的人群包可以提供给其他不同业务和形态的营销工具，如push，促销工具等。
智能发券引擎（Cord）：通过配置后台和Hoek平台，运营人员就可以完成定向活动受众和策略的配置，而无需开发接入。具体细节在后面的案例分享中再详细介绍。
云图/星图：完成活动效果数据查询和分析的工具平台，构建基于ES的查询引擎，提供多维度的实时指标查询。
除了系统化的建设外，在运营活动的迭代中，我们与业务合作，进行了大大小小20多个专题分析，产出了包括闪惠预算动态分配、闪惠立减梯度优化、用户价值分以及免费吃喝玩乐选单等主题模型。帮助业务提高预算使用率30%，同时更好地评估拉新带来的用户价值。
整体的架构最终是为精准化营销服务，下面就结合两个案例具体介绍。
案例分享
外卖潜在用户挖掘
精准营销一个主要的方向就是潜在客户挖掘，特别是在点评这个平台上，目前已有包括美食、外卖、丽人、教育等近20个业务，如何在平台近一亿的活跃用户中挖掘垂直频道的潜在用户就成了精准化营销的一个很现实的问题。Facebook和腾讯的广告系统都提供类似的Lookalike功能，帮助客户找出和投放人群相似的用户群，其广告的点击率和转化率都高于一般针对广泛受众的广告。
目前常用的潜在用户挖掘方案主要就是基于画像或者关系链的挖掘，我们团队从需求出发，结合点评的画像体系从关联规则、聚类和分类模型三个算法上进行了探索。对比效果如下：
未来我们除了在分类和聚类上进一步优化外，还计划利用点评好友关系，使用Spark的GraphX建立标签传播的算法进一步深挖高质量的相似用户。
微信红包精准优惠券引擎
另外一个精准营销的案例是智能发券引擎Cord，背景是点评会在微信群/朋友圈中用红包发各种优惠券，当好友来领券时，如何决定发哪个业务什么面值的券更容易转化。本质上是一个简化的推荐问题，我们也参照广告系统的架构设计了Cord引擎。主要包含分流模块（用于灰度发布和AB测试）、召回模块（负责从画像服务和优惠配置系统获取人和券的物料信息）、过滤模块（负责进行两者的匹配）、推荐模块（可以根据业务规则或者我们挖掘的策略对结果进行排序，返回給活动系统最合适的优惠券进行发放）。整个系统实现完全服务化和可配置化，外部的活动系统可以根据配置的开关启用或者在特殊场景下禁用Cord服务；而Cord内部，也可以根据配置中心的设置，动态调整推荐策略。在数据挖掘上，目前除了业务配置规则外，我们针对公司主流的运营方式，基于画像中的用户偏好和优惠敏感等标签进行综合打分，抽象了以GMV为目的和以拉新用户为目的的推荐策略。
总结
精准营销是目前大数据落地的一个公认的场景，但随着移动互联网和O2O的发展，这一领域也会有新的问题和挑战出现。结合我们这一年多的实践经验，团队也归纳了一套数据系统架构的设计原则：
在数据架构和建设上，从需求出发，建立准确和易用的数据底层模型，统一指标体系和口径。
在数据服务上，通过分层和SOA的思想，解耦与业务系统的逻辑。同时针对不同需求和场景选择适合的技术组件。
展望未来，在数据上如何快速地进行挖掘模型的开发，在架构和产品上满足更多场景，让数据在营销上发挥更大的价值，是下一步的重点方向。
全文请点击下面“阅读原文”查看。