用户画像专题热力来袭！两位专家现身说法授绝招

原创 2016-11-28 汪尚&面包君 R语言中文社区

十一月，国务院所发《关于推动实体零售创新转型的意见》的创新服务体验部分提到，支持企业运用大数据技术分析顾客消费行为，开展精准服务和定制服务，灵活运用网络平台、移动终端、社交媒体与顾客互动，建立及时、高效的消费需求反馈机制，做精做深体验消费。

而在相应的技术与数据线，当下的高频词“用户画像”，便是其中一项重要的方法与技术。

天善智能特此整理两位行业专家分享内容，寒冬来袭，热力奉献。

此外12月01日（周四晚）听民生银行数据分析师张安蒙民生银行客户画像搭建与应用，大家不要错过啊。

参与方式

扫描文末二维码 | 阅读原文

话题一：数据挖掘在会员分析方面的应用

现在我们开始第一个话题的讨论： 1、数据挖掘在会员分析方面的应用，包括并不限于会员分级、精准营销、交叉销售、流失分析等。

汪尚：

今天的机会真的很好，我之前一直做的是线下的分析，今天能和知乎的专家一起交流，刚好能够互补，也希望大家能够踊跃参与进来，把这个平台真正作为大家共同的学习平台。

在数据分析技术不断推陈出新、企业数据积累越来越丰富、大数据技术被应用越来越广泛的今天，对比国内外，重视的行业并不相同，我国仍然像之前那样重视信息化的还是像银行金融、互联网、运营商这些行业，而在零售、连锁经营（像百货、酒店、餐饮、药店、超市等）这些容易见效的行业却远不如国外。国外在这方面已经有20年的经验，像我们熟知的沃尔玛、肯德基、星巴克无不是以数据运营精细化管理。

由于这几年零售业发展面临的考验越来越严峻，国内一些企业已经开始重视对数据的应用。从这几年的发展来看，大数据挖掘在这些行业的应用主要存在这三方面的问题：

第一个问题：数据质量较差，这主要是之前对数据的采集和管理不够重视，我说的主要针对线下，电商除外，因为这些大的电商的数据质量还是很好的。

第二个问题：本身国内在这方面的人才就短缺，而这些行业的福利待遇相对银行、互联网等行业缺乏竞争优势，所以对相关人才的吸收能力不够。

第三个问题：国内在这些方面的经验积累不够，还需要加大投入探索。

今天我就围绕零售行业跟大家一起探讨数据挖掘在零售业的解决方案，尤其是在会员分析方面的应用。针对会员的分析，主要有三大类:

1. 如何进行会员分级

2. 如何进行会员营销

3. 如何进行会员挽留

接下来，咱们先针对会员分级进行交流，交流之前先了解一下会员的生命周期，如下图所示

一个顾客来了之后，一部分会成为会员，这部分会员之后有可能会变成活跃会员，也有可能会流失，而活跃的会员有的会继续活跃，也有的会变成沉默会员，沉默的会员有可能会被再次激活，也有可能会流失掉，这就是从顾客进来到最后可能保持也可能流失的大概生命周期。

那如何进行会员分级呢?会员等级可以分为两类：

第一种是我们常见的会员管理等级制度，如游戏等级、QQ等级等。这种会员等级和奖励体制是分不开的，是会员管理的核心机制。而这种等级的累计规则也是有引导性的，比如你希望你的会员多在线，就可以把这个作为会员，如果在乎客户的交易频次就可以把交易频次作为考核的一项。当然前提就是每一种等级得有足够的专属权限，这些要能够吸引会员，就像很多玩游戏的人为了快速升级天天都在坚持做任务。

第二种，是以业务分析主题为目标的会员分级。比如，在百货商场，针对百货的会员建立客户等级，可以分成五个等级：A级（一买一大堆组）、B级（成长空间较大组）、C级（常来常往组）、D级（别人家的顾客）、E级（看我不顺眼组）。以上5个等级分别表示：A表示的含义是忠诚度最高的组，生活需要的方方面面都在这里购买；B表示对我认同度较大且还有很大消费潜力的组；C表示时常来这里，也时常去别家买东西的组；D表示很少来这里买，主要去别家买的客户；E组表示对这里不满意而流失的客户。所以针对以上5个级别，每个级别都有运营措施，比如对E组的人重点做客户流失分析，对B组的人重点做向上迁移，加强B组向A组的转换，提高B组的消费量，等等吧。这两种体制相辅相成。线上第一种做的很好，有足够的重视，但是线下大部分做的不够好，很多大型的商场连会员信息采集都没有做好，又如何有足够的信息对这些会员进行分析。因此，完善会员分析首先应该完善第一种会员管理的等级制度。这也是我们最初给百货商场做会员分析遇到的一个难题。以上就是我对会员等级的两点看法，大家有什么要一起讨论的吗？

面包君：

前面汪总把会员分级的基本情况都讲到了。我介绍下我们怎么做潜在用户、活跃和流失的吧。

这是用户的生命周期流程，我们就不多说。

潜在用户怎么做呢？就是怎么解决数据挖掘中的冷启动问题。常规我们有两个方式：

1.经验判断：比如你推车主业务，前提是我要有车吧。比如你推理财产品，前提我有钱。

2.海投，通过GBDT决策树做投放优化，通过不停的召回样本，定义正负样本，来做预测。

活跃怎么做的呢？数据挖掘中最传统的方法就是RFM，围绕用户的最近消费时间、消费频次和消费金额来说，而我们在定义用户分级的时候也常通过登录行为、交易行为、消费金额这样的维度来给用户成长值打分。

应用到数据挖掘就是通过：

1.模型：

通过模型来做分类问题，就是判断用户会不会用我们这个产品或功能，根据大量的历史用户行为数据。

2.业务规则来做用户活跃

是什么意思呢，就是比如我都已经知道你这个月手机欠费了，当然拿到你的这个信息直接给你push一下手机充值的消费。

实际我们在做模型拉新和活跃的时候也发现。比如一般充值业务拉新模型的转化率是3%，活跃能做到30%。这也验证了为什么我们要做老用户活跃，拉新要做精准化，尽量少海投。

而针对流失的用户我们需要不需要挽回呢？我们之前零售测算过的成本发现通过挽回用户的方式得不偿失，成本很高。相比较潜在和活跃用户，流失用户是累觉不爱。比如我挽回他，需要5元，而他创造的价值可能就只有1毛。像关注公众号类似，我已经添加关注了公众号，并关注了一段时间，最终取消关注的情况大多是真心不爱。你再挽回有些强扭的瓜不甜。所以一般我们不会花太多的时间来做用户的流失挽回，得不偿失！！！

那么我们怎么看待我们的会员忠诚度和价值呢？

会员价值包括历史价值、当前价值、影响价值和未来价值。比例大致在2：5：1：2 。所以当你在给会员价值打分的时候，需要结合他多方面的影响来权重考虑。对应不同的业务，每个会员的得分都会不同，我们打分的模型常用LR/RF/MLR/PS-LR，最后决定给他推什么业务，会有融合排序的过程，结合这个业务的conversion%和modelaccuracy%，来说为什么不仅不是不操心用户流失，还可以是更担忧这样的问题！

特别是我们讨厌薅羊毛的用户，什么意思，就是他只是来领了个红包就走了！

有关会员分析其他方面的内容，大家可以看我写的一篇博客https://ask.hellobi.com/blog/dataman/2442。

话题一自由讨论

同学提问一：哪些指标可以衡量客户的活跃度？

C_：活跃度除了消费次数和积分使用次数一般还能用什么数据去确定？

汪尚：如果是线上的话，还有一个方面可以衡量，就是用户消费的关联度。

瘦蚂蚱：消费关联度是什么含义？

汪尚：这个关联度，可以是该会员消费对其他人的带动，也可以指消费产品品类数。

ィ鬼：有什么比较量化的公式，或者比率来划分等级么？

瘦蚂蚱：这个就是从两个不同的维度来解释了

汪尚：嗯，对，很多指标的定义都和自己的业务目标有关

C_：如果需要几个维度确实活跃度，这几个维度的权重如何确定。业务人员打分还是有什么方法？

汪尚：并不唯一，虽然很多有统一的标准，但是也该根据自己的业务特征建立更适合自己的计算规则。

汪尚：挖掘分析的指标确定可以是多维的也可以是单一维度的。

同学提问二：请问怎么识别伪关联？

面包君：关联出来的结果肯定要经过和运营、产品的人碰过之后得出的结论，数据方面的比如我们做关联分析的时候，置信度、支持度要大于多少，以及最终做出的分析结果是否和事实吻合，和啤酒与尿布类同。

布拉德：怎么判断分析结果和事实吻合呢

面包君：昨天我给杭州的一家App公司讲数据运营的时候也说道，我们怎么去做数据分析。数据是客观的、是事实，但分析是人的事情，是需要经验和判断的。

汪尚：这也是挖掘的难点之一

Rui：业务和技术，比重大概多少？

金融：7/3

Rui：还是业务重要多哈

同学提问三：线下的数据质量肯定比线上要差，对于质量差的数据，有什么经验的处理方法呢？

汪尚：其实数据质量差是普遍现象，我们应该更关心基于现有的数据如何把预测效果做的更好。数据质量的处理一般通过数据探索发现清除数据质量差的记录的规则，而很多时候数据的异常恰恰可以通过调研获取背后的业务原因，进而找到过滤和处理办法。

比如说我们做百货会员分析的时候，遇到这样的情况，有的人退货次数特别异常，也有的消费金额特别异常。比如有个会员，一年内退货金额达到19万多，还有的9个月内退货次数达到135次，我们细一分析，才明白这种情况是伪会员导致的。比如咱们去大多数商场购物没有会员卡也肯定可以打折，为什么呢？因为绝对有人愿意你使用他们的会员卡，这样可以帮他积分，也可以帮你打折、互惠，但是如果一个会员卡这种事情做多了。比如销售员的，那个这个会员卡代表的已经不是一个真正的会员了。所以在研究会员的时候必须剔除，那如果商场指定自己员工的会员卡排除掉这些是不是就可以了？遗憾的是商场并不掌握这个信息，也无法获取这个 42 35905 42 15289 0 0 2300 0 0:00:15 0:00:06 0:00:09 2984信息，怎么办？只有根据这种伪会员的使用特征，如一天消费次数达到多少以上，或者是否大量购买同一品牌等。但是这样肯定不能把伪会员去除干净，但是好在关系不大，只要剩下的对分析结果影响不大就好了，也就是挖掘的推断估计。

以上就说的是去伪的问题，其他的数据质量问题也大多如此解决。

C_：如果数据分析结果比如关联分析结果与实际不符，那么该怎么办唉

汪尚：那就要想一个问题，为什么不符？其实这种情况出现正常，出现在应用的时候就不正常。模型或者规则获得后，一定要做重新分的模型测试和评估。如果测试结果不理想，就要反推原因，这是咱们深入业务分析的重点。我们的业务能力也正是在这样反复的纠正和反思中得到不断提升的。之所以分析和实际不符，有个很大的原因就是数据会骗人。而且你被骗了，我们很多时候在初始分析的时候，忽略的数据产生的背景，一切数据已经过时了，但是我们没有注意到还是把它放到了分析数据中，结果就干扰了我们的分析结果。

C_：比如说之前做的电器的关联。业务人员会认为空调跟厨卫关联性最大。但数据并不是这样。

汪尚：会员购买金额、购买频次、退货频次、退货金额、购物品牌数、退货品牌数与最近购物时间。但是这并不唯一，也不绝对，在不同的商场里还是有差异的。

内心召唤：伪会员数量应该不会有很多吧？会影响分析结果吗，是否可以不用考虑剔除这些数据呢，只要多数数据是正确的应该就可以吧，我们看的是大体的趋势啊，不知道我这种观点对否？

汪尚：不会很多，但是影响很大

内心召唤：能说说影响是什么吗？

汪尚：因为他们的消费频次和消费金额普遍的大，显得普遍的“重要”。如果你验证出来和业务认识不一样，恭喜你，这就是你的成果。数据挖掘本来就有做数据验证的作用。

狗狗：去伪的时候有可能也会去掉真实的数据，所以这只是一个分析的方法，看的是趋势，而不见得是百分百的准确数据吧。

陈斌：关键还要能解释不一样不然只会被怀疑呢

汪尚：如果您能再深入一下为什么如之前的认识不符时，恭喜你你又有了更大的成果，帮助业务也帮住自己更懂业务了。

同学提问四：数据采集的工作能否简化？

第二个寒字：会员购买金额、购买频次、退货频次、退货金额、购物品牌数、退货品牌数与最近购物时间，您说的这些频次，金额，这些数据收集的工作量会很大，您们是如何简化这部分的工作，为后续的工作通用化？

第二个寒字：频次、金额，也有时间范围，比如一个月，三个月，十天，都有可能对结果产生差异，找寻特征是如果每个都考虑，将会是一个浩大的工程，您们是如何对这部分的处理进行优化的？

面包君：@第二个寒字这些标签都需要建立用户标签库、行为基因库的。这些都是常用的特征指标。

汪尚：没有办法简化，我们其实针对百货会员派生了上百的字段，最终只是从这上百字段中找出了这几个重要的做的分析。

主持人：同学们互动气氛太好，嘉宾都很给力，我都不忍心打断大家，但由于时间的关系，我们不得不开始下一个话题的讨论了，不过各位的问题都可以提到问答社区数据挖掘板块https://ask.hellobi.com/category/43，虽然我们微信直播为了不影响大家休息，有时间限制，但天善问答社区的大门永远为大家敞开，大家有疑问的记得提到社区了，专家稍后会在那里解答你的疑问的，我们开始第二个话题吧 2、用户画像的研究。

话题二：用户画像的研究

面包君：

用户画像我们主要是这6个维度。

这里面会大概有600多个标签，有原始数据、也有通过模型预测的。

比如你是多大、性别这些都是知道，但是你什么时候生孩子、什么时候结婚都是预测的。

用户画像做什么用？个性化，精准化营销！

方式有两种，一种是传统的BI的方式，描述用户画像的群体特征，比如我们的用户是理财小白，我们就要去想这些屌丝有什么习惯，给他们什么产品合适。

第二种方式就是机器学习，通过大数据训练的方式来做自动化的个性化营销。通过这些600多个特征的不同组合，训练出AUC大于0.7以上的model，再实测。

举个例子，就是我们在天猫logo做的“千人千面”。

每个广告推荐都是通过分析用户的历史行为，推断出用户最喜爱的品牌；当他来到网站时，在资源位上自动展现他喜爱的品牌logo。

基本思路：
要实现这个目标，需具备以下3个条件：
1）建立一个logo库：存放品牌ID/所属类目/logo图片/跳转链接等必要信息；
2）有一套业务逻辑&数据模型算法，分析计算出每个人可能最想看到的品牌；
3）有一套产品支持：利用推荐引擎产品和前端开发实现对应资源位的个性化展现；

我们会每天喝着茶，思考着人生，看看这些不同model跑出来的效果。

资源位个性化推荐的方式，优点是能明显提升资源位的整体使用效率。但实际使用时需要注意以下几点：
1）由于方法仅适用于投放素材相对固定的资源位；
2）可供推荐的素材“库”要达到一定规模，算法才能体现出效果，否则会因为“人和内容匹配度不高”而无法达到个性化效果，如“库”仅20-30个素材，人工经验挑选可能效果更好；
3）利用判断用户偏好来进行推荐的方式，其效果也与资源位所在页面的“用户识别程度”有关，“对用户身份识别度高”&“识别到的用户有较多历史行为”的页面效果更好，反之，如流量来源主要是外投的页面or新用户注册完成页面，则效果不明显。

而围绕用户画像的传统BI的做法，是建立数据监控体系，有个类似会员健康度的东东。

差不多是这些，欢迎补充。

主持人：用户画像的分享就先到这里，面包君讲的可都是真金白银啊，例子都是拿天猫举例，刚过去的双十一大家是不是还印象深刻呢，我对面包君讲到的“千人千面”印象可谓是深刻，双十一我看到的淘宝页面就是根据我历史的搜索记录生成的，当时心里是有点震撼的，同时又觉得很贴心，因为对我这种选择恐惧症来说，在琳琅满目的商品中，挑选出自己喜欢的东西，我感受到的不是购物的happy，而是眼花缭乱，头晕脑胀！好了，废话不多说，我们进入自由讨论环节：

话题二自由讨论

同学提问一：现在网购很多都是一个帐号，然后以家庭为单位，也就是说shopper和consumer很多时候不是一个人，这种情况下一般都怎么处理？

面包君：好问题！！！

林桐：面包君你们是怎么解决的，我也想听听。

面包君：这个问题也是我们在实际数据处理会遇到的。就是多个账号，多个不同用户，怎么去区别的。我们有个数据挖掘团队专门做这个事情，就是做自然人模型研究，他们还申请了专利。

黄晓帆：决战大数据这本书有提过这个问题。

林桐：也是同人模型啊。

Richie：这个就回到了第二个话题用户画像通过指标来分析，分组分情况对客户打标签。

面包君：我说的比较粗一些，通过媒介（常登陆手机、地点lbs、收货地址）、社会关系（给谁转账、给谁充值）、资金关系、手机通讯录等场景来做的同人模型。

悟：不能作为一个整体考虑吗？毕竟这个账号的所有使用者基本稳定。

春宇：@悟是的，我这种小白也是考虑整体考虑，不想那么细了。

林桐：其实不关注是否是一个人。