其他
作者介绍前网易出口大数据产品经理一枚负责过数据采集、bi系统、ab测试、画像平台等应用层平台搭建酷爱健身、钟爱咖啡、喜爱摩托、热爱生活01为什么需要ab测试大家在日常工作中是否会遇到以下问题:1)产品经理提出一个竞品没有的功能,即便感觉自己引领了行业,但老版:“这个功能竞品都没有为啥要做?”好不容易说通了老板,到了开发大佬评审时:“这功能对用户好像没用啊,要想说服开发,又要经历一轮苦口婆心,心累!2)新功能经历灰度发版后,上线之后数据增长下跌是否是因为这次功能或策略导致,要想拆分清楚,分析师小伙伴又要经历一次抽丝剥茧3)我有两个想法,但不确定哪个对用户更有效,如何能进行验证……我们每天的工作都要处理各种各样的决策,而人们决策的方式会偏好自己习惯或者熟悉的方式,但往往结论与其相悖,要想以实际效果来驱动业务。这就需要一个科学、并行、可操作的方法来验证每一种策略的可能性,这种方法就是我们今天要讲的A/B测试。近几年来随着用户增长,精细化分析概念的普及,作为核心方法的ab测试也仿佛成为了互联网圈小伙伴们必须掌握的基础技能之一。Google、facebook、linkin、快手、字节等国内外大厂都把ab测试结果作为推动业务发展的基础。但ab测试方法具有一定的使用门槛,对于业务人员需要具备统计学、平台操作等相关知识;对于平台人员需要具备统计学、平台设计、数据采集、系统搭建以及异常问题处理等相关知识,乍一听起来,好像有点难度。别慌,听我慢慢给大家逐一阐述。02ab测试与控制变量AB测试的定义是指为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本,收集各群组的用户体验数据和业务数据,最后分析、评估出最好版本,正式采用。这条定义有几个关键词,同一时间、组成成分相同,随机访问,目的是尽可能的避免其他变量对实验产生的影响。看完这条定义,不知大家是否有些似曾相识。我们初中上物理或生物课的时候,老师介绍过一种方法——控制变量法。控制变量法是指把多因素的问题变成多个单因素的问题,只改变其中的某一个因素,从而研究这个因素对事物影响,分别加以研究,最后再综合解决的方法。该方法最早被设计出来是在进行科学实验时把多因素问题变成单因素问题来研究对事物的影响,目的是为了减少方差。下面我们来举个例子说明一下控制变量法和ab测试有多么的相似:例1:某兴趣小组做了个实验,研究问题是种子生长情况收到什么因素影响,提出研究假设:种子生长情况是否收到洗涤剂影响,实验设计如下图:研究对象组别操作现象分别放入5粒有嫩芽相同品种的种子实验组A棉花中加入洗餐具用的中性洗涤剂生长收到抑制实验组B棉花中加入洗衣服用的合成洗涤剂生长受到抑制对照组加入自来水正常生长例2:例如某app打算优化一下签到功能,研究签到功能的点击率受什么因素影响,假设:签到点击率是否受到文案的影响,实验设计如下图:组别操作点击率涨幅对照组签到(线上)45.00%-实验组签到有礼53.00%+17.78%实验组签到得奖54.34%+18.53%我们从实验流程角度来看两组实验:流程ab测试控制变量目标签到功能收到什么因素影响种子生长收到什么因素影响提出假设、猜想签到点击率是否收到文案的影响种子生长情况是否收到洗涤剂影响实验设计相同组成成分、相同时间下:1.对照组:展示签到2.实验组1:签到改为签到有礼3.实验组2:亲到改为签到得奖相同光照、相同温度、湿度下:1.实验组:正常生长2.实验组1:加入中性洗涤剂