导读 本文将以一个数据人的视角,分享用户增长的相关方法与实践。
文章标题结合了两个作品的名字,一个是博尔赫斯的《交叉小径的花园》,这篇小说讲的是在不同的选择以及环境的影响下会产生很多不确定性,前面的选择可能会影响后面的发展,环境本身也是诡异多变的;第二个是《随机漫步的傻瓜》,告诉我们要敬畏随机性、不确定性,可能大家不停归因,试图强行给出解释,但很多时候是有一些偶然因素存在的,尤其是在这个时代,黑天鹅事件非常容易出现。我们要在外界和内在的不确定性下,想办法去找到更平稳的路径去做用户增长。今天的介绍将围绕下面五点展开:1. 交叉小径的花园
2. 数据驱动的飞轮
3. 西西弗斯的巨石
4. 随机漫步的傻瓜
5. Q&A
分享嘉宾|韩云飞 火山引擎 A/B 测试研发负责人
编辑整理|徐亚楠
内容校对|李瑶
出品社区|DataFun
交叉小径的花园
在互联网兴起之前,计算机都是用来做科学计算的。第一代产品主要是做信息管理,MIS 管理信息系统从物料管理慢慢变成企业资源计划系统。整个过程其实就是不断将生产中的要素更好地管理,达到有序的状态,信息管理系统的变化并不产生新的东西,而是逐渐从混乱状态变到有序状态。
2. 信息分发:低效到高效
实现信息管理后,下一步就是信息分发。信息分发也经过了不同发展阶段,最早是在黄页中记载了相关信息,之后随着互联网信息的爆炸,黄页很难完成高效的信息检索,因此慢慢出现了搜索引擎,搜索引擎会根据网页质量以及大家访问情况,给用户呈现预测排序结果。搜索引擎形态还是人找信息,那就需要用户利用关键词搜索,或更深入了解搜索引擎的用法。内容的供给方需要绞尽脑汁做各种SEO 尽可能使内容获得更多曝光。再进一步,能否根据用户个性化需求做自动推荐,这就出现了推荐系统,推荐系统是根据用户和信息的互动过程以及用户行为反应,判断用户对什么东西最感兴趣,然后从海量的互联网信息里面把用户最可能点击查看的信息呈现出来。
3. 信息生产:从复杂到简单
在推荐和搜索系统中,查找完信息后还需对信息进行识别、理解和整合,整合完之后可能再做一些生产加工,后续环节更多是依靠人工完成。但现在进入大模型时代,有了 AIGC 之后,很多后续工作可以通过大模型来完成,我们获取信息的效率就会更高,信息生产也变得更为简单。
4. 产品的本质是熵减
结合整个产品的发展会发现,信息的管理从无序到有序,信息的分发从低效到高效,信息的生产从复杂到简单,本质上都是在做熵减,让我们从混乱、无序、低效的事情中解放出来,在纷繁复杂的世界中找到更多的安全感。我们会做很多努力去迭代产品,降低熵值,提升用户体验,从而促进用户增长。与此同时我们也会积极创新,带来新的价值,也是达到熵减的目的。
上述关于熵的介绍,其实是想阐明在做用户增长之前,要先去找到自己产品熵减的路径,形成 PMF(Product Market Fit),即产品和市场需求的匹配,然后逐步做熵减。熵减主要有两个作用,一是有助聚焦用户核心需求,带来新价值,从而避免过度地设计功能,导致产品非常臃肿却不能满足用户实际需求;二是避免无效动作和资源浪费,即无必要勿增实体,如盲目地跟随竞品上线新功能,但其实可能受益并不大。所以,用户增长一定是建立在产品本身可以提供价值的基础之上。
数据驱动的飞轮
当用户卸载应用时,我们会尝试挽留,挽留界面可能包含不同文案+色彩的组合,最终,我们发现其中一个方案在挽留用户上转化率可以提升 57%。这就是用户增长的后续环节如何防止流失。大家会在非常多的细节上做各种各样的打磨,AB 测试是帮助我们选择高效挽留方案的一个法宝。
字节的用户增长跟数据驱动是紧密相关的,从文化基因上,大家会把公司最核心的目标用 OKR 管理起来。管理层也会使用一些经营管理工具,一线人员也会去看各种看板和报表。字节的模式是中台加数据 BP,中台提供了各种各样工具平台,以及基础设施;而 BP 会深入业务贴合业务需求。为保证各类业务人员更好地消费数据,我们会建设一些敏捷易用的工具,比如数据应用层,数据资产层,或者一些引擎工具,通过不同层面的工具来保障大家目标的落地。0987 评价体系是指 SLA 故障数为 0,业务需求满足率 90%,分析师查询覆盖率 80%,用户满意度指标 NPS 70%。
基于上述实践,我们提出了数据飞轮的概念。数据飞轮以数据消费为核心,连接业务和数据两个轮子,形成增长引擎。数据应用类是直接面向业务的,比如 AB 实验是关于如何决策更科学,行动敏捷是怎么更便捷地把数据转化成业务收益,价值提升是如何通过数据来带来业务增长。飞轮底层是让数据研发更加高效,比如做数据报表、看板都是为了帮助大家解放生产力。如何将数据变成资产更好地进行维护,以及保障数据质量,这些都是数据资产侧需要考虑的。
业务应用方面,有一个增长分析产品,其作用是全方位采集使用过程中的埋点,通过增长模型深度洞察用户,从中找出一些异动的点,进而基于洞察来指导 AB 实验或业务上的调整。
AB 测试是通过观察数据指标后,进行假设尝试,看能否在某些指标上通过产品改进得到收益。我们可能会进一步做产品设计和研发,开发不同的新版本,然后通过 AB 测试将不同版本上线,通过小流量,在一定周期内观察指标体系,去看成功指标以及业务护栏指标等,帮助我们找出最好的版本。
以一个真实业务场景为例来加深理解。以下是一个垂直资讯平台上关于短视频播放量提升的案例,我们希望提升短视频播放量,进而实现用户的促活。这里面用到了我们应用增长的两个工具。第一步先拆解业务,现状是短视频的观看人数渗透率远低于其他内容形态。播放量跟两个要素有关,一是有多少人在观看,以及人均观看多少次。借助 DataFinder 高级分析,找到问题,主要有两个问题一是首页推荐里面流量占比大,但是播放率低,二是下滑 feed 流模块新用户人均播放次数较低。通过拆解播放量指标,定位关键入口和目标人群,最终综合两个改造方案,使播放量提升了 300%。
西西弗斯的巨石
在这一章节中将着重探讨用户增长,这是一个循环往复,需要持续投入的工作。1.0 阶段主要是拉新和促活,即如何增加产品的 DAU(Daily Active User)。拉新策略主要通过广告投放或一些内容营销来吸引新用户。促活是通过推送手段或者红点,甚至一些优惠活动等运营手段来提升用户活跃度,这些更多是属于外力。
例如,Ohayoo,是一个休闲游戏平台,在游戏推广中一直在使用 DataTester 的广告实验进行投放素材的优化。通过实验发现利用 DataTester 选取的素材转化率更高。
用户增长 2.0 阶段,更关注留存,不管是海盗模型还是逆海盗模型,都把留存放在最前面,也就是追求长期利益,不只是短期的用户人数增长。留存率越高,产品增长越稳定。这一阶段会围绕留存采取各种策略,比如优化产品体验或增强用户粘性,留存被作为了北极星指标。
留存对增长是至关重要的。花费大量精力去拉新促活,但如果用户不能留下,产品也只能是昙花一现。例如,下图中,A 企业次月留存 80%,B 企业次月留存 20%,一年内的发展产生了非常大的差异,尽管基础是非常相似的。
一是功能和服务,要找到用户留存的关键,其次通过一些补贴或精神激励让用户在产品里有成长或获得感,从而确保留存。二是内容留存,现在是一个内容时代,不管是什么产品类,大家都得创造各种各样内容,然后让用户去消费内容,或者让用户去做一些 UGC 的动作产生他们自己的内容进而提高用户在产品里的痕迹。同时我们也会给用户去推一些感兴趣的内容。现在不管是内容产品、电商产品、金融理财产品,都会有自己的内容板块。三是社交互动留存,让用户跟其他人产生连接,这也是一个提升留存的手段,大家可能就某个主题形成社区去做讨论,实现人和人之间的连接。四是用户激励,用户激励需要持续、周期性地做,同时我们需要考虑当前激励对后续行为的影响,比如学习打卡类,会设计很多数值策略,例如打卡时长。电商消费类,可以有一些优惠或者折扣等激励政策。这些都是为了提高留存。
现在大多数产品已进入到 3.0 阶段,用户增长不再是单一的动作,而是循环运转的动作,因为用户状态也在不断变化。要形成业务飞轮,即不断优化关键业务环节,形成正向循环,推动用户增长,建立长期可持续的商业模式。
业务飞轮优势是能加快企业实现用户增长,提升市场份额,同时通过飞轮模型优化运营策略提升运营效率。
一是数据驱动决策,通过数据指导日常产品迭代、运营策略、增长策略。
二是构建增长闭环,形成用户增长、留存、转化的良性循环。
三是持续迭代优化,根据数据反馈不断调整和优化策略。
随机漫步的傻瓜
市场具有很多不确定性,很多难以预料的风险会不断发生。一是市场变化风险,我们很难事先预测市场的变化趋势,这就要求我们时刻关注市场趋势,及时调整策略,避免错失机遇。二是技术更新风险,当技术发展到拐点,新技术就会把老技术代替。这就要求我们跟踪新技术发展,确保产品与时俱进,避免技术落后。三是用户流失风险,产品可能现在有很多用户,但你永远不知道用户可能会被什么吸引走,这就要求我们及时分析用户流失原因,制定针对性措施,提升用户留存率。
竞争环境也是非常激烈的,大家都是在存量的池子里争夺用户,最大可能地扩大用户使用时长,这就要求我们不停地推陈出新,让用户持续使用。市场的快速变化,也要求我们能够做出灵活调整,及时变革以跟上这种变化。
在这种充满不确定的时代,我们需要不断创新自己的增长策略,研究各种各样新的、更有效的手段,应用到增长策略和实践中。还要强调的一点是优化用户体验。通过用户反馈和数据分析,不断优化产品功能和界面设计,提升用户体验。
另外一点是资源整合,现在有很多平台 APP、小程序、网页,通过实现各平台互通提升用户体验。用户的整个行为链路可能是跨平台的,如何整合好这些资源,形成产品跨平台路径,也是非常值得探索的。还可以尝试跨界合作创新,有一些跨界的联动和碰撞,也可能会产生一些化学反应。
产品的终极目的是追求健康的商业模式,我们做用户增长是希望有一定商业回报的,这就要求我们要确定产品长期价值,营造一个健康、可持续的商业模式,在这个基础上做用户增长才是更好、更有意义的。我们产品主线还是追求给用户不断创造价值、提升价值。在长期发展中,用户还是会愿意选择价值最大化的产品。
Q&A
Q1:AB 测试如何评估某一个指标?在这个评估体系下面我们如何避免辛普森悖论?A1:辛普森效应指的是把用户进行一些拆分,可能他在男性用户上表现是好的,在女性用户上表现也是好的,但是放在一起测试结果就会变差。辛普森效应更多是因为最开始的优化目标设定问题是不是针对特定人群。比如你做了一个实验或者策略是针对特定用户群体,但你想看他在全局上的表现,这其实是不合理的。在这里我觉得最重要的事还是要清楚归因,比如我们在分成各种用户群之后,要搞清楚为什么该策略对某类或某几类用户有收益,但对其他无收益甚至下降,进行有效的归因分析是最重要的,我觉得一定程度上我们不必特别在意数据上的表现。Q2:您提到了一个工具,叫 DataFinder,它是一个可视化工具,还是利用大模型,基于现有数据和分析可以直接给出解决方案和结论?A2:它是一个交互式分析工具,和其他报表工具不同的点是其固化了很多模型,比如留存模型。它还有一个优势就是非常快,你不用写很多 SQL 语句做数据分析,直接按需点击分析按钮即可,大大降低了数据分析的门槛。A3:首先我理解就是 DS 要贴近业务,大家日常和 PM 类似于结对的感觉。日常要做一个功能或者策略,大家要共背指标,组成一个敏捷的虚拟项目团队。其次 DS 要有一定的话语权,要有一定的办法去影响业务。比如 AB 实验,数科团队就可以来制定一些上线标准,不满足就不能上线。这样对业务的影响或者干预就是比较大的。当然也是因为大家共识上重视了数据科学,才可以这么干。
分享嘉宾
INTRODUCTION
韩云飞
火山引擎
A/B 测试研发负责人
负责字节跳动通用实验平台团队,致力于打造业界最先进好用的实验平台,把 A/B 测试变成驱动业务增长的新基建。从 0 到 1 参与搭建了字节跳动内实验中台 Libra,服务于内部多条业务线;对外发布火山引擎 DataTester 等产品。
点个在看你最好看
SPRING HAS ARRIVED