数据驱动性能体验优化
本文为此系列第五篇文章,前四篇见——
第一篇:淘宝用户体验分析方法论
第三篇:物流产品体验诊断与优化
第四篇:BPPISE数据科学案例框架
启动越快用户体验一定越好吗?不一定,当优化到一定程度达到用户预期时,优化可能不再有明显的用户体验收益。
不同机型做相同幅度的优化,用户体验效果相同吗?也不一定,不同的用户群体预期不同,对于相同优化的体感也会大相庭径。
由此可见,通过单纯的客观指标无法反映用户的真实体验,主观反馈才是了解用户体验的关键。此外,不同优化程度也意味着不同的技术投入深度和优化难度。
“如何定义合理的性能优化目标”是技术团队普遍存在的痛点,即如何找到一个与满意度强相关的客观指标,设定合理的目标,能兼顾技术投入ROI,且有效提升用户主观性能满意度。围绕这一命题,我们与淘宝用研团队深度合作,共同提出【主客观关联】这一数据分析方法,在本案例中,将介绍主客观关联分析模型的构建方法和应用。
▐ 用户调研
基于问卷回收统计并拆解性能满意度的负向问题,我们分析得出结论:要提升整体性能满意度,优先级最高的是优化淘宝APP的启动性能。
▐ 问题定义
虽然针对用户在淘宝的性能体验,用研团队已通过多种手段积累了长期的主观性能体验调研数据。但这些数据目前多用于观测用户体验变化,发现体验问题,产出用户体验调研分析报告。客观性能指标的变化和主观调研数据之间应如何关联,是这次数据挖掘前期最大的难点。
传统地,我们能想到最直接的关联方法就是:先观察主观整体性能满意度是上升或下降,再对比大盘客观性能指标是提升或是劣化。这时通常会有几类情景:
不能关联上(如性能满意度下降,但发现性能指标在提升),我们第一反应会质疑主观调研数据的准确性,认为无法进行关联;
能关联上(如性能满意度下降,发现性能指标的确在劣化),我们可以构建简单的数据模型(如线性、二次回归模型),但无法深入解读用户心理,也无法对于性能优化提出建设性的建议;
主客观数据都变化微弱,我们无法获取任何有效信息。
不难发现,传统的关联方式太浮于表面,只是做了主客观数据在大盘表现上的“对应”,难以提供深度洞察的信息。所以,我们认为,可以尝试在用户粒度的主客观数据关联,站在具体样本用户的视角,解释个体使用淘宝时的性能表现,如何影响个体的主观反馈。
综上,围绕启动性能客观指标,通过用户粒度的主客观关联分析,探究“如何优化启动体验?”,“优化到什么程度?”,进而能降低用户对启动慢的负向反馈,提升用户性能满意度。将数据问题定义为:如何建立主客观数据关联,围绕冷启耗时设定合理的优化目标,再按机型维度下拆找到差异化目标。
样本选取
主观数据:季度用研问卷反馈样本
客观数据:问卷反馈用户在反馈前3日的每次启动数据(N = 问卷反馈用户数 * 反馈前3日内所有启动次数,问卷填写的选项标签会带入每条启动数据)
指标定义
主观指标:性能满意度、负向反馈率
客观指标:淘宝APP冷启动可交互耗时
分析维度:性别、年龄、活跃度、购买力、系统(iOS/Android)、设备等级
策略洞察
▐ 探索主客观相关性
假设1:用户特征会显著影响主观性能满意度
首先,我们对用研本身的样本数据进行了探索,分析用户基本特征、设备特征与性能满意度之间的相关性,从图4.1中可以发现,调研用户特征(性别、年龄、活跃度、购买力、设备等级、系统)与性能满意度相关系数均小于0.3,相关性较弱。即使是我们猜想应该非常相关的设备等级,与性能满意度之间相关性也很弱。可以认为,不同设备等级的用户也有不同的心理预期,并不代表设备差的性能满意度就一定低。
图4.1 调研用户特征与性能满意度之间的相关性
备注:1.以上变量中,性别、系统处理为哑变量(性别:0-男,1-女;系统:0-iOS,1-Android),其余均处理为有序变量(其中满意度1-5分别代表“非常满意”到“非常不满意”);2.相关性计算为皮尔逊相关性(0.1-0.3弱相关;0.3-0.5中等;0.5-1.0强);
假设2:性能指标与体验负向反馈率存在相关性
接下来,我们对在问卷中反馈启动性能不满意的用户,假设该用户在提交问卷前N天(短期内)大概率经历过较差启动性能体验问题。基于以上假设,形成分析思路:基于用户的启动负向反馈率及其前N天的冷启耗时数据建立分析模型,绘制主客观指标关联图,寻找体验负向反馈率与冷启耗时之间是否存在魔法数字(临界值、拐点)。
图4.2 启动耗时分布与负向反馈率关联图
如图4.2所示,双端的表现并不一致,Android用户在启动耗时优于拐点 Xs后,有很长一段“低收益期”,且这段时期依然保持在较高的负反馈率,而iOS用户的拐点非常靠前(甚至可以认为没有明显的拐点),基本可以认为iOS端只要有优化,就能降低负向反馈率。双端不一致的表现,也说明相比Android用户,iOS用户对于启动性能更加挑剔,要求更高。
关键结论:大盘角度,淘宝Android端负向反馈率在 Xs出现拐点,iOS端负向反馈率在 Xs出现拐点。性能差于拐点时,性能优化能明显带来负向反馈率下降;性能优于拐点时,性能优化对于体验的提升效益不再显著。性能优化提高双端拐点的达标率,可以最大程度降低负向反馈率。
▐ 构建主客观关联模型
在上述分析中,我们只是用一个截面数据,关联了性能指标与体验指标,是一个静态视角的描述。而在实际性能变化的过程中,图中的两条线:启动耗时分布和负向反馈率分布,都是会随之而变化的。因此,我们根据已有的分析信息,作出一个动态模型的假设,推演性能优化对整体负向反馈率的收益。
模型假设:图4.3是提炼出的主客观关联模型的假设,是启动耗时分布与负向反馈率分布的结合,我们认为:
性能优化带来的启动耗时分布变化:启动数据大致呈现一个正态分布(实际近似偏态分布),随着性能优化,分布的峰值会往前移,同时分布会变窄,因为性能会更加稳定。
性能优化带来的负向反馈概率分布变化:随着性能优化,整体的负向反馈会下降。
因此,图中的阴影部分即是性能优化带来的体验价值(面积还需要考虑权重):
图4.3 启动主客观关联模型(示意图)
▐ 验证体验优化目标和收益
性能优化对负向反馈降低效果最明显的为1 -> 2 -> 3(即低端机优化对于体验提升的收益最明显); 设备等级3-9期间,启动性能越好,负向反馈变化平缓,有小幅下降趋势; 设备等级9-10期间,启动性能越好,负向反馈反而轻微上升;
图4.4 启动耗时分布与负向反馈率关联图 (Android)-按设备性能分级
从设备性能分级角度发现:设备性能评级越高,启动耗时均值越低(分布左倾),启动负向反馈率也会越低。并且,3-10级(中、高端机)启动耗时分布的集中值对应的负向反馈率会存在临界值,维持在 X%左右。
图4.5 淘宝启动性能优化梯度表
基于过程数据产出启动性能优化梯度表(图4.5),指导技术团队性能优化的预期收益。将低端机(1-2)优化至中端机(3-4)的性能水平,低端机性能需要提升 X%左右,该部分用户的负向反馈率可以从 X%降低至 X%,假设其余等级性能情况不变,最终可以将大盘的负向反馈率从 X%降低至 X%(-Xpt)。
关键结论:对于启动性能优化,优化低端机对于对于降低负向反馈的收益最高,并且可以一定程度带动大盘负向反馈下降。上述只是一个估算示范,未来用这个梯度表(主客观关联模型),可以根据体验目标,推算性能提升的目标如何设定;也可以根据性能优化的情况,估算体验提升的效果。
本案例中,我们帮助“淘宝性能优化项目”在优化目标和范围层面给予更加明确的建议:淘宝Android端以冷启耗时 Xs达标率作为性能优化核心指标,iOS端以冷启耗时 Xs达标率作为优化目标,重点聚焦低端机优化以实现技术投入的效益最大化。
效果验证:在具体优化过程中,数据侧通过建设性能域指标体系和数据体系,建立AB实验规范体系,快速迭代衡量优化效果,项目组也拿到了一定阶段性结果。围绕优化目标,将整体启动耗时Xs达标率提升Xpt;同时聚焦低端机优化,将耗时从 Xs优化至 Xs;整体上支撑了淘宝性能满意度提升Xpt。
此外,我们认为,相比起单纯的性能优化,产品策略的调整会给用户的体验带来更显著的变化。用户预期调研不仅仅要探索用户对于性能(如快慢)的预期,更要挖掘用户对于产品形态、策略的需求,进而才能“性能优化+产品调整”共同促进用户体验。
▐ 分析方法完善
淘宝有不少技术优化场景存在目标难以定义的问题,后续希望能将本案例的分析方法进行推广,系统化地支撑到这些场景。
场景化调研
若要系统化支撑需要满足一些前提条件,譬如:用研数据需替换成场景化满意度调研数据,技术优化需接入APM类SDK产出用户/设备粒度的埋点数据等。本次主客观分析,采用的是用研团队按月产出的大盘性能体验数据,该数据背后的问卷细致全面,深度挖掘了用户的体验问题。但对于这样大而全的调研,显然会一定程度上损失迭代的速度,与单一问题反馈的准确度。因此,未来可以尝试用更加“精巧”的场景化调研,快速地定位单一场景的体验变化,与大盘调研相辅相成。当然,考虑场景化调研的同时,还需要想清楚该场景是否适合?是否有反馈偏差?是否会对用户造成额外的打扰?是否会阻断用户正常的使用链路?
用研AB体系
主客观关联更多提供的是前置洞察,用于解读用户在使用App时的客观性能如何影响他们的体验,给研发团队提供性能优化的思路,并通过提炼出的模型为性能优化进行目标设定或效果预估。但在与研发团队交流的过程中,我们发现要真正把主客观关联这件事做成闭环,还缺少一个后置验证的环节,如何验证性能优化后对于体验的实际提升是难点。
因此,完善的用研AB体系与流程,是未来主客观关联形成闭环的关键。用研AB即是在AB实验中,融于用户调研,将用户体验指标(满意度、NPS、负向反馈率、舆情等)作为实验的一个关键指标。这样下来,主客观关联可以通过前置洞察,对性能优化、业务调整提供决策信息;每一次性能优化、策略调整随后会通过用研AB进行后置验证,验证优化与调整对于用户体验提升的价值,也反向验证我们在前置洞察中的结论是否可靠。
负向反馈率与满意度之间的关系
用户体验的总体目标是提升满意度或NPS,但仅盯着这些整合指标,很难有优化的抓手。因此,从单一问题的负向反馈率入手提升体验,是一个更好的选择。本案例主要针对启动性能的负向反馈率展开,不得不承认,单一性能的负向反馈率下降,不一定能带来整体性能满意度的提升(因为还有各种其他性能可能在劣化)。但我们相信,逐一击破这些问题,一定能带来整体满意度的提升。
我们是大淘宝技术交易履约数据科学团队,负责面向淘宝交易履约链路(下单、支付、购物车、物流、逆向等)海量数据挖掘DAU、DAC及用户体验增长机会。团队致力于围绕用户行为路径、用户VOC洞察用户需求,基于人货场匹配落地交易链路触达、转化、复购和体验策略,提升消费者购物体验。
目前团队招聘中,欢迎拥有消费者、商品、交易、营销等相关领域数据分析/数据科学背景的优秀人才加入,有兴趣可将简历发送至zhuqi.zq@taobao.com 。