【案例】泰康集团——泰生活APP A/B测试平台场景应用

Original 火山引擎数据猿

“本项目案例由火山引擎投递并参与由数据猿&上海大数据联盟联合推出的“行业盘点季之数智化转型升级”大型主题策划活动之《2021中国企业数智化转型升级创新服务企业》榜单/奖项的评选。

数据智能产业创新服务媒体

——聚焦数智 · 改变商业

泰康保险集团是包含保险、资管等核心产业的世界500强企业，同时是以移动互联网战略和数字化经营先进理念为发展路线的头部大型综合保险集团公司。

2019年，泰康集团牵头打造超级客户端-泰生活APP。作为泰康集团在互联网战略下的超级APP，承载着泰康数字化转型重任，泰生活致力于为全业务场景用户，提供统一的服务入口与高效的用户体验。

对此，泰康集团科技中心携手火山引擎共建A/B测试平台，不仅为泰生活APP解决了运营难题，同时也为泰康全集团及其子公司提供了智能、科学的运营工具。A/B测试平台作为精细化运营开端，能从数据决策入手，逐步实现“数据决策-数据分析-数据策略设置-持续优化”闭环，达到用户体验与营销效率双提升！

●实施时间

开始时间：2020年9月展开合作

截止时间：目前仍在继续

应用场景

泰生活的A/B测试平台应用于业务2A3R互联网客户增长运营的各个阶段，如页面UI改版、各类活动的运营、APP推送运营、APP功能流程更新等：

场景一：首页UI设计的A/B实验

页面UI改版实验、各类运营页面优化，运用上，泰生活APP的A/B测试平台通过可视化实验的方法，产品、运营和设计人员都可以自主的进行小流量A/B测试，先验证UI新版的有效性，再进行完整上线的流程，极大地降低了技术投入成本同时，提升了UI迭代速度和质量。

泰康使用AB测试，对目前最为重要的泰生活app首页大改版进行了实验。针对目前的泰生活APP首页，产品团队也进行改版，主要基于以下考量：

1. 客户定性反馈首页不够清晰，很多模块无法快速找到；

2. 集团品牌升级的需求，需要进行业务替换和聚焦；

3. 目前市场上主流的UI设计，能够让用户无缝切换到新版本；

4. 规避风险，虽然前期调研工作充足，但上线仍然面临着不确定性风险。

基于以上考量，产品团队希望既可以监控新首页的重点指标变化是否符合预期，同时监控是否存在指标大幅下降的风向情况，一旦出现，可以及时回滚。此时，A/B测试就是最为符合需求的产品迭代方式。

产品团队通过A/B测试，小流量的进行了首页新版本的测试。决出优胜版本后通过feature flag智能发布逐步从1%，到5%，到10%，再到30%，直至全量发布，很好的规避了新版本的发布风险。同时验证了新版本的以下一些优异表现：

·头部icon的误触率降低了30%，这是新版本入口清晰的一个显著特征；

·直播板块用户转化提升了4倍，符合集团品牌升级的需要；

·首页整体点击率平稳过渡，用户整体转化提升了1.5%，用户可以无缝切换到新版本；

·测试期间，用户定性反馈良好，再次证明新首页改版的可持续性表现。

通过A/B测试，泰生活团队验证了此前的考量，平稳地上线了新首页，规避了潜在的发布风险，可谓一举多得。

场景二：PUSH A/B

推送作为泰生活APP促活的一项重要手段，需要不断的测试如推送人群、频率、文案、内容、图片、用户打开方式等一系列步骤。其A/B测试工具平台提供了完整的可配置项，推送过程中的所有步骤均可以所见即所得的配置，再进一步结合MAB动态流量调优和MVT多变量实验，系统可以自动的在多种策略变量的各种组合中寻找最优解，使运营人员脱离了人工控制推送的苦海。

对此，运营人员只需要定期的上线预期更为优秀的推送策略，其余都交给A/B测试系统来完成自动分发、自动调优，从而进一步优化了泰生活本身APP的推送运营流程，提升了整体APP的推送激活率。

典型的泰生活推送测试案例：

运营部门想测试app推送的时机和推送内容的数量，设计了以下几种方案：

·对照组：有push 无红点

·实验组1：有push 每天两次2条，下发时间[7:00, 16:00]

·实验组2：有push 每天两次2条，下发时间[12:00, 16:00]

·实验组3：有push 每天两次4条，下发时间[7:00, 12:00, 16:00, 18:00]

实验希望寻找当前最优内容推送数量和时机。实验关注的指标是新用户留存。

经过两周的测试，胜出的是实验组2，每天两条推送，在12:00和16:00推送，新用户7日留存较对照组提升了11%。

场景三：智能发布（灰度发布）

对于更加普遍意义上的产品功能、流程迭代，通过AB测试小流量的稳健发布方式，一方面降低了没有灰度发布的潜在迭代风险，另一方面，AB测试让每一次产品迭代更有据可循，有数可查，不断的增强产品人员的迭代信心。通过一次次的产品迭代积累，使产品人员逐渐清晰地认识到了未来产品改善的方向轮廓。

泰生活的一个典型的迭代场景：

内容资讯的上线需要经过非常严格审慎的控制，这是由于内容调性策略，一方面需要不断设置规则例如不断补全屏蔽关键词；另一方面，复杂的情况则需要调整内容过滤策略模型，例如视频内检索、语音内检索屏蔽关键词，所以需要灵活的灰度发布策略。

灰度发布策略，涉及到区域筛选、人群流量控制、内容开关控制、定时发布等全面的控制，使用A/B测试工具，能够很好的满足诉求，从初始发布的人群选择，到人群流量的细化配比。从不同内容的开关控制，到已验证内容的定时放开策略，泰生活目前已经基本形成了系统的内容灰度发布机制，首次采用泰康内勤发布后再逐步扩充到互联网用户，能够有效地规避发布风险，减少新的版本大功能升级切换的安全性，不断的让优质内容上线。

面临挑战

随着业务快速发展，用户量逐渐增大，泰生活APP产品迭代、营销活动的持续优化，受到了更高挑战：

·验证新技术在实际业务中的能力，需要具备高效、科学、公正的分析技术平台；

·提升产品迭代率，快速找到用户体验、用户转化最优方案，需要具备支持快速高效对比试验的平台。

应用技术与实施过程

01

应用技术

产品功能强大，在字节跳动产品得到有效验证。

科学可靠的分流服务

相较于市面上其他的产品，A/B测试平台的分流服务更为可靠，底层算法对用户群体进行了均匀、随机地分流，从而确保各实验组样本的同质性，实验结果更为可靠。同时，A/B测试平台的分流服务性能稳定，能够支持高并发的请求场景，例如亿级DAU产品进行Push实验。

先进成熟的统计策略

A/B测试平台所采用的统计策略与字节跳动内部一致，依托于经典统计学的假设检验方法，从置信度、置信区间等多个层面对实验结果进行判断，同时也配备以贝叶斯统计原理为基础的实验引擎。同时提供漏斗分析、热图分析（规划中）等多种辅助分析手段，赋能商业决策。

支持多种特型实验

A/B测试平台不仅支持产品全生命周期中各场景下的实验需求，也通过长期的经验积累，在各种特殊场景下提供特殊的实验解决方案，让A/B实验更易用。

（a）可视化实验

无需研发介入，市场人员、产品经理、运营人员，都可通过可视化拖拽形式改变产品/页面布局和各种前端元素，从而完成对照组&实验组的配置，所见即所得，大大减少A/B实验在研发层面的压力，也大大缩短实验上线的周期。

（b）MAB动态流量调优实验

应用贝叶斯统计原理，实验者可同时提交多种策略（如提供多个Push文案、多个落地页面等），由A/B测试平台智能化地动态扩量优胜版本，从而助力企业实现核心指标收益的最大化（如CTR最大化、购买率最大化）。实验开启后，无需人工干预，流量自动向“有可能成为最优”的策略倾斜，并根据实时的指标变化，动态更新流量配置，以最低的风险，稳定获得最大的收益。

（c）多链接实验

也称为Split URL实验，用户访问统一的落地页URL后，分流至不同的URL落地页。适用于广告投放、活动运营等场景，如测试不同广告落地页转化率，活动页面效果等。

（d）推送实验

在活动推送过程中，客户可以配置多个文案、落地页等，并开启实验观测转化效果，同时提供智能调优的文案赛马功能，协助用户尽快拿到最大收益。

（e）MVT实验

又称多变量实验，多个参数的自动化组合，自动探索计算最优解。

（f）父子实验

关联实验，子实验的流量均来自于父实验的某一个实验版本。

提供灰度发布能力

在海外，“灰度发布”以“Feature Flag”这一名字，被互联网企业所熟知，是一线互联网公司精益开发的标配工具。产品在新功能发布前，企业可采取小流量测试的方式，验证现有功能是否稳定，并可通过开关模式便捷地管理产品内功能的开启/关闭。相较于传统的发布流程，灰度发布更为敏捷迅速，风险更低，能够明显减少线上事故的发生。同时也可以针对目标人群进行定向发布，是精细化运营不可或缺的关键神器。

提供多种工具

流量建议工具，帮助用户预估实验开启流量，指导用户更好地开启实验。

命中诊断工具，帮助用户针对调试中的和运行中的实验，更好地诊断用户是否曝光，以及未命中实验的具体原因。

指标监控工具，帮助用户针对目标指标进行阈值差异和显著的监控。

02

实施过程

目前，A/B测试平台已应用于泰生活APP增长运营的各个阶段，以APP首页UI为例。在泰生活的运营过程中，发现APP首页亟需升级：

·用户反馈首页布局不够清晰，许多业务无法快速找到；

·处于泰康集团品牌升级过程中，业务需要替换和聚焦；

·提供更好的使用体验，让用户可以无缝切换新版本。

基于以上考量，泰康还希望实时掌握APP以下几点：

·新首页的重点指标变化是否符合预期？

·是否存在指标大幅下降的风向情况？

·一旦出现意外情况，是否可以及时回滚？

此时，A/B测试是最符合需求的产品迭代方式。通过A/B测试平台可视化实验，泰生活产品、运营和设计人员都可以自主参与首页改版设计。

产品团队首先进行了首页新版本的小流量测试，在决出优胜版本后，再通过feature flag智能发布，逐步从1%、5%、10%，再到30%，直至全量发布。此举在验证新版本有效性的同时，有效规避发布风险，提升迭代速度和质量。

商业改变

经A/B测试，泰生活平稳上线新首页后，目前：

·头部icon误触率降低30%，页面布局更加清晰，用户可以快速找到所需业务；

·直播板块用户转化率提升4倍，成功配合集团品牌升级需求；

·整体转化提升1.5%，用户可无缝切换新版本，使用体验得到提升。