Google Play A/B Test的好处是什么？（二）

在上一篇文章中，向大家讲解了"Google Play A / B Test基础介绍"，接下来向大家介绍一下A/B Test 进阶版。从社会科学角度来看，在线A / B Test 是对用户行为研究的一种形式，其中可以预测用户一般会对我们的产品，做出怎样的反应。

目前有许多工具，可以帮助应用程序开发人员解决这一难题，告诉他们应用商店哪些元数据的更改，可以提升应用转换率，获得最多的安装。如果将世面上 A / B Test 工具，进行细分，可以分为三种类型：调查、复制应用商店页面、Google Play 实验工具。相信大家在A / B Test 时，可能会遇到一个相同的问题，就是当测试结论不好时，会出现被挑战的现象（尤其是测试图片相关素材时）。其实任何时候都会跳出质疑你的人，所以就当前问题，带领大家了解 A / B Test 背后的故事。

一、核心研究方法要点

A / B Test 会利用，传说中的统计学。在统计检验过程中，为两个数据集之间的统计关系提出了一个假设，并将其作为两个数据集之间，没有关系的、理想化的、零假设的替代方法进行比较。

在应用商店中，问题可能在于用户看到的图标和愿意安装应用程序之间，是否存在关系。 如果测试的结果足以看到效果，我们可以得出结论，在现实情况中有效果。 在统计语言中，这意味着我们拒绝零假设。 用英文表示一个图标胜过另一个图标，因此X（图标）与Y（用户愿意安装该应用程序）相关联。 相关性可能是正面的或负面的，这意味着新的图标可能导致更好或更差的转换率。

如果整个过程是适当的，我们可以实现测试的结果在现实世界中，并假设X相关，其中Y具有高置信水平 - 超过0.9的置信水平，这意味着至少有90％的几率这个结果在现实世界中会出现类似的结果在测试中。

二、常见的测试方法

A、调查，讨论小组 - 显而易见的非盲目措施

有些公司会进行社会名义调查，根据UE提供的几个版本截图，问询大家最喜欢哪张。参与者通过回答、调查并评论他们认为应该改变的内容，来选择他们喜欢的选项。 通常调查小组被激励给予答案 - 他们回答的问题越多，得到的激励越多。

• 优点：

1. 详细反馈意见：在调查中，参与者可以提供，有关如何使主题更好的个人想法的反馈。 这是一个很好的“质量衡量标准”，但却是一个差的统计标准。

2. 完全控制：可以确定每个参与者将被问及哪些问题。 大多数情况下，您还可以控制调查中参与者的数量以及获得结果的速度。

• 缺点和风险：

虽然这种方法有优点，但也有一些严重的缺点。大多数情况下，这个方法的“外部效度低”，这意味着测试结果不能安全地应用到现实情况中。分别是以下几个原因：

1. 被调查的样本与应用用户不相似：回答调查的用户可能与应用的自然用户略有不同，这意味着他们喜欢的屏幕截图不一定是用户喜欢的屏幕截图。

2. 不盲目或双盲试验：这意味着对象知道他们正在测试的事实。如果主体知道他或她正在接受测试，可能会以某种方式改变主体的自然行为。这可能导致偏见，并最终导致对真实世界的测试错误的假设。

3. 激励措施：当测试对象以这种或那种方式获得报酬时，可能会导致对测试的非中性响应，从而导致偏差，从而导致对现实世界的错误假设。

4. 错误的研究问题：在调查中，用户回答他们最喜欢哪种设计，哪一种最漂亮，但是，正如任何在线营销人员会告诉你的，最好的设计不一定会引起转换。所以，这种调查中的问题是错误的。

B、复制应用商店页面

第三方平台，如StoreMaven或SplitMetrics。实现原理为创建一个与应用程序页面完全相同的网页，用户则不知道它们不在实际应用程序商店中。 由于它本质上是一个网页，可以完全跟踪和控制。 因此，可以执行A / B Test。 此方法仅适用于付费流量。

一旦用户点击一个广告，他们将被定向到副本应用程序页面。 在这一点上，流量分为两部分：到A页面或到B页面。 产生最高转换率的页面占上风。 当用户点击安装按钮，将被转移到实际的应用程序页面，但能够实际安装应用程序。 

• 优点：

1. 提出正确的问题：与调查方法不同，在这种情况下，用户不会被问到他们喜欢哪个屏幕截图，而是被观察到看哪个版本诱导更多的安装。

2. 双盲试验：受试者不知道他或她正在接受测试，测试者是软件，不会出现偏见。

3. 详细信息：由于本质上是一个网页，任何用户活动都可以被跟踪和分析。诸如“用户查看多少屏幕截图”或“多少用户阅读说明”等问题突然有答案。

4.针对iOS的最佳解决方案：这是适用于iOS的唯一且最佳的解决方案。

• 缺点和风险：

1.成本高昂：这项服务有两种成本。一个是开发者支付平台，但更重要的是流量。如果用户在复制的页面中点击“安装”，就会被假冒的应用程序页面重新定向，并且会被吓到，而不是安装应用程序。

2.样本与人口不同：通常只有来自一个付费流量来源的用户才会被测试，自然流量将不会被测试。不能保证您的示例中的用户将以与您应用的其他用户相同的方式行事。这将是测试的外部效度问题。

3.只有一个漏斗部分被测试：自然用户通常通过搜索或类别排名进入应用页面。在这种测试中，漏斗中的这一步被跳过。虽然这两个平台都有某种解决方案，但并不完美。

C、谷歌实验 - 随机A / B双盲试验

Google实验很容易设置，作为一个干净而简单的A / B Test工具，可以一次测试应用程序页面，进行一个或多个的变体，同时进行测试。 平台直接跟踪，查看Google Play转换率的任何变化，并考虑到统计显着性水平。

• 优点：

1. 随机测试：在自然环境（Google Play Store）中测试随机受试者，没有外部影响，以影响受试者的行为。

2. 所有渠道进行测试：测试发生在所有类型的流量-所有来源的付费搜索和自然。

3.双盲试验：受试者不知道他或她正在被测试，而测试是软件，不会出现偏颇

4.易于设置：您可以在两分钟内上传测试。

• 缺点和风险：

1. 没有用户反馈：你知道什么版本最好，但是你没有得到用户反馈，为什么它效果最好。另一方面，用户很少知道他们为什么要这样做。另外，该平台除了转换率之外不提供任何信息。

最后，选择合适的分析工具是ASO成功的关键。