[ 编者按 ] 作为创业者或公司高管，你对A/B测试一定并不陌生。每年，有数万个这样的测试被许多互联网公司应用于线上优化迭代。但我们所仰仗的A/B测试，也许其结果并不可靠。Web Arts的创始人兼首席执行官Andre Morys甚至断言：“ 这些测试结果90%都是假的。”
诚然，A/B测试本质上是问一个问题：A和B哪个更好？但是，如果你问错了问题呢？假如A和B都不怎么样，用户也只是选出其中不那么讨厌的一个罢了。
如何保证不盲目使用A/B测试呢？本文提出了两个关键性的问题，也许会对你有所启发。
每期监测和精编中文视野之外的全球高价值情报，为你提供先人一步洞察机会的新鲜资讯，为你提供升级思维方式的深度内容，是为 [ 红杉汇内参 ]。
作者 / Daliana (Zhen) Liu
编译 / 洪杉
如果你是一个数据驱动的人，你很可能不会想到什么就马上去做，而是倾向于先做一个A/B测试，把胜出的版本投入市场。这确实是个好方法。但假如一开始你就选择了错误的测试方向呢？为了避免在产品迭代上浪费金钱和时间，在下一次测试前，不妨先回答一下本文提出的两个问题。
▨ A/B测试
A/B测试是一个随机试验。在保持其他因素不变的基础上，对单一特性的两个版本进行比较。这个特性可能是一个新按钮，或是不同的字体，又或者是营销信息的改变，等等。客户随机分成两组，每一组看到不同的版本。收集用户的反馈，比较两组对不同版本的看法，最终正式运行那个能达成你的目标的版本。通常版本A是当前版本（对照组），版本B是带有新特性的版本（实验组）。
▨ 一次成功的A /B测试需要具备三个要素：
1. 一个要实现的目标和相应的指标来衡量变化。
2. 版本A和版本B的分配是随机的。
3. 控制其他变量不变，只测量一个特性。
现在我们已经知道了A/B测试的定义，让我们来看看第一个问题。换句话说，A/B测试是实现你目标的正确方法吗?
A/B测试的本质是产品优化。假设你在登山，想要尝试不同的路线，来看哪一条能更快登顶。但是，如果一开始你就选错了山峰呢？你爬的实际上只是一座小山丘。你被困在一个有限的区域中，浪费很多的时间，只能找到一个次优的解决方案。Marissa Mayer在担任谷歌副总裁时，曾就40种深浅不同的蓝色进行了多次的A/B测试，以找到最适合谷歌链接的颜色。A/B测试非常适用于这类任务，因为蓝色只有这么多种，而且谷歌清楚地知道他们想要的是什么：找到一种能得到最多点击量的颜色。
这种情形无疑是适合A/B测试的。但如果对每个问题都用相同的处理方法，你会发现自己沉迷于成功爬上小山丘所带来的兴奋感，却错过了登山过程中抬头可见的北极星。
举个例子：一个DVD出租网站想要测试不同的登录页面设计。假设他们真的找到了完美的设计，又能带来多少收入增长呢？难道是因为设计不够精美所以缺少客户吗？还是因为比起租DVD，人们更希望在Netflix上观看节目？如果整个行业都在更新换代，而你的商业模式已经过时了，那么A/B测试是无法告诉你失败的真正原因的。
如何找到正确的山峰呢？
1. 记住你要去的地方。
我们都喜欢挂在较低的枝条上的果实，它们太诱人了，特别是在你迷失方向、需要快速发展业务的时候。但它们是否与你的产品目标一致呢?
轻松的胜利会把你带入多个方向。但10个方向上得到10个简单的胜利会很快耗尽你的资源，你更应该做的是在正确的方向上迈出一小步——专注最重要的目标，进行有方向感的迭代。
2. 与真正的客户交谈。
有时候你需要忘记大数据。
我们被困在大数据的世界里，却忘记了数据不过是顾客声音的浓缩而已。与一些真正的客户交谈未必能帮助你扩大业务规模，但会让你更接近真实的人类需求，它可以帮助你发现那些真正有价值的问题。
你也许会担心：如果在一小群人中得到的答案过于具体，不能推广到更大的客户群中，该怎么办？好消息是，世人在很多方面都很相似，所以一个人的奋斗可以引起世界上很多人的共鸣。在用户研究中，这被视为小数据的力量。
3. 在解决问题之前找到真正的瓶颈。
A/B测试只会给客户有限的选择。如果真正的解决方案既不是A也不是B，那么这两种方案客户一个也不会喜欢，而你最终推出的只是他们不那么讨厌的一种，真正的问题依然得不到解决。
如果你正在利用A/B测试来修复某些东西，请确保你已经找到了造成问题的根本原因。
举个例子，你发现付款页面上的放弃率增加了，希望通过改进页面上的内容来修复这个问题。但是，放弃率的升高可能是因为主页出了问题，或者是太多的弹出窗口分散了客户的注意力，或者是页面本身加载时间太长。它可能不需要进行测试来改进诸如“购买”按钮或付款页面上的消息之类的功能——问题可能在客户看到内容之前就出现了！换句话说，你有没有控制其他因素来减少测试中的干扰项？
让我们把你实验中的所有因素都称为“环境”。当你在测试一个按键的两种版本时，其他的因素就包括浏览器、设备类型、地区、月份、促销活动和竞争对手的活动等。
下图就是一个类比：你想比较路线A和路线B哪条路线可以让你更快登顶，唯一想测试的不同之处在于路径。然而，在你的测试期间，这两条路径都有不同的风力、降雨、空气和植被模式。因为这种环境和气候在测试阶段之外的其他季节都可能会发生变化，这就使得测试结果在一年中的其他时间都是没有意义的。如果在你控制变量的实验中，其他的因素也发生了改变，那你就相当于是在拿苹果和橘子做比较。
▨ 如何管理不断变化的环境
环境有两种类型:
● 你可以控制的事情称之为内部环境。比如公司的营销活动、程序代码更改、产品规划等。
● 你无法控制的事情称之为外部环境。比如季节变化、行业趋势、竞争对手、客户行为等。
聪明的人控制他们所能控制的东西，知道他们所能控制的东西和不能控制的东西之间的区别。
▨ 注意两种常见的内部环境变化
● 营销活动。人们会受到营销活动的影响，导致你测试的结果失效。改善的信号可能会被夸大，或者在营销推广中丢失。所以，如果公司正进行推广活动，那就把你的实验推迟到活动结束后。
● 产品的变化。你不能在测试一个新产品图像的效果的同时，又在每个页面的顶部推出一个新的横幅广告。横幅会消耗客户的注意力，你测试的产品图像可能就无法获取足够的流量。当你分析测试的结果时，也无法知道是你的新产品图像还是横幅+产品图像的组合驱动了改变。
▨ 如何控制内部环境
● 测试特性时，确保其他因素不变。如果你想测试多个特性，请与你的团队进行沟通，依序进行。
● 与其他团队沟通，以确保他们没有测试竞争特性或更改任何特性。你们应该有一个共享的文档来核对彼此的测试时间表。
当然，当多个因素发生变化时，你可以使用多变量回归来分析测试结果，但可能会有更多的干扰项出现。所以，不要贪心，一次只测试一个特性，除非你是一个专家。请记住，在正确的方向上迈出一小步比漫无目的地大踏步要好。
▨ 外部环境
现在你已经确定你正在测试的功能是网站上唯一不同的东西，让我们看看你无法控制的两种外部环境。
1. “可以调整”的外部环境：季节性和趋势
● 季节性: 这是一种不断重复的模式。季节效应包括春夏秋冬、返校、节假日等带来的影响。
● 趋势：会随着时间的推移而变化，但并不是周期性变化，也不一定是线性的。
季节性和趋势的影响不仅仅是简单的乘数效应；它们对测试的影响可以表现出不同的结果。例如，你的功能可能在4月份没有任何影响，但它在6月份让销售额提高了10%，而在8月份将产生5%的负面影响。
● 如何把控:
建立时间序列回归模型来调整季节效应和趋势。如果没有足够的数据来构建时间序列模型，则可以收集行业的历史数据或产品过去的性能作为基准。
2. “无法调整”的外部环境：竞争对手、客户行为和行业变化
竞争对手可能会推出一个新功能，与你正在测试的功能直接竞争；你的客户可能会清除浏览器cookies或更换浏览器；你所在的行业正在经历类似从实体到数字化、从石油天然气到电力、从劳动密集型到自动化的转变，你的测试结果则可能会被这种转变“污染”。
▨ 该怎么做：
在这种情况下，你可以用模拟数据来估计外部影响的范围，并尽可能地评估风险，做好准备。
最后请记住，世上可能不会有一座完美的山或一个完美的静态环境，但你应该检查你的选项，并选择最靠近目标的一系列选项。按照本文中的提示执行成功的A/B测试。▨ 持续学习很重要。虽然看起来有悖常理，但保持忙碌实际上有助于管理压力。当你的大脑处于活跃状态并学习新的东西时，可以使你更专注于日常工作。
▨ 平衡好独处和与他人社交的时间。有很多事情你可以自己解决，但也有很多事情需要别人的帮助。在这种情况下，与董事会、团队、家人合作是更好的选择。当需要依靠别人的时候，请明确是要发泄，还是在寻求反馈。
▨ 关注你的健康。作为一个忙碌的初创公司创始人，很容易把健康放在次要地位。改善你的饮食习惯，并坚持锻炼。
▨ 改善你的旅途习惯。出差是最容易脱离日常、扰乱身心健康的方式。旅途中，把一些简单的产品和习惯引入你的日常生活中：睡觉前，洗脸、沏杯热茶，同时回复当天最后的邮件。在早上的会议之前，坚持锻炼身体。尽量避免在旅途中生病。
▨ 给自己一段远离工作的时间。每隔一段时间，按下“暂停”键，暂时离开工作状态是让你回到高效状态的最好方法。
思维导图是最常见的数据可视化方法之一。它们经常被用作表现思维发展过程，因为你可以从一个中心思想创建“分支”，以探索不同的相关内容。以下是7种常见的思维导图及应用场景：▨ 流程图。一般用作可视化一个过程、进度或一组指示。
▨ 多功能流程图。适用于确定特定事件的原因和影响。
▨ 支架图。用作针对真实的对象或情况，而不是概念或想法。
▨ 树状图。最适合分类和组织信息，设计本身就代表了一个实际的树。
▨ 圆形图。以中心思想为核心的圆，每个圆都包含了前一层的相关思想。
▨ 气泡图。通过使用相关的形容词和描述，来解释一个主旨或话题。
▨ 双气泡图。也称为维恩图，它结合了两个气泡图以展示相关的主题。