谈经论典：细说AB实验

1，追古溯源

王充在《论衡-遭虎篇》驳论"老虎吃人是功曹官员为非作歹造成的"文章结尾的点睛之笔"等类众多，行事比肩，略举较著，以定实验也。"引出实验二字

实验用实际的显著示例，定是非辨黑白有着很独特的说服力；众多实验中AB实验如鹤立鸡群应用深广。

AB实验在生物医学又名为"双盲实验"。双盲实验中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后再来比较这两组病人的表现是否具有显著的差异，从而决定测试用药是否有效。

2，我怎么理解AB实验

常把AB组两组类别虽简洁而不能名义，如果把A（After）变化后，B（Before）变化前；AB实验本质就是用实例去检验“变化”带来的某种更有倾向性的结果；

变化本质是一种道，道生一，一生二，二生三，三生万物。由此推之，变化产生AB，AB的组合变化产生三种结果：A好于B，AB难分伯仲，A劣于B；

3，AB实验三性

先验性：AB实验用有限的资源模拟真实的环境，就是为了提前把握把握变化带来的结果是否符合我们的预期，及时发现问题，科学决策减少减少损失。避免经验主义，减少后验成本 。

并行性：AB实验的目的是测试AB之间的变化带来的结果。所以需要保证只有一个变化因素，实验环境的别无二致，实验对象要做伯仲之间；做到时间与空间的统一只能通过并行来实现，并行性是AB实验成败优劣的关键。避免忽视细节，控制变化因素的唯一性。

科学性：符合理论逻辑的实验设计，严格的实验流程，客观的数据分析，反复的验证不断迭代方法是AB实验科学性的表现。实验结果真实反映实际情况本身就比主观臆断来得更加科学。科学的流程，也要缩短漫⻓长周期。

4，AB实验怎么用？

在互联网场景中应用有两个地方：一是前端（UI页面）测试；二是后端（算法）测试。

当谈到房屋共享，一定会想到“爱彼迎”，其成功也体现来前端AB测试的意义；创业维艰，爱彼迎开局很难，用户流量增长停滞；

用专业的摄影师统一拍摄的干净舒适的图片替换房主们杂乱无章的图片，因为房主们拙劣的拍照技术和糟糕的文案，掩盖了房屋本身的优势。

首先在纽约做了AB实验，纽约的订房量涨了两三倍，当月，公司在当地收入整整增长了一倍。这一做法很快被复制到巴黎、伦敦、迈阿密等地。

后端测试的例子也是比比皆是：微软Bing搜索引擎的优化测试；推荐算法的调优测试；万物皆可AB测试。

一个完整流程是这样的。

搜索是发现好物的开始，是电商平台主要的流量入口，可以说三分天下有其一。

案例背景：

5，常见的使用误区

误区1: 一次性改变多个变量量进行试验：在同⼀个⻚面修改了许多元素，测试之后的难以确定哪个因素起到了作⽤，控制变量量，才能使结果的分析更更准确。

误区2: 切流量量时只要保证两组数量量⾜足够、相同即可 ：样本的采集要尽可能做到两组平衡，有可⽐比性 ，不仅仅是单一数量的问题。

误区3: 以为只有测试结果有提升才是成功的测试：只要测试的目标、方法是科学可靠的，测试的结果都是有价值的。

推荐阅读：

文章底部点个「在看」，坚持为你创作！