女士品茶的实验、假设和检验
R. A. Fisher 的名著《实验设计；第八版，1971年》第二部分有十六页，仅仅讲了一个最简单的实验：女士品茶。这个故事非常有名，以至于 Salsburg 的统计学通俗读物就以它命名：《女士品茶：20世纪统计怎样变革了科学》。
先回顾一下这个故事。在英国的 Rothamsted 实验站，Fisher 给一位名叫 Muriel Bristol 的女士倒了一杯茶，但是 Bristol 表示，自己更喜欢先将牛奶倒入杯中，再倒入茶。这位女士号称能够分辨先倒茶和先倒牛奶的区别。作为实验设计的鼻祖，Fisher 当然想用实验检验一下：这位女士的味觉是否有这么敏锐？Fisher 倒了 8 杯奶茶：其中 4 杯“先奶后茶”，其余 4 杯“先茶后奶”。随机打乱次序后，Fisher 请 Bristol 品尝，并选出“先奶后茶”的 4 杯，看她是否能分辨奶和茶的顺序。下面的2×2表格大致描述了这个问题，其中k是 Bristol 选对的“先奶后茶”的杯数。
抛开严格的数学，先做一些直观的计算。也许 Bristol 并没有任何分辨能力，仅凭运气，她也可能全部答对。随机地从 8 杯中选 4 杯“先奶后茶”，可能完全正确 (k=4)；不过这个事件的概率是
这是一个小概率事件，概率小于 0.05 （通常的统计显著性水平）。所以，若是 Bristol 全部答对，那么她“没有任何分辨能力”这个假设就和数据不太相容，可以拒绝这个假设。也许 Bristol 运气不够好，错选了 1 杯“先奶后茶”（k=3），这个事件的概率是
这并不算一个小概率事件，即使 Bristol 全凭运气蒙对 3 杯“先奶后茶”也无甚稀奇。
从上面的简单计算看，只有当 Bristol 完全答对的时候，我们才拒绝她“没有任何分辨顺序的能力”这个假设，承认她有分辨能力。
历史上的结果是什么呢？Bristol 完全答对。
上面的组合数来自哪里？在2×2的表格中，行列和都固定，k 服从超几何分布，所以上面两个式子无非是超几何分布取 4 和 3 的值。这是通常教科书对“女士品茶”的解释。
但是超几何分布又从哪里来呢？再想想这个例子的不平凡之处：
实验只有一个样本，且不是随机抽取的。
即使我们认为 Bristol 品尝 8 次是 8 个样本，这些样本都是相关的。
更严重的是，前面几杯可能会影响后面几杯的口感，也许会有滞后作用。
这些问题并不是很容易回答。下面是对“女士品茶”实验的一个严格解释。
这里的实验是什么？实验者可以控制的，就是 8 杯奶茶的顺序，完全随机打乱，一共有
零假设是什么？Fisher 《实验设计》的 II.8 的题目就是 “The null hypothesis”，这里他花了两页，可见这问题不那么显然，我认为这是问题的核心。Fisher 选择了如下的零假设：实验者可以控制的顺序 z 对 Bristol 的判断没有任何影响。数学上就是
现在可以做假设检验了。实验者的 70 种可能的 Z，也许恰好匹配了 Bristol 的 y，但这只有
y = c(1, 1, 1, 1, 0, 0, 0, 0)
Zpossible = t(combn(8, 4, tabulate, nbins = 8))
第一行是 Bristol 的 y，经过顺序调整，前 4 杯“先奶后茶”，后 4 杯“先茶后奶”。在零假设下，这个向量固定。第二行是所有可能的 Z ， 一共 70 种可能。大家可以简单比较一下，只有一行可以与 y 完全匹配，有 16 行可以和 y正确匹配 6 杯。和前面的讨论类似，若是选择 0.05 作为显著性水平，那么只有 Bristol 完全答对，我们才能拒绝零假设；否则，无法拒绝。
回到前面的 1、2和3，新的解释是否回答了这些问题呢？新的解释引入了记号 y(z)，它们是一些固定的数，于是我们不关心是否有随机抽样，样本是否有相关性。从这个记号看，第 8 杯的品尝结果可以受到第1杯是否“先茶后奶”的影响。问题的关键是，Fisher 选择的零假设很特别，即 z 完全不影响 y(z) ，因此 y 在零假设下是个固定的向量。这样一来，整个统计问题的随机性仅仅来自于 Z，这是实验者随机化产生的，它成了统计推断的基础。《实验设计》全书从此正式展开。
作者简介
丁鹏，2004-2011年在北京大学概率统计系学习，获得学士和硕士学位；2011-2015年在哈佛大学统计系学习，获得博士学位；2015年在哈佛大学流行病学系做博士后；2016年加入伯克利统计系任教。研究方向是因果推断。
作者：丁鹏
审稿：黄湘云、魏太云
编辑：于淼、林枫、任焱
统计之都：专业、人本、正直的中国统计学社区。
关注方式：扫描下图二维码。或查找公众号，搜索 统计之都 或 CapStat 即可。
往期推送：进入统计之都会话窗口，点击右上角小人图标，查看历史消息即可。