其他
辛普森悖论:相信直觉不如懂得数学 | 科技袁人
导言:
辛普森悖论并不是个悖论,它只是个现象而已。这个现象是违反直觉的,但这只是因为你最初的那个直觉本来就不严格,没有任何数学的证明。
当然,这个问题一般是学渣问的……
学霸们对于这么low的问题,往往发挥各种冷嘲热讽,暴击造成一万点的伤害。不过今天我们不打算冷嘲热讽,而是来讲一个非常硬的、超越常识的数学知识,听了你就明白它在日常生活也经常出现。放心好了,这个数学知识一点都不复杂,即使是学渣也肯定能听懂的。(慈祥的微笑)
这个数学知识,叫做“辛普森悖论”,英文叫Simpson's paradox。这个悖论,是英国数学家Edward H. Simpson在1951年提出的。其实在这之前也有其他的数学家提出类似的现象,不过真正引起公众注意的还是Simpson,所以我们就把它叫做辛普森悖论好了。
这位Simpson老先生的生卒年,是1922年生……但是没有卒年!因为他还活着呢,今年已经96岁了!2017年,也就是95岁的时候,他还为一本专业书写了两章的内容!(注:本文稿发表于2018年4月27日为什么我们说不要轻易和数学家吵架之辛普森悖论 | 科技袁人,辛普森先生已于2019年去世,因此视频中的相关内容进行了变动)真是应了那首歌,“革命人永远是年轻”……
言归正传。辛普森悖论说的是什么呢?它说的是这样一个统计学的现象:有时候,两组数据各自都满足某种性质,可是当你把这两组数据合并起来考虑时,却会得到相反的结论。
这话是什么意思?听起来很难以理解,对吧?正是因为难以理解,所以才叫做“悖论”嘛。看下面这个具体的例子,你就能获得一些感觉了。
有甲乙两个运动员,各打了100场比赛。他们的对手分为两类:高手和低手。
甲跟高手打了80场,胜了8场。乙跟高手打了20场,只胜了1场。那么跟高手打的胜率,甲是10%,乙是5%,甲的胜率比乙高。
再来看跟低手的比赛。甲跟低手打了20场,全胜。乙跟低手打了80场,胜了40场。那么跟低手打的胜率,甲是100%,乙是50%,甲的胜率还是比乙高。
好,无论跟高手还是低手打,甲的胜率都比乙高。那么如果统计总的胜率,甲肯定也比乙高,对不对?
在直觉上,你会认为,那绝对是当然的!(国产动漫《魁拔》里蛮吉的口头禅)
但是,不要忙着下结论哦,算了以后才能确定。
同样都是打了100场,甲对高手胜了8场,对低手胜了20场,总共胜了28场,总胜率是28%。而乙对高手胜了1场,对低手胜了40场,总共胜了41场,总胜率是41%。
你看,论总胜率,情况就反过来了,乙就比甲高了!
你的直觉是不是碎了一地?
实际上,这种情况在篮球运动员的技术统计中就不时地出现,例如某人投二分球和三分球的命中率都高于另一个人,总的投篮命中率却低于他。为什么会这样呢?显然是因为前边那个人太喜欢投三分球了嘛。库里同学发来贺电!
我们再来看一个医学中的真实例子。对于肾结石,有两种疗法。肾结石的症状,有大结石和小结石两种程度。两种疗法和两种症状总有四种组合,医学家们对于这四种组合做了四组实验,得到下面这个表里的结果。
每一个格子里的比例,是治疗的成功率。后面的两个数字,是成功的病例数和这一组总的病例数。
现在的诡异之处是:无论对于小结石还是对于大结石,第一种疗法的成功率都高于第二种疗法。但是,当你统计总的成功率时,第一种疗法却低于第二种疗法!
我们再来看一个假想的例子。有A和B两个编辑,他们的工作是改进稿子。第一个星期,A只收到1篇稿子,但没有改进成功。B收到4篇稿子,改进了1篇。第二个星期,A收到4篇稿子,改进了其中3篇。B只收到1篇稿子,改进成功了。我们同样可以画一个表如下:
以上都是数字的例子。如果你还是云里雾里的话,我们还可以举一个形象一点的例子。看下面这个关于矢量的图:
这里有两组矢量,褐色的L1、L2和蓝色的B1、B2。在同样下标的矢量相比时,L1在B1的右边,L2也在B2的右边。可是当你把同颜色的矢量加起来的时候,L1 + L2却在B1+ B2的左边。
为什么会这样呢?这是因为L1比B1短得多,而L2比B2长得多。在L1 + L2中,主要的贡献来自第二组的矢量L2。而在B1 + B2中,主要的贡献却来自第一组的矢量B1。
总而言之,辛普森悖论告诉你的是,你的直觉有可能是错的。如果有两组数据,A在这两组数据中的成功率都高于B,那么总的成功率却可能会反过来,成了B高于A。
现在我们可以明白,辛普森悖论并不是个悖论,它只是个现象而已。这个现象是违反直觉的,但这只是因为你最初的那个直觉本来就不严格,没有任何数学的证明。这个直觉只是经常成立,而不是必然成立,如果数据特别一点,就不成立了。所以一个有趣的问题反而是:你最初怎么会产生那个错误的直觉的?!
我知道,这样的解释还不足以令你心安。因为你还是会感到迷惑:这让我怎么决策啊!我究竟该看分组的数据呢,还是该看总和的数据?
比如说,在我们的第一个例子,两个运动员跟高手和低手比赛的例子中,如果你是教练,你会挑选谁进入你的运动队呢?
在第二个例子,肾结石的两种疗法的例子中,如果有人得了肾结石,你会向他推荐哪种疗法呢?
在第三个例子,两个编辑的例子中,如果你是主编,你觉得哪个编辑的能力更强呢?
决策时究竟该看分组的数据,还是总和的数据,这是一个更高层次的问题了,比辛普森悖论本身更加难以理解一些。在这里只能说结论:有时该看分组的数据,有时该看总和的数据,视问题本身的因果关系而定。
我们可以把这三个例子作为思考题,请同学们课下去想想,究竟该用分组的数据,还是总和的数据。欢迎踊跃留言哦~
最后,我们可以得到一个广泛的哲学性的教益:日常语言是很模糊的,而数学语言就很精确。如果你跟别人辩论一个问题,谁都说服不了谁,请想想看是不是因为你们指的不是同一个东西,再想想看能不能用数学语言把你们想说的清楚地表达出来。
这就回到了我们最初的问题:数学有什么用?
无论是学渣还是学霸,现在同学们是不是都对这个问题理解得大有深化了呢?
关注风云之声 提升思维层次