一看就不靠谱的“钓鱼”研究，为什么骗倒了那么多人？|科学人
约翰•博安农（John Bohannon）又干了桩大件事。
（在你问他是谁之前），博安农是牛津大学的分子生物学博士，Science和Wired的撰稿人，也是个脑洞很大的奇葩。他的个人网站列出了他曾干过的一些大事——以“实验”和“结果”的形式。
实验2：跟Science合作，举办每年一届的“跳出你的博士课题”（ Dance Your Ph.D.）舞蹈大赛 结果：在2012年的TED大会上公开演出，同时呼吁大家用舞蹈取代PPT，以此增加艺术家的就业率，并降低无聊会议造成的经济损失。
实验3：就“人在盲测时无法辨别午餐肉罐头和罐装狗粮因为它们的成分和制造工序太近似了”这个题目写了一篇论文。 结果：导致著名脱口秀主持人斯蒂芬•科尔伯特 （ Stephen Colbert ）在电视上吃了一罐猫粮。
实验4：写了剧本《绿野交锋》（Green Porno），讲述了蜜蜂鸭子蜗牛海豚等动物的奇异性生活，著名女演员伊莎贝拉•罗西里尼（Isabella Rossellini）倾情出演…… 结果：导致另一位著名脱口秀主持人囧司徒（Jon Stewart）在他的每日秀上分享了自己对臭虫的恐惧。
实验5：研究了来自Google Book的1500万本书籍的数据，分析所有书中都提到了哪些科学家、一共提了多少次。 结果：搞出了科学家名人堂（The Science Hall of Fame），以达尔文在英文书中被提到的频率的千分之一为单位（mD），就可以衡量科学家的知名度了——比如说，爱因斯坦是878mD，居里夫人则是189mD。
实验6：从Sci-Hub那里取得了全世界2800万次下载记录
结果：写出了《谁在下载盗版文献？每个人》
实验7：化名为来自非洲厄立特里亚国的生物学家Ocorrafoo Cobange，向304家开放获取期刊（OA）投了自己随便瞎编，一看就错漏百出的论文。 结果：有157家期刊同意发表……接收率51.6%。说好的“坚持严格的同行评议制度”呢？！
壮阔的人生，大写的服气。图片来源：pffanon.wikia.com
所以，他这次又干了什么呢？
事情的起因是这样的。2014年，两位德国电视记者，彼得•翁嫩肯（Peter Onneken.）和黛安娜•勒布尔（Diana Löbl），想拍个关于减肥食品业界的纪录片。
翁嫩肯研读了欧洲的S3膳食指南，发现许多制定指南的专家受雇于减肥公司或食品公司，并在指南中推荐雇主的特定膳食。他们私下联系了其中的几位专家，有人承认某些研究做得不够好——这有点太轻描淡写了，翁嫩肯觉得有些研究简直就是垃圾。而这些垃圾研究被冠以科学之名，登上媒体头条，在全世界广为传播，然后一些奇怪的膳食就能大卖特卖……
于是，翁嫩肯就找到了博安农商量：单纯揭露批判，总觉得力度不够，不如我们按照这些套路，自己动手搞个垃圾膳食研究？
这种闷声发大招，搞个大新闻的事情，博安农最擅长了！ _(:зゝ∠)_
说干就干，步骤如下——
1. 选择研究题目。
翁嫩肯本来想搞个“啤酒有益身心”的研究。然而，他们的纪录片计划在德法两国播放，而法国对于电视上播放的喝酒内容，有很多法律规定……于是啤酒出局。
冈特•弗兰克（Gunter Frank） 医生是这次“研究”的主持者，他提出了一个新的“研究结论”——黑巧克力有助减肥。弗兰克说，人们对于难吃的东西有种朴素的信仰，总觉得好吃的就是垃圾食品，难吃的就是自然灵药……其实很多时候，苦味预示着有毒啊！演化给的自保本能，就这样轻易地丢掉真的好吗？
不管怎么说，“黑巧克力很苦很难吃，所以它肯定对健康有益”，嘛，就这么愉快地决定了！
2.收集数据
这帮人在Facebook上发了个广告，“吃三周指定饮食，赚150欧元”，并征来了15个志愿者——本来是16人，后来有一个中途退出的。然后把这15人随机分三组。对照组继续正常饮食，试验组I吃低碳水化合物饮食，试验组II吃同样的低碳水化合物饮食外加每天一条1.5盎司（约合45克）的81%的黑巧克力。
3.统计分析
他们找了个金融分析师朋友亚历克斯（Alex Droste-Haars）来分析数据，分析师喝着啤酒干了一个周末，发现数据简！直！完！美！
对照组体重基本不变，两个试验组平均体重都轻了5磅（2千克左右），经统计检验，差别显著。而且黑巧克力组的减肥速度还快了10%，此外，黑巧克力组的健康自评分数更高。
4.写论文，投论文
还记得博安农化身非洲学者一口气投中了157篇论文那次么？在挑选野鸡期刊上，他可有独到的一手心得。总之，他化名约翰尼斯•博安农（Johannes Bohannon）投了20家期刊，在24小时内就接到一大堆录用通知。在这些表示“这文章我收了”的期刊中，博安农选中了《全球医学研究期刊》（Global Journal of Medical Research），给该刊交了600欧元的版面费，不到两周后，搞定！
总之，论文搞定。
5.让媒体报道
一开始博安农是比较悲观的。他想，记者只要随便Google一下，就会发现论文作者所在单位“饮食与健康研究大学”（University Institute of Diet and Health）根本就不存在……记者再找个靠谱的科学家读一遍论文，就会发现结论根本站不住脚。
一个公关业的朋友告诉博安农，其实没那么难。抓住一点关键就行——记者都懒。只要你替记者把该写的东西都写好，记者们就会自动开始复制黏贴，最后发出来一篇和你的原稿八九不离十的东西。
博安农于是写了一篇给媒体专用的“新闻发布稿”，放上了大部分数据——有意没提样本数等“小瑕疵”。记者即使不读原始论文，读完这篇稿子也能动笔写了。
他还找音乐人拍了两条MV，一个男声说唱版，一个女声民谣版，主题都是《巧克力变身》（The Chocolate Transformation）——还记得吗，这家伙是“跳出你的PhD”舞蹈大赛的组织者。
万事俱备，只欠鱼群。
欧洲发行量最大的报纸——德国图画报（Bild）是第一条上钩的鱼，他们发表了《吃巧克力能保持身材纤细》。
没多久，印度、爱尔兰、美国、澳大利亚的多家媒体都报道了这一“发现”，其中不乏赫芬顿邮报这样的大媒体。
写稿的记者，大部分压根就没联系博安农这个“论文作者”。有些联系了，但问的也只是“你对我们的读者有何建议”之类。没人质疑样本数，没人去找其他科学家来评论这个研究。最令博安农痛心的是，没有一篇报道放了他精心拍摄的那两条音乐录影带！
嘛……毕竟其他人都是正常人……
猜您一定常听到这句话。 图片来源：media.giphy.com
博安农的垃圾科学究竟为什么钓到了那么多鱼？人们常说，最厉害的谎言就是99句真话里掺一句谎言，但其实现在的谎言更上层楼：通过99个事实得出一个结论，最后的结论偏偏不是真实。坏科学的杀伤力恰恰就在于此。
博安农骗过期刊又骗过媒体的第一个秘密是统计分析。
宏观经济学里有个古德哈特定律（Goodhart's law），一项指标一旦成为政策制定的依据，便会立刻丧失其原有的信息价值。统计学的p值也是如此，这原本是一个用来衡量“某命题是否很可能为真”的指标，但随着p值成为发表论文的“快捷通道”，很多人便开始改动实验设计、删改实验数据、重复多次实验——只为一个小于0.05的p值。
当博安农自己揭露这个骗局时，他写道：“一条肮脏的科学小秘密：假如你在一小群人身上测量一大堆数据，你基本上肯定能得到‘统计上显著’的结果。我们给15个人测了18项指标——体重、胆固醇水平、钠、血中的蛋白水平、睡眠质量、总体健康状况等等。这样的研究设计，就是得到假阳性结果的秘诀。”
“我们其实不知道会出现怎样的结果——完全可能是巧克力改进睡眠、巧克力降低血压——但我们知道，我们有很大机会（>60%）至少拿到一个‘统计上显著’（也就是p<0.05）的结果。”
哥伦比亚大学的统计学教授安德鲁•杰尔曼（Andrew Gelman）认为，博安农还估低了，因为他只把测量18项指标当成18个单独的测试来算。事实上，任何两项指标都可以被拿出来比较，还可以单看某个分组的各项指标，考察指标之间的相互作用……这样的多重比较，让拿到‘统计上显著’的几率远不止60%。
世上无难事，只怕统计学……图片来源：xkcd
第二个秘密则藏在样本数量里。
博安农自己写道，“我们的研究注定不靠谱，原因就在于样本数量太少，这就放大了不可控因素的影响。举个例子，女性在月经周期中体重波动就可以高达两千克，这就已经远超过我们那两个试验组之间的体重差异了。正是因此，才需要很多人的大样本，还要平衡好不同组里的年龄和性别组成（我们当然没理这事）。”
忽然想起了塞拉利尼的“转基因玉米致癌”论文：同样发表在名声一般的开放获取期刊（OA）上，同样是样本量小而分组多——能不能少一点统计套路，多一份科研真诚？
博安农还写，“幸运的是，在这些问题上，科学家们变得越来越明智了。有些期刊正试着慢慢淘汰p值检验，推动科学家养成更好的习惯。现在几乎没人会正眼看样本量低于30的研究。知名期刊的编辑都懒得把这样的稿子送审，直接就会拒掉。但是，也有很多期刊比起声誉，更看重金钱。”
顺便说一句，在博安农的“自杀式袭击”公开后，登他论文的那家活该倒霉的期刊出版方憋出一则声明，说其实博安农的文章他们是拒了的，只是不知为何，这篇文章意外出现在了他们期刊的网站上，同样不知为何，这篇文章一直保留了好几天，对此他们深表歉意，其实他们是一家有理想有伦理透明公开的严肃期刊……
博安农对此的回应是：“啊如果真的撤稿了我一定要把600欧元要回来！”
钓鱼当然不是好事。这场钓鱼实验的发起人翁嫩肯也承认这一点，同时他也声明，他们尽了最大可能让上当的人不受伤害。“吃黑巧克力，一般不会造成什么大问题”，而参与实验的那16个人都经过血检加问卷，确定没有人有糖尿病、饮食紊乱等问题。
他做这一切，只为了告诉全世界的媒体——这样的研究根本就不该出现在媒体上！没有传播，就没有伤害！
“如果科学家做了个屎一样的研究，但没人听说，那就没人受害。英国小报说火星上有恐龙，那无所谓。但有些人真的需要减肥，需要饮食干预，而很多被报道出来的研究对他们毫无帮助。”
而博安农想告诉全世界媒体的是，膳食科学，是一门科学。
如果你想报道科学，你必须学会如何读论文，必须愿意花时间脑力去真的读论文，必须秉持着追求真实之心，近乎苛刻地审视每个结论是否真能成立。
“假如一个膳食研究不提样本数多大，或者说了个惊人的结论，然后只说差异在‘统计上显著’，却不跟你说差异到底多大，你就该开始思考这是为什么。”
“但大多数时候，我们记者没有去追问。这很令人遗憾，因为如今的记者已成了现实生活中的同行评议系统。当我们未能尽忠职守，世界就会被坏科学淹没。”
（编辑：Stellasun；排版：Sol_阳阳）
参考资料：
1.Bohannon, Diana Koch, Peter Homm, and Johannes Alexander Driehaus. "chocolate with high cocoa content as a weight-loss accelerator." Global Journal of Medical Research 15.2 (2015).
2.Bohannon, John. "The science hall of fame." Science 331.6014 (2011): 143-143.
3.Bohannon, John. "Who’s afraid of peer review." Science 342.6154 (2013).
4.Bohannon, J. (2015, May 27). I fooled Millions into thinking chocolate helps weight loss. Here’s how. Retrieved May 24, 2016, from http://io9.gizmodo.com/i-fooled-millions-into-thinking-chocolate-helps-weight-1707251800
5.Michel, Jean-Baptiste, et al. "Quantitative analysis of culture using millions of digitized books." science 331.6014 (2011): 176-182.
6.fengfeixue0219. (2014, June ). 新瓶装旧酒——塞拉利尼的转基因玉米“新”论文. Retrieved May 26, 2016, from http://www.guokr.com/article/438683/
7.Andrew. (2015, May 29). John Bohannon’s chocolate-and-weight-loss hoax study actually understates the problems with standard p-value scientific practice - statistical modeling, causal inference, and social science. Retrieved May 26, 2016, from Miscellaneous Science, http://andrewgelman.com/2015/05/29/i-fooled-millions-into-thinking-chocolate-helps-weight-loss-heres-how/
8.Bohannon, J., Goldstein, R., & Herschkowitsch, A. (2009). AMERICAN ASSOCIATION OF WINE ECONOMISTS CAN PEOPLE DISTINGUISH PÂTÉ FROM DOG FOOD? Can people distinguish Pâté from dog food? Retrieved from http://www.wine-economics.org/workingpapers/AAWE_WP36.pdf
9.Bohannon, J., & Movement, B. L. (2011, November 30). Dance vs. Powerpoint, a modest proposal Retrieved from https://www.ted.com/talks/john_bohannon_dance_vs_powerpoint_a_modest_proposal
10.Chocolate-diet study publisher claims paper was actually rejected, only live “for some hours." Email, however, says.. (2015, May 28). Retrieved May 26, 2016, from biomedcentral, http://retractionwatch.com/2015/05/28/chocolate-diet-study-publisher-claims-paper-was-actually-rejected-only-live-for-some-hours-email-however-says/
11.How A journalist tricked Millions of people into thinking chocolate helps weight loss. (2015, May 29). Retrieved May 26, 2016, from Health and Medicine, http://www.iflscience.com/health-and-medicine/how-journalists-were-trolled-chocolate-weight-loss-study
12.office, E. (2015). Retraction notice on “chocolate with high cocoa content as a weight-loss accelerator.” International Archives of Medicine, 8, . doi:10.3823/1654
13.Review, C. J. (2016). The history behind the chocolate hoax. Retrieved May 26, 2016, from http://www.cjr.org/analysis/the_history_behind_the_chocolate_hoax.php
14.Should the chocolate-diet sting study be retracted? And why the coverage doesn’t surprise a news watchdog. (2015, May 28). Retrieved May 26, 2016, from public health/safety, http://retractionwatch.com/2015/05/28/should-the-chocolate-diet-sting-study-be-retracted-and-why-the-coverage-doesnt-surprise-a-news-watchdog/
怎样识别钓鱼研究？
一个靠谱办法：向科研大咖提问，解决疑惑
识别二维码，进入科学人科研大咖页面
一元即可偷听问题
你睡着了，你的知识还在为你赚钱
本文来自果壳网，谢绝转载
如有需要请联系sns@guokr.com
点击"阅读原文”，阅读约翰•博安农的另一项研究
谁在下载盗版文献？