“方舟子”第二？他专揭牛人学术研究： 4%论文或含这个问题！
Nick Brown（左）和James Heathers
图片来源：ANDY FRIEDMAN
2015年，荷兰格罗宁根大学心理学研究生Nick Brown在推特上看到了一些引起他注意的东西。这是法国南不列塔尼大学心理学家尼Nicolas Gueguen发表的一篇文章。Gueguen喜欢发表一些人类行为研究结果，例如，金发女服务生会得到更多小费。而现在，Gueguen说男性不太可能帮助那些将头发扎住的女性。
Brown给美国波士顿东北大学行为科学博士后James Heathers发了一封电子邮件，几年前曾他们曾见过面。Brown和Heathers仔细研究了Gueguen的论文，发现许多研究都没有通过本土测试验证统计的严密性。他们还在Gueguen的其他9篇文章中发现了奇怪数据。
不久，Brown和Heathers就这些数字问询了Guéguen和法国心理学会。结果，他们说，Guéguen未能充分解决他们的问题，而该学会同意他们的批评似乎是有根据的。因此，去年年底，这对搭档公开了其调查，向记者表达了他们的担忧，并在博客上发表了他们的评论。（Guéguen拒绝采访，而法国心理学会表示一个大学专家委员会在检查这些论文。）
在纠正科学文献方面，风格各不相同。一些科学家喜欢通过“适当的渠道”，例如私人谈话或给编辑的信件。还有一些人在网上论坛上留下匿名评论。而Brown和Heathers正在采取更公开的方式。
现在，这两位监督者在揭露问题出版物方面已成绩斐然。到目前为止，Brown估计，他们联合或独立所做的分析，导致了几十篇论文的修改，以及大约10篇论文的完全撤回。这包括康奈尔大学知名营养研究员Brian Wansink在过去1年撤回的5篇论文。
这两人也承认，他们过于自信的风格可能会惹恼一些科学家。Heathers称自己是“数据暴徒”。但也有研究人员称赞这对搭档是推动科学更严谨的先锋。“如果没有像他们这样的人积极地搜索文献论文，人们就会忽视这一点。”弗吉尼亚大学心理学家Brian Nosek说，“我可能会看到一篇论文，说‘我不相信’，然后弃之不顾。而他们却会继续调查。”
因此，Brown和Heathers已经成为了某种告密者：研究人员现在会将可疑论文发给他们进行调查。
不太可能的组合
这对合作似乎不太可能，他们也是在互联网上才有可能出现的一对奇特组合。
现年57岁的Brown最初是英国剑桥大学的工科学生，但“我的数学不够好”，他说，最后成了一名计算机网络管理员。
这份工作让Brown有两次邂逅，最终促成了他目前的追求。在参加人力资源会议时，他遇到了英国心理学家Richard Wiseman，他在2010年撰写了一篇颇具影响力的博客文章，批评了康奈尔心理学家Daryl Bem即将发表的研究，该研究旨在证明超感知的存在。这次遇见“播下了种子”，促使Brown在东伦敦大学攻读心理学硕士学位。
新的学习让Brown进行了第一次成功揭秘。2013年，他与另外两位学者合作，其中一位是纽约大学数学家和物理学家Alan Sokal。他们发表论文批评了当时心理学理论经典论文，指出论文中的公式依赖于流体动力学领域的无关方程。他们的文章最终引发了该论文的部分撤销。
2014年，Brown认识了Heathers。当时他们同在一个“脸书”讨论组里，讨论一篇关于心率变异性的文章。
实际上，这对搭档的性格截然相反。尽管Brown并不认为自己是战士，也没有任何“恃强凌强”的痕迹，但在澳大利亚出生的35岁的Heathers却表现得像个晚餐客人，在优雅的时刻“毫无歉意地放屁”。而且他似乎天生无法接受权威。
当时，作为悉尼大学的一名本科生（他也在那里获得了硕士和博士学位），Heathers开始学习经济学，但后来转向生理学。“我一直在和讲师争论，他们说的东西我不同意。”但由于种种原因，导师离开了他。“在接下来的3年中，我花了大部分时间试图自己解决问题，”Heathers说。“我对学术参数或应该做什么没有概念。”
Heathers强调的是他所谓的“数据材料”。简而言之，这意味着批评其他研究人员的结果。“我平时的工作，就是从别人那里获取测量数据，并告诉他们误入歧途了。我通常是坏消息的传递者。”他说。
当这两人一起工作时，通常一方明显处于领导地位。Brown说：“我们通常是80/20或90/10分。有时我在做大部分的工作，而James只是在那里忍受我的抱怨和检查我不会掉进兔子洞，反之亦然。
数学方法
2015年，Brown和Heathers开始联合检查Guéguen的论文，他们的数学方法雏形开始成形。
他们在2016年5月发表在Heathers博客上的一项技术，着眼于研究人员所谓的GRIM方法。本质很简单：N个整数集合中的平均值必须是一个分母为N的分数。例如,如果研究员的研究涉及12个11岁至17岁的孩子，他们的平均年龄15.7岁似乎是合理的。但GRIM测试表明，它在数学上是不可能的，因为15.7不是一个年龄总和除以12能得出的数字。
Heathers说，他们并不认为GRIM测试是一种检测不当行为的好方法。GRIM是发现心理学和其他领域小样本的结果错误的理想方法，它不适用于大型研究和更复杂的数据集。相反，Heathers说，“我们正在寻找错误，这是字面上的。”
对于那些大型研究论文，Heathers提出了一个更复杂的测试，他和Brown开发了样本参数通过迭代重建技术（SPRITE）。本质上，SPRITE允许研究人员做一些反向工作：从研究中报告的方法和标准偏差中推导出统计数据集。
在针对康奈尔大学Wansink的论文分析中，SPRITE非常理想。测试表明，Wansink 2012年发表在《预防医学》上的一篇研究在学校儿童使用胡萝卜情况的文章的数据似乎是不确定的。通过SPRITE分析已发布的数据表明，在样本中至少有一个孩子在一次吃了大约60根胡萝卜。
尽管直击论文错误，Brown和Heathers却没有受到同行的批评。在某种程度上，这可能是因为他们的策略温和，但有条不紊地加大了作者和期刊的压力。例如，对Wansink的分析从“一些非常礼貌的”电子邮件开始，询问研究人员所在部门的数据，以及康奈尔大学研究诚信办公室的数据。
编辑也在听
一些编辑和出版商显然也在关注这对搭档。Wansink事件明确向“我们展示了在线论坛是有价值的科学记录。”尖端科学诚信负责人Gearóid Ó Faoleán说。该公司的一个期刊撤回了Wansink 2016年发表的一篇论文。他们还促使《感官研究杂志》的编辑对他们在2014年发表的Wansink的论文进行了调查，并要求对其进行修正。
其他想要成为数据揭发者的人也对这二人在影响期刊方面的成功印象深刻。纽约罗彻斯特大学医学中心的Paul Brookes曾用博客以匿名的方式指出可疑论文。仅6个月后就受到Brookes法律威胁，他说他还“经常给期刊编辑写几十封电子邮件，而且根本没有回应是很正常的”。
加州旧金山uBiome的一名科学编辑Elisabeth Bik，也经历过类似的沉默。当Bik是斯坦福大学研究人员时，她牵头对2016年发表在mBio的2万篇论文进行了分析，得出的结论是4%或800份文件中含有不恰当的图像。她联系了大部分期刊，但只有1/3的人回复了。
现在还不清楚为什么Brown和Heathers得到了更好的回应——可能是整体风气变了。那么，为什么没有更多的科学家效仿呢？
他们说，一个很大的障碍是，很多人不愿意把“友谊的小船”打翻。Brown说：“有些人不喜欢批评别人，甚至是自己。”他们对明显问题的反应是退缩，就好像一个科学超我在说，“我可以得到这个教授的文章并读它吗？如果我重新计算平均值，会不会有不好的事情发生？ "
另一个障碍是过度的信任。Heathers说：“其他人确实缺乏这种质疑的心态，并认为这是必要的。没有发现错误的指南，没有可以阅读的文字。到目前为止，我们所做的是非常特别的。”
摘自科学网：原题“数据暴徒”见面揭露伪劣和可疑研究
注：本平台部分优选文章无法联系作者，若有不当，请及时联系我们处理。投稿、合作、建议等可后台回复“约”加本站编辑。
更多中外高校要闻信息，敬请关注：
精英家长、基础教育工作者请关注：