查看原文
其他

世界首份只颁给“失败研究”的奖金:“无效”的实验结果没准能为你赢得1万欧元

2017-12-05 Jena,Puiu 科研圈

图片来源:marcguberti.com


撰文  Anupam Jena,Tibi Puiu

编译  何伟雄

审校  魏潇


每个医学研究者都希望自己正在做的那些研究项目或临床试验能够产生有说服力的结果,这样他们就能够改善疾病的治疗方式或者卫生政策。然而事实上,得出阳性结果(positive results)的情况往往是少数,一个科学研究经常会以获得“无效”结果(null results)的局面结束——这意味着我们所测试的政策方法、药物或临床干预的效果与其他的替代方法并无不同。


“无效”的说法源于无效假设(null hypothesis),后者是科学统计方法的基石。举个例子:假设我想验证由冬令时切换到夏令时是否会影响外科手术的结果——因为睡眠时间的减少使得外科医生在时令交替后的几天会稍微疲劳一些。那么我需要先建立一个无效假设:手术导致的死亡案例数在夏令时开始前后并无不同。然后试图使该假设无效或提出反证,以表明二者间确实存在区别。拒绝无效假设是科学研究中的标准操作程序。


无效的结果非常普遍。但“阴性”结果仍然不太可能像“阳性”结果那样被发表。在对某个科学会议上的近 3 万篇研究报告的分析发现,只有不到一半的研究最终在经同行评议的期刊上发表。显然,阴性或无效结果发表的可能性比阳性的结果少得多,而且具有阳性结果的临床试验会比阴性结果发表得更早更频繁。


无效 ≠ 无意义


这种现象是不应该出现的,甚至可以称为“科学界之耻”。因为发表无效或阴性结果是一种重要的尝试。一些无效结果背后往往“潜伏”着重大的发现——比如研究发现根据疗效支付医疗费用,对提高医疗质量并没有效果。然而,大多数的研究问题都不属于这个范畴。期刊拒绝发表无效的结果会导致其他研究人员进行同样的研究,浪费宝贵的时间和资源。


看看下面这些获得了“无效结果”的研究,它们具有的意义用“重要”来形容一点都不为过:


万圣节会让人因为高血糖而就医?

在万圣节结束后,孩子们会在短时间内吃掉大量的糖果。这种对糖果的过度摄入是否会导致更多患有 1 型或 2 型糖尿病的儿童产生严重的高血糖? 我对比了在万圣节之前与之后的 8 周,5 至 18 岁之间的儿童在急诊或住院治疗高血糖的情况,并采用 35 岁及以上人群住院治疗的季节性趋势作为对照组。 结果表明在万圣节之后,成年人或儿童在急诊或住院治疗高血糖的人数并没有增加。


2008 年的股市崩盘会降低外科医生的工作质量?

2008 年,道琼斯指数在三周内平均下跌了 3000 点,近总指数的 25% 。许多美国人(特别是那些有足够资金投入股票的美国人)的财富大幅减少,并可能面临着暂时或长久的经济压力。这种严重的财务压力是否会让外科医生无心工作?利用 2007 年和 2008 年的美国健康保险索赔数据(包括病人死亡数据),我以 2007 年的季节性趋势作为对照,想看看股灾后一个月,每个星期病人接受手术后 30 天死亡率是否出现上升。结果显示 2007 年和 2008 年的 30 天死亡率几乎相同,这表明股市崩盘会造成财务压力,但并没有使外科医生在工作时分心。


丢失的研究数据


选择不报告无效的研究结果反映了学术期刊和研究人员的竞争重点。由于资源和空间有限,期刊更愿意发表阳性的结果,对于那些阴性结果来说,只有最重要的才可能被发表。许多研究人员所做的努力可能最终不会被期刊所承认,因此他们自然不会热衷于发表无效的研究结果。


目前学术出版界提供给研究人员发表无效结果的机会也很少。专门关注无效或阴性研究结果的期刊只有自 2002 年以来每年出版两期的《无效假设论文通报》(Journal of Articles in Support of the Null Hypothesis。公共科学图书馆 (PLoS)偶尔也会在其“Missing Pieces”专栏中发表阴性和无效的结果。



这种对阳性结果的偏爱最终会给研究人员提供一种错误的引导,让他们要么努力让自己的数据与预期的结论相一致,要么因为数据不符合预期而完全放弃研究。《自然》的统计显示,社会和医学受到这种出版方式的影响最大。斯坦福大学的研究人员发现,在 2002 年到 2012 年之间进行了 221 项社会学研究,只有 48% 的研究被完整地发表。在所有的无效研究中,只有 20% 出现在了期刊中,65% 甚至没有被记录下来。相比之下,大约有 60% 显著的结果被发表了。


世界上第一个颁给“无效结果”的奖项


不过就在最近,欧洲神经精神药理学会(ECNP)的临床前期数据论坛宣布,他们设置了世界上第一个奖励出版“无效”科学结果的奖项。这项名为“ ECNP 临床前网络数据奖”(ECNP Preclinical Network Data Prize)的奖金为 10000 欧元,最初旨在鼓励神经科学领域中阴性结果的发表。然而,如果它能吸引到更多的目光,这个奖项也可以被扩展到其他学科领域。


杨森制药公司的托马斯•斯特克勒(Thomas Steckler)博士是 ECNP 前临床数据论坛的主席团成员,他在宣布设立奖项的新闻稿中这样评论:“科学的发展依靠的是自我修正的。当阳性和阴性的结果都被发表时,这个自我修正的过程才能发挥最大效力。然而,阴性的结果一般不太可能被发表,因为人们认为它们对科学家个体、组织或期刊能够产生的‘价值’较低。与阳性的数据相比,阴性的数据可能不会那么令人兴奋,也不容易开创新的研究方向,从而很难带来新的基金支持。”


斯特克勒在 ECNP 临床前期数据论坛的同事,安东•贝斯帕洛夫(Anton Bespalov)博士补充了一些观点: “在过去的几年中,我们已经经历了数以百计的药物临床试验的失败。而我们在药物研发早期,也就是临床前工作中存在的‘阴性结果偏见’,已经让我们无法准确分析新药临床试验失败的原因。该奖项旨在向科学家和学术出版商强调,出版所有的结果都是有实际价值的,我们不能仅仅关注阳性结果。”


“ECNP临床前网络数据奖”从 2017 年 11 月 8 日周三开始向研究者们开放申请,截止日期是 2018 年的 8 月 1 日(申请网址)。


申请者的论文需符合以下条件:


1文章由英语写成,发表在经同行评议的期刊上,目前被科学引文索引(Web of Science)或 Scopus 收录2发表日期在 2012 年 1 月 1 日之后3报告的结果需属于非临床研究(或系列研究)4非文献综述5是一篇完整的论文,有详细的材料和方法章节(在文章的正文或补充信息中)



或许呈现无效和阴性结果文章比那些报道阳性结果的文章内容更简短,也不具备那么丰富的内容,但科学界毫无疑问可以从无效或阴性结果中获益。


“无效”的研究结果也能获得“有效”的价值,让这一观点为更多的期刊出版商和研究者所接受,还需要我们更多的呼吁和努力。


原文链接:

https://www.statnews.com/2017/11/10/null-research-findings/?utm_source=STAT+Newsletters&utm_campaign=0dce2a992f-MR&utm_medium=email&utm_term=0_8cab1d7961-0dce2a992f-150423693

https://www.zmescience.com/science/news-science/world-first-negative-science-prize-43242/?utm_source=STAT+Newsletters&utm_campaign=0dce2a992f-MR&utm_medium=email&utm_term=0_8cab1d7961-0dce2a992f-150423693


阅读更多


▽ 故事

· 她没有子宫,却生下了自己的孩子:美国首例“移植子宫”成功孕育新生命

·“经典名方”中药上市可免去临床试验,部分科学家表示担忧

· 如何成为一个院士:比尔·盖茨通往中国工程院外籍院士之路

· AI控制大脑植入物已完成初步人体试验 | 美国神经科学学会年会公布重大进展

▽ 论文推荐

· 突破热力学极限:普林斯顿的研究让有机电子的应用不再局限于手机屏幕 | Nature Materials 论文推荐

· 能否相信电话那头的他?这些蛛丝马迹让你慧“耳”识人 | PLoS ONE 论文推荐

· CRISPR 培根:中国科学家培育转基因低脂猪 | PNAS 论文推荐

· 拓扑绝缘体的神奇世界(进阶篇)

▽ 论文导读

· Nature 一周论文导读 | 2017 年 11 月 23 日

· Science 一周论文导读 | 2017 年 11 月 24 日


内容合作请联系

keyanquan@huanqiukexue.com

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存