查看原文
其他

熟鸡蛋返生一看就不靠谱,但是更多的“问题论文”却没这么容易识别

知社 知社学术圈 2022-05-03

海归学者发起的公益学术平台

分享信息,整合资源

交流学术,偶尔风月

熟鸡蛋返生孵小鸡”的神论文最近引发了舆论热议,除了这个严重违背常识的“研究结论”,文中提到的实验手段“超心理意识能量方法”更加令人啼笑皆非。但是就是这样一篇“论文”,却实实在在的发表在了正规刊物上,因此整件事如果换个说法就应该是“一篇已发表的生命科学领域的论文因无法复现而受到广泛质疑”——这就让人有点笑不出来了,因为生命科学领域的论文可重复性差是一个普遍存在的问题,有太多看上去“严肃”的论文,其方法和结论都未必比“熟鸡蛋返生”更靠谱。

许多研究人员都认为迫切需要提高科研成果的透明度和可重复性。

图源:Getty


2013年,《自然》杂志开始要求生命科学论文的作者提供额外的信息,以解决研究中可重复性差这一紧迫问题。根据2016-17年对《自然》作者进行的一项问卷调查,86%的受访者认为可重复性差是生命科学领域一个日益严重的挑战。

2017年,一个小组开会讨论如何改进论文发表的透明度和可重复性,这个小组的成员是来自 Science, Cell,the Public Library of Science, eLife, Wiley and Nature 的编辑和可重复性和研究改进方面的专家们,他们共同研究和整理了一套撰写和发表论文的新方法,即MDAR(材料设计分析报告)框架,也是一份清单,其目的是鼓励在生命科学论文的四个方面进行更详细的阐述:材料(如试剂、实验动物和模式生物);数据分析(包括代码和统计);以及报告(遵守特定学科的准则)。《自然》杂志的标准涵盖了MDAR倡议的大部分目标,但仍然会继续作出改进。同时,该组织正在鼓励创始成员之外的其他期刊加入。

生命科学领域的研究人员现在如果要向这几家杂志投稿,则应当使用结构化报告摘要。除其他事项外,该清单要求作者说明他们的实验结果是否可重复;他们如何确定适当的样本量;他们是否对样本进行了随机化处理;以及数据是否经过双盲评估。这份清单会提供给同行审员,并与每篇生命科学论文一起发表,有助于提高研究论文的透明度。


之前的相关研究显示,论文的透明性不足是可重复性差的重要因素,实验和分析设计的关键要素的报告不一致,以及对试剂的模糊描述和难以对基础数据和代码进行查询,都被证明会影响复现,并引发对研究结果可靠性的怀疑。


“按你说的办法,我咋拼不出来呢?”


学术出版商并不是这个领域的唯一重要参与者,其他两个重要的相关方是科研基金管理部门和大学,它们在多大程度上支持这个新框架非常关键。虽然任何提高透明度和可重复性的倡议都应该受到欢迎。但是MDAR出台之时,欧洲一些最大的资助者已经宣布计划减少他们认为是研究中的负担和官僚主义:例如,欧盟委员会正在对其药品立法进行审查,部分是为了减少官僚主义。英国政府已经任命布莱顿·苏塞克斯大学的副校长亚当-蒂克尔(Adam Tickell)领导一项审查,其明确目的是减少束缚研究人员的繁琐规定。

减少没有必要的各种行政程序和申报表格当然是必要的,但是这与对论文本身的要求进行革新其实并不矛盾,这是为了提高论文透明度和可重复性的努力,巩固科研工作基础的重要方法,而绝不是额外的繁文缛节。

值得庆幸的是,许多研究人员认同并支持这一观点。在2019年的一项试点研究中,我们向289份稿件的通讯作者以及处理这些稿件的编辑部成员征求反馈意见。211位回复的通讯作者中的80%,以及33位编辑人员中的84%,认为该清单 "非常 "或 "有点 "帮助。而在《自然》2016-17年的问卷调查中,约四分之三的受访者表示,无论他们是否计划向《自然》杂志投稿,他们都会在一定程度上使用该杂志的这份清单。

与此同时,包括《自然》杂志在内的研究人员和出版商正在接受一种名为 "注册报告 "的格式,即科学家提交一份详细的研究项目计划,包括所提出的问题、研究设计和方法。如果编辑们批准该计划进行同行评议,并且评议者认为该计划很有希望,那么该杂志就会承诺发表该工作,无论结果如何。

这种带点“八股”味道的格式化框架可能与科学探索的自由精神有些矛盾,但是既然是以“科学”之名发表论文,而不是什么心情随笔,那么确保足够的规范性和透明性,最终提高可重复性从而带来真正的进步,应该是值得所有科学家为之努力的方向。

参考文献:

1.https://www.nature.com/articles/d41586-021-01167-9

2.https://www.pnas.org/content/118/17/e2103238118

3.https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-019-0069-3


点击下方知社人才广场,查看最新学术招聘

扩展阅读

 

不创新,毋宁死,那论文可重复性呢?

Nature开放获取副总裁谈开放获取如何解决“可重复性”问题

基因组学博士:哲学如何使我成为更好的科学家?

3个实例:“基于动力学的数据科学”在生命科学中的应用 | NSR

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存