可重复性危机: 五篇高影响因子肿瘤论文, 仅两篇可严格重复

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

Nature，Science，Cell，那些高影响因子论文，能够被可靠重复么？ 在生物医学领域中，“可重复性项目”（Reproducibility Project）可谓备受关注。项目涉及了多个学科，包括计算机、生态学、肿瘤生物学等。心理学方面集结了270名学者对100个已发表的实验和相关心理学研究进行重复[1]。而在肿瘤生物学方面50个实验的第一批测试结果中[2]，涉及的五个项目中只有两个可以被重复，而这些项目有些已经被应用于临床治疗。其中一个项目无法重复，另两个因技术问题也无法成功。

一些科学家认为，“可重复性项目”的初步结果进一步暴露了这种问题：很多基础生物医学研究无法在其他实验室中再现。“综合来讲，这就是可重复性问题，”斯坦福大学流行病学家John Ioannidis表示。作为项目顾问，他的分析认为生物医学研究存在着体系的瑕疵。

不过也有人认为，该结果说明好的研究难以被精确地复制出来，因为生物系统如此多变。“人们轻率地做出评论，说科学是不可以被重复的。第一批的五篇论文表明，这是个复杂的多层次问题，很难去做出这种结论。”纽约史隆凯特琳癌症研究中心肿瘤生物学家Charles Sawyers这样认为。

“可重复性项目”的产生最初源自两家公司（Bayer和Amgen）的报告。它们曾试图对一些提出潜在新药物的论文进行后续跟踪，结果发现89%的内容无法再现出来。不过，两家公司没有公开这些文章，也没有介绍各自的实验细节。2013年，非盈利机构开放科学中心（Center for Open Science）与Science Exchange共同合作，打造了科学家与合约实验室的匹配服务。合作方从基金会获得200万美元，以推行大范围的癌症实验重复性工作。

他们选取了2010-2012年间发表的50篇高影响力临床前肿瘤学论文，开始指定协议以再现关键实验，并在eLife上公布了方案。不过项目开始实施后，很快就落后于预定计划，因为信息和材料的获取具有很大挑战。最后，预计只进行29个实验的可重复性尝试。

在最初的实验中，Jay Bradner可以说是一个受益者。他和Constantine Mitsiades共同开展的研究——测试BET布罗莫结构域蛋白抑制剂——得到了一家合约实验室的验证。他们发现该抑制剂可以阻碍Myc肿瘤基因，减缓老鼠的多发性骨髓瘤组织生长。该研究2011年发表于Cell。Bradner很支持这种可重复性实验工作，并觉得自己的研究能够通过测试非常“令人欣慰”，特别是该物质已被应用于临床试验。这种积极的例子还有其他，比如斯坦福计算生物学家Atul Butte曾提出溃疡药物甲氰咪胺咪胍能够减缓老鼠肺部肿瘤的生长。

五个项目中：两项确定，一个失败，两个不清楚

也有些重复性工作带来了无法确定的结果。2012年Nature曾报道，基因PREX2的变异会刺激黑素瘤增长。重复实验室获取了原始实验中所用的人体皮肤细胞，使其缓慢形成肿瘤，并植入到老鼠体内。然而在重复工作中，无论是否存在PREX2变异，癌细胞都会在一周内形成肿瘤。这与原始报告中指出的几周时间出现了差异，导致人们无法确定PREX2是否真的能带来影响。原研究负责人美国礼来公司Levi Garraway和德克萨斯大学系统的Lynda Chin表示，该培养细胞的基因可能随着时间的推移而有了变化。其他实验室也遇到过类似问题。

当然，并非所有的重复性实验都带来一致的结果。2010年发表在Science的一篇文章指出，叫做iRGD的肽能够帮助化疗药物进入并缩小老鼠体内的摄护腺肿瘤。有实验室完全无法对其重复，而来自德国、中国和日本的学者则表示能够成功再现。该研究的主要负责人Erkki Ruoslahti说：“很明显，如果你做的正确，它就是可行的。”他希望将iRGD推向临床试验，不过他担心那些失败的重复实验会让他们在寻找资金支持时遇到障碍。

很多科学家认为“可重复性项目”的结果太过严苛，对此表示失望。因为这给问题的解决只留下了很小的空间。比如那两个涉及老鼠肿瘤组织移植但呈现出不确定结果的实验，实际上本来就是很具有挑战性的。德克萨斯大学肿瘤干细胞生物学家Sean Morrison说：“一般情况下科研实验室会继续努力，采用不同的方式和不同的干细胞剂量。但是，在可重复性项目中，参与人员则会受到实验流程协议的严格约束。”

Science Exchange首席执行官Elizabeth Iorns本身也是肿瘤生物学家，她对“可重复性项目”的态度非常明确：“公开遵循这样的过程非常难得。人们真的想知道如果你去重复那些实验，会出现什么结果。” 协议评估人要求增加25%的实验数量，但由于时间和预算问题， 项目逐渐削减了重复工作。第一批的五个研究中，每个项目的平均花费为2.72万美元，这和原先预估的2.6万美元非常接近。但就其他研究来说，花费很可能会增加。

美国国家卫生研究院（NIH）曾帮忙资助了这些原始研究，他们很高兴看到这些项目被放到显微镜下。NIH副主管Lawrence Tabak对第一批结果表示了称赞，“这展现了生物学研究的惊人复杂性，也提醒人们采用严谨而完全透明的方法是多么重要。”

参考文献：

[1] https://osf.io/ezcuj/wiki/home/

[2] https://osf.io/e81xl/wiki/home/

[3] http://www.sciencemag.org/news/2017/01/rigorous-replication-effort-succeeds-just-two-five-cancer-papers

扩展阅读

 

如需转载或者合作请看下方↓↓↓

投稿、授权、合作事宜请联系

[e-mail] 或微信ID: scholarset

回复“目录”或“分类”，浏览知社更多精华。长按二维码识别，可以关注/进入公众号进行回复。