【重磅】 Russell Poldrack博士采访：让神经科学的研究变得更加可重复

原著：DAVID MEHLER

翻译：李慧娴 @ The R-fMRI Lab, IPCAS

审校：周会霞 @ The R-fMRI Lab, IPCAS

最近的一篇博客文章让我们了解到国际人脑图谱(OHBM)委员会关于数据分析与共享最优实践（COBIDAS）的活动，该委员会致力于提出提高人类神经影像研究透明度和可重复性的建议和工具。最近我和其他资深科研人员有幸参加了一个专门为科学研究的可重复性提供先进方法的研讨会。许多从事可重复性科学研究的先驱者讨论了这个领域所面临的挑战，并介绍了一些改进方法。其中，Russell Poldrack博士提出要为神经影像研究创造可重复性研究的流水线。

Russell Poldrack是斯坦福大学的心理学教授，同时也是斯坦福大学可重复性神经科学研究中心的负责人。他提出来一个令人兴奋的可重复性神经影像研究框架，称为脑影像数据结构标准应用程序（BIDS app）。Russell同意接受采访，这提供了一个绝佳的机会来了解他对科学可重复性危机的更多看法，并得到他对该领域的建议。

“无论何时你发现了一个看起来很好的结果—那个与你的假设相符的结果，请先假设它由你的代码中的一个错误而产生”--Russell Poldrack

图1：Russell Poldrack博士报告关于神经影像研究可重复性的原理和解决方案

1. David Mehler提问道：“您如何向公众描述心理学和神经影像学研究的可重复性危机”？

Russell Poldrack回答道“我想这样解释：过去几十年，科学家们使用的一些研究范式，产生的结果比我们想象的可靠性要小。当逐渐认识到这一点时，许多研究人员正试图改变做事的方法，以使研究结果更可靠。这是科学进行自我修正的一个过程。我们是人，难免会犯错误，但科学本身的一个重要特点是：我们要不断质疑自己，进而试图找到解决问题的办法。目前科学界面临的一个重要问题是我们的科研评价系统并不鼓励科研人员去做可重复性研究。科研人员的压力更多来自于在知名期刊上发表大量的论文，因而更注重得到引人注目的结果，而不是确保这些研究结果的可重复性。”

2. David Mehler提问道：“如何界定直接可重复性和概念可重复性存在很大的争议，而且我们通常不确定重复研究与原始研究多接近才能算作是一种可重复的尝试。在神经影像研究中，数据处理流水线每一个元素的最佳实践均可能随着时间推移发生改变，这会影响最终结果。您认为神经影像研究的成功重复有哪些构成要素呢？”

Russell Poldrack回答道：“这是一个具有挑战性的问题。一方面，我们希望小细节无关紧要。如果不是这样，那么研究结果的普适性就非常有限，因此即使我们的研究结果在特定情况下是正确的，可能也不重要。另一方面，Stephen Strother及Josh Carp的工作均说明数据处理方法的选择可能会产生非常不同的研究结果。我认为重复研究应该尽量与原始研究的细节保持一致，事实上这完全不可能。如果对一个重要研究进行的重复研究失败了，那么该领域的研究者有责任去确定重复研究是否反映了真实的效应缺乏、还是方法细节上的差异亦或随机波动。即使那些设计严谨的重复研究，也会受到随机概率的影响而无法发现确实存在的效应，因此我们不能因为单个重复研究的失败而放弃最初的发现。”

3. David Mehler提问道：“当前开放的科学/数据实践是否更有利于那些已经拥有终身职位和高影响力成果的资深研究人员，而不是那些经常必须投入额外工作的初级研究人员。如果情况确实如此，我们还能做些什么呢？”

Russell Poldrack回答道：“是的，确实如此。我们当前的科研评价系统要求科研人员发表大量的高影响力文章，而开展重复研究毫无疑问无法让科研人员获得成功。举个例子，我确信研究设计和数据分析计划的预先注册对改进我们的科学研究至关重要。然而，完成一个预先注册的研究，由于在发现显著效果之前无法灵活地调整数据分析思路和方法，更可能发现不了任何效应。有一些方法可以解决这个问题。首先，成就斐然的科研人员需要以身作则；如果我们不能开展公开透明的研究，就不能期望年轻一代这样做。其次，当我们在评判求职者、终身职位申请者和基金申请书时，需要更多的关注研究的公开性和透明性。这比简单地计算发表物数量和影响因子更加困难，但这是唯一能够确保那些扎实做研究的人能够有就业的机会，他们求职时经常被那些采用卑劣手段发表高影响力文章的人比下去。在最近的一条推特上，Lucina Uddin提出了一个解决这一问题的方法，她在简历中添加了一个名为“对公开科学的贡献”部分，包括共享数据、代码和预先注册的信息。这有助于表明个人对科学的开放性和可重复性的贡献。”

4. David Mehler提问道：“这让我们回到了激励体系的讨论。您最近与OHBM委员会成员发起了一项针对最好的神经影像重复研究的OHBM可重复性奖励。您对创造“正确”奖励的科研评价体系和促进数据共享和开放科学工作的激励体系是怎么看的呢？”

Russell Poldrack回答道：“最重要的是人们的努力需要别人的认可。“数据文件”的兴起对此颇有助益。分享的数据库如果被其它科研人员使用，分享者可以获得引用记录。注册研究报告是另一个好的选择，可以确保一个精心设计的研究无论结果如何，都会得到发表。正如我前面提到的，我们还需要努力使这些实践在我们的招聘和任期决定中起着更加重要的作用。改变这些过程非常具有挑战性，需要更多的资深科研人员来带头，我们很多人都在努力，但这是一件需要持续努力的事情。”

5.David Mehler最后提问道：“谢谢您，最后，您对处在早期阶段的神经科学家有什么建议？在选择实验室和规划职业生涯时，您有哪些建议呢？”

Russell Poldrack回答道：“首先，专注于找到一个让你着迷的科学问题。科学研究需要长时间的投入工作、经常受到质疑和一次又一次的失望。只有一个让人着迷且发烧的科学问题才能给你不断坚持下去的动力。第二，加入一个与你有共同价值观的实验室。与实验室成员交谈，从而获知他们是否会支持和培养你对科学开放和透明的兴趣。第三，保持开放的心态。规划未来是很自然的事情。但通常情况下，所处的环境却对我们有不同的要求。重要的是要能够充分利用所处环境能提供的最好资源，即使这不是你最初计划的。最后，要意识到我们是人，都会犯错，我们所做的一切并非完美无缺。可重复危机造成的一个不良的后果是，许多学员会担心他们的工作永远都不够好，未来有人将会发现他们的工作存在缺陷或无法重复。如果我们不把研究工作发表出来，不管我们的实验设计多么精巧，永远不会因为完成这项工作而获得荣誉，这是一个很大的问题。我们知道科学是获取知识的过程，而不是终点。我们应该尽最大努力使我们的工作变得透明和可重复，但同时也要意识到在某些时候，只需要把工作发表出来，让全世界的研究者都能知道我们所做的工作。”

图2：在温莎堡的Cumberland Lodge, “为科学研究的可重复性提供先进方法的工作坊”的与会者和发言者。Dorothy Bishop博士（左上起第五），Chris Chambers博士（左上起第四）和Marcus Munafo博士一起组织了这次工作坊。生物技术和生物科学研究委员会（BBSRC）和欧洲神经精神药理学院（ECNP）为此次工作坊提供了资助。

长按图片，识别二维码，关注“天津大学神经工程与康复实验室”！