微生物组学研究的可再现性、可重现性、稳定性与普适性
The following article is from 微生态笔记 Author DengLab
与其他研究领域一样，微生物学界也深为“可再现性危机”的所困。长期以来，微生物学家们不遗余力地使研究更具可再现性，然而我们必须承认这样一个事实：保证研究方法和结果清楚易懂是很困难的，在微生物组学等学科交叉领域的研究中更是如此。导致研究者无法再现先前研究结果的因素有很多；而且，即使结果可再现，也未必是正确的。除此之外，先前研究结果无法再现也有利于引导我们重视探索科学过程和微生物本身。本文作出了明确的界定，以辨识并克服微生物组学研究中影响可再现性、可重现性、稳定性和普适性的不利因素。因此，我们不应一味着眼于他人工作中的可再现性危机，而应该去了解限制研究可再现性的科学因素及社会因素。
有人可能会持有这样的观点：任何科学家都应该能够轻而易举地再现另一位科学家的研究。然而，两个轶事足以推翻这一言论。1677年，Antonie van Leeuwenhoek向皇家学会寄送了一封名为“关注微小动物”的信函，这便是微生物学的起源。这项开创性工作与之前的调查相结合，描述了他对微生物创新性的观察结果，但被科学界驳回了。原因有如下几个方面：首先，Leeuwenhoek对与他人分享研究方法没什么兴趣，所以他的研究无法被再现；其次，他用“低级荷兰语”写作，原稿被翻译成英文后，译文的长度仅为原来的一半，可能删除了关于方法的大量信息。经过几次失败后，Robert Hooke改进了自己的复式显微镜，终于成功再现了Leeuwenhoek的观察结果。Hooke所用复式显微镜的光学性能劣于Leeuwenhoek的单透镜显微镜，这影响了他的观察精度；但在此过程中，Hooke推广了复式显微镜。这一系列事件说明了微生物学家在验证彼此工作时面临的许多问题。时间已经证明，Leeuwenhoek的工作是严谨的，影响深远且有经得起推敲的强大稳定性。它并不草率，也没有弄虚作假。但是，伟大的科学家Hooke耗费大量精力才成功将其再现，而且结果也并不是十全十美的。
第二件轶事发生于七年前。 2011年， Philip Bourne邀请 “Beyond the PDF”研讨会的出席者参加了一项挑战：再现他的研究组2010年对课题“结核分枝杆菌药物组及其多向药理学意义”所进行的分析。来自西班牙、中国和美国的原作者和科学家作出了回应，他们通力合作，挑战了对于可重复研究的关键概念的理解。重新分析的结果表明，可再现性有何价值、再现研究应该进行到何种程度、所需付出何等努力，以及哪些人应重现研究，都是很难回答的问题。Bourne是生物信息学领域的领导者，他的身份和科研经历都能保证研究团队的严谨可靠；此外，这项挑战具有科学界罕见的清晰度。然而，试图再现该研究的科学家们发现，具有基本生物信息学技能的人需要至少160小时来弄懂原始分析中使用的方法，并且需要额外的120小时将它们重现。
美国微生物研究院（American Academy of Microbiology）于2015年举办了一届以“推进负责任的科学研究”为主题的研讨会，随后又在mBio杂志发表了相关的社论，其基调与上述两件案例大相径庭。该报告为微生物学家应如何看待其领域内科学研究的可靠性提供了有用的工具。该讨论会确定了将“（i）草率的科学研究，（ii）选择和实验偏差，以及（iii）学术不端”作为确保微生物学研究可靠性的关键指标。尽管参与者很快指出不端行为产生的影响相对较小，但原始报告中的四个案例研究都与此有关。然而，报告并不具有Leeuwenhoek事件中的细节和Bourne挑战的谦逊：确保一项研究的设计和方法足够清晰是非常困难的。论文发表的几年之后，研究人员常在试图回忆细节时因文档记录不足而不能如愿。简而言之，大多数可再现性问题都不是由于科学研究不严谨、存在偏见或不当行为造成的。我认为，研究的可再现性所面临的许多困难都是社会性的，并受到科学领域内文化力量的驱动。
讨论可再现性、可重现性及其影响因素的一大障碍便是就如何统一定义它们。可再现性是个模糊的术语，指重现其他科研人员的工作，但并未提出具体的操作和人员要求。本文基于统计学文献中广泛使用的定义，对可再现性的相关概念作出了更加明确的界定。可再现性是在数据集和数据分析流程相同的条件下，研究结果可再现的性质，而可重现性指的是针对相同科学问题通过独立实验得出一致结果的性质。以此为参考，我提出了一系列的定义，其中围绕相同样本以不同方法开展实验可提高结果的稳定性和普适性（表1）。
肥胖是否具有微生物群系的特征？对于此问题的研究能很好地解释表1中四项内容的影响因素，同时凸显了确保研究结果可再现性、可重现性、稳定性和普适性的困难所在。研究表明，肥胖者体内的细菌多样性更低，拟杆菌的相对丰度也较低，包括我在内的一些研究小组曾试图验证这一结果。最初的观察结果是在2008年使用16S rRNA基因序列数据发表的，引发了人们探究微生物组如何影响人类健康的极大热情。但我们必须要注意到，这项研究是率先使用高通量扩增子测序的研究之一。当时，在公共数据库中存储这些序列的基础设施很少，而且许多当今常用的软件工具在那时都尚不可用。虽然最初的研究所使用的数据管理方法没有得到很好的说明，但是如果我们使用相同的数据集进行独立分析，仍能获得与原始研究相同的结果。因此可以认为原始结果是可再现的（表1）。但是，我们对其他九个群组的数据使用相同的方法时却未能复现结果。失败可能是方法学差异、研究群组的差异或统计学变异所致。我们的研究表明，10个组中的每一个都不足以确定Shannon多样性10％差异。因此，缺乏统计能力可能导致差异无法检出。这些研究发表时都在微生物组研究领域造成了轰动，研究人员自认为具备切实可行的最佳统计能力。确定微生物组文献中任何参数的生物学意义差异，并完成有意义的功效分析一直是一个挑战。由于这些因素的存在，执行有意义的先验功效分析以帮助完成任意群组的设计几乎不可能。其次，研究者尝试多种方法只求更好地理解微生物群是否对肥胖有重要影响，在这做法意义不大。他们最初以小鼠为模型寻找微生物组的特征，观察到遗传性偏瘦和肥胖小鼠的微生物群存在明显差异；而且将肥胖小鼠的微生物群接种到无菌小鼠体重的体内会导致后者体重增加。他们针对人类群组构建了多个数据集，反映16S rRNA基因的不同区域。他们发现，肥胖个体的微生物多样性和拟杆菌的相对丰度都比较低。此外，通过鸟枪宏基因组测序法，他们推测肥胖个体中处理碳水化合物的基因更为丰富。在一项小规模的研究中，尽管受试者的体内菌群的多样性没有改变，但随着受试者体重减轻，拟杆菌的相对丰度有所增加，这也印证了作者的预测。虽然他们的方法的每个部分都有显着的不足，包括方法偏差和动力不足的实验设计，但他们的结果支持了与肥胖有关的微生物特征的假设。对他们选取的研究群组而言是稳定的，但对其他群组并不具有普适性。在这个例子中，科学家们表现出了良好的科研道德，只是受限于他们所处的技术和文化条件增加了复现结果和使结果更具普适性的困难。
一个激励性的概念可以有效提高研究的可再现性：将一个月的自己想象成最重要的合作者。他们无法答出在此期间忘记的事情。对于许多研究人员而言，这种情况经常发生，他们将项目放在一边准备考试、休假或从事其他项目。当他们再度试图回忆之前所做的事情，结果往往不尽如人意。然而，如果他们一直在使用各种工具来提高可再现性，那么当他们再度着手做之前的项目时，将能够获益匪浅。同样，他们的导师或共同作者是第二重要的合作者，因为通讯作者可能不了解分析计划的实施细节。重要的是，当他们收到有关如何进行分析的咨询时，能够具有指导项目的权限和能力。研究者都明白满足这两类“合作者”的要求是多么困难。然而，如果我们能成功做到这一点，满足第三个合作者——希望完善我们的工作并将其在新领域内推广的读者——应该也不是难事。
我们看到，为了消除影响可再现性、可重现性、稳定性和普适性的不利因素，人们作出了诸多尝试，这便是改善科学的积极力量。这种形式被认为是科学的“预防医学”。虽然防范这些不利因素并不能保证得出正确的结论，但得出正确结论的可能性必将大大提高。除此之外，这些努力的目标应该是让未来的科学家能够在前人工作的基础上继续前进，这也是我认定的主要目标。如果在重复他人研究的过程中，发现证明其可再现性、可重现性、稳定性和普适性存困难，我们不应以一种怀疑的目光审视同行科学家们，责怪他们造假、存在偏见、不可信赖。正确的做法是认真考虑造成不利影响的多方面因素，包括生物学、统计学和社会学等方面。虽然还有很大的改进空间，但我们必须承认，科学是一个不断学习的过程，而且绝非易事。
参考文献
Schloss P D. Identifying and Overcoming Threats to Reproducibility, Replicability, Robustness, and Generalizability in Microbiome Research.[J]. Mbio, 2018, 9(3):e00525-18.
原文链接
https://mbio.asm.org/content/9/3/e00525-18
中国科学院生态环境研究中心
环境生物技术重点实验室
邓晔 研究员课题组发布
作者：王丹蕊
编辑：吴悦妮
猜你喜欢
10000+：菌群分析 宝宝与猫狗 梅毒狂想曲 提DNA发Nature Cell专刊 肠道指挥大脑
文献阅读 热心肠 SemanticScholar Geenmedical
16S功能预测 PICRUSt FAPROTAX Bugbase Tax4Fun
生物科普: 肠道细菌 人体上的生命 生命大跃进 细胞暗战 人体奥秘
写在后面
为鼓励读者交流、快速解决科研困难，我们建立了“宏基因组”专业讨论群，目前己有国内外2200+ 一线科研人员加入。参与讨论，获得专业解答，欢迎分享此文至朋友圈，并扫码加主编好友带你入群，务必备注“姓名-单位-研究方向-职称/年级”。技术问题寻求帮助，首先阅读《如何优雅的提问》学习解决问题思路，仍末解决群内讨论，问题不私聊，帮助同行。
学习16S扩增子、宏基因组科研思路和分析实战，关注“宏基因组”