预印本论文靠谱吗？ | 返朴

关注风云之声

提升思维层次


导读


在学术出版领域，预印本（Preprint）是指尚未在需要同行评审的科学期刊上出版的科学文献的草稿。在新冠疫情暴发的特殊时刻，预印本论文因其发表迅速、公开、免费，极大推动了学术交流、科学传播，成为公众和媒体获取相关科研信息的重要渠道。但是，预印本毕竟只是草稿，没有经过同行评审，它的结论我们能相信多少？依据它的结论，我们能做出正确的决策吗？

编译 | 小叶

近年来，预印本论文作为分享和交流学术成果的创新形式，正不断打破学术期刊垄断造就的信息壁垒。2020年新冠疫情全球大流行，又对预印本的进一步扩展起到了推波助澜的作用。据统计，2020年1月至4月，就有超过6700篇新冠疫情相关论文以预印本的形式率先公开发表在网络平台^[1]。
同行评审论文VS预印本论文
对于在学术界兢兢业业奋斗的科研人员来说，在学术期刊上发表经由同行评审的论文，是学术交流最主要也最重要的形式之一。从投稿到评审，再到最终接收并发表，整个过程可能相当繁冗，还不乏各种修改、甚至拒稿的可能性。在预印本模式出现之前，专业学术期刊制定了诸如“一稿不两投”、“同行评审”等严格的专业规范，在学术交流方面占据主导地位。
预印本论文的横空打破了这些规则，开创了新的局面。早在上世纪60年代，生命科学领域已有预印本活动的苗头，美国国立卫生研究院（NIH）曾支持科学家组成“信息交换小组”（IEG，information exchange group）。伴随着20世纪末开始并在后来席卷全球的“开放获取”运动，像arXiv，bioRxiv，以及后来中国的ChinaXiv等各个预印本平台百花齐放，让科学家们在向专业期刊投稿的同时，也能第一时间把未经评审的学术论文手稿先公开发布在网络上，供广大用户免费阅读和使用，加速学术交流。
新冠疫情下“火爆”的预印本
两类论文发表模式并存至今，互相竞争，却也不相上下。然而，去年新冠疫情的暴发加强了对快速共享新冠研究成果的要求：深入理解新冠的流行病病理学，尽快发掘新型治疗方案，并同时给公共卫生政策的制定提供指导意见。疫情传播迅速，而科学家也不甘落后。与此同时，非专业领域的公众也愈发要求及时知晓疫情发展，进一步提升了媒体对预印本论文报道的数量。
一项发表在PLOS Biology（《科学公共图书馆·生物》）上的最新统计显示，从第一例确诊病例之后的10个月内，科学家迅速响应，全球总共发表了12.5万篇新冠相关论文，其中超过3万篇公布在bioRxiV、medRxiv等预印本网站上。而在疫情暴发最初四个月内，预印本论文数量就已经占了论文发表总数（包括同行评审论文和预印本）的35% ^[2]。预印本的读者不仅有科学家，还有非专业领域的公众和新闻记者，后者分享和了解预印本内容的热情盛况空前：将预印本研究视作第一手资料，新闻报道常引用预印本论文的结论来支持某些公共卫生措施。
但毕竟，预印本论文的结论是未经同行评审的，我们能够信任预印本论文得出的结论吗？
去年1月底，印度理工学院德里分校的研究人员在bioRxiv上发表了一篇未经同行评审的预印本论文（图1），称新型冠状病毒是人为改造的病毒，因其刺突蛋白S蛋白上含有四个插入片段，这些片段与HIV-1的某些片段完全同源或具有相似性^[3]。这篇“著名”的预印本论文在互联网上掀起了轩然大波，新冠病毒人造说一时达到顶峰。虽然论文发表不久后就撤稿了，但给民众留下了很大的疑问，也让科学家、媒体花费了很多精力去驳斥这个错误的结论。（详见《新冠病毒是人造的？专家教你告别阴谋论》）

图1. 这篇预印本很快就撤稿了

信任危机
要评估一项科学研究的质量，一条重要的黄金准则就是要重复论文设计的实验，来检验能否复现论文给出的结果。然而，这一做法成本昂贵，耗时又耗力。重复做别人的实验，不管能否复现结果，都难以找到期刊愿意发表这种重复性的研究。因此，在缺乏这一过程的情况下，同行评审的重要性不言而喻，它也是学术界判定论文科学价值和质量的重要基石。
而预印本论文为求快速传播，往往跳过这一重要步骤。其实早在疫情暴发之前，已有忧心的专家警告说，未经同行评审的科研成果可能误导公共卫生决策。
去年3月，一项关于美国加州Santa Clara 3000多人的血清阳性率论文^[4]发表在预印本网站上，论文给出了1.5%的血清阳性率，经统计学调整后研究人员估计该地区居民的感染率为2.49%到4.16%之间。预印本发表之后，《华尔街日报》^[5]立刻刊登了该论文合作者Andrew Bogan的一封公开信，质疑封城政策：“面对死亡率可能和季节性流感一样低的传染病，是否有必要牺牲上千万人的就业生计？”然而，很快就有其他专家在推特和博客上指出，该论文实验设计存在瑕疵：例如，研究人员仅通过脸书招募受试者，会吸引更多新冠疑似患者来检测血清；受试者中基本上没有中低收入人群和少数族裔——换言之，这项研究的采样存在偏差，得到的数据不能代表总体人群。另外，论文也没有对假阳性问题给出明确解释。不过，这篇论文最终被International Journal of Epidemiology （《国际流行病学期刊》）接收并正式发表。
还是去年3月，法国科学家Didier Raoult在预印本网站发表了羟氯喹/阿奇霉素治疗新冠感染的文章^[6]，称羟氯喹与新冠患者体内病毒载量的减少/消失具有显著相关性，添加阿奇霉素后治疗效果得到增强。该预印本经同行评审后，很快于同月在线发表于International Journal of Antimicrobial Agents（《国际抗菌剂杂志》）。此疗法随后获得了美国前总统特朗普在公开场合的大力背书，促使大量患者接受这一疗法。但是，到4月份，国际抗微生物化学治疗学会（ISAC）提出该研究“不符合ISAC研究标准”，知名学术打假专家Elisabeth Bik教授仔细研究论文后，在PubPeer上罗列出研究设计的一长串问题，包括伦理问题、数据缺失、同行评审仓促且结果矛盾等等^[7]。世界卫生组织展开大规模研究，最终在官网上明确羟氯喹在治疗新冠方面没有临床益处^[8]。
紧接着5月，哈佛医学院团队在The Lancet（《柳叶刀》）上^[9]在线发表了关于氯喹治疗导致患者心律失常增加死亡风险的重磅论文（其预印本如今已消失在网络上）。此文一出立刻产生巨大影响力，世界卫生组织甚至喊停了氯喹和羟氯喹临床试验。然而，没过几天，全球上百位研究人员质疑研究数据来源：这些数据来自名为Surgisphere的医疗数据公司。虽然公司以保护隐私为由拒绝交出原始数据，但经《卫报》调查，发现该公司包括员工身份背景，公司服务内容以及联系方式等疑点重重，且公司CEO曾公开回应，称其数据挖掘使用了大量人工智能技术。最终，因无法保证原始数据真实性，论文遭到撤回。同样撤稿的还有该团队发表在NEJM（《新英格兰医学杂志》）上的另一篇新冠疗法研究^[10]，也使用了同一家公司数据。
这些丑闻不仅涉及了预印本，还牵涉到已经发表在顶级期刊上的文章，严重打击了两大顶级期刊的学术信誉。其恶劣影响直接导致世界卫生组织与一些国家政府对新冠疫情及疗法的误判。
一些瑕疵预印本论文的“翻车事故”以及随之掀起的假新闻浪潮严重破坏了公众对科学的信任。为此，有必要继续我们的追问：我们能够信任预印本论文吗？
预印本论文质量几何？
质量问题关系到信任危机，那么如何判断预印本论文质量呢？一个比较简单的方法就是取同一个研究，将其预印本论文和经同行评审后发表的最终论文相比较，就能看到预印本经历了多少改动，也能掂量出原始论文的可靠性。
一项去年12月发表在BMC Research Integrity and Peer Review（《研究诚信和同行评审》）上的研究^[11]正是采用这一思路，评估了生命科学领域内同一研究两个版本论文（预印本版本vs期刊版本）的报告规范性（quality of reporting）差异。评估所采用的报告计量指标（图2）包含了数据可用性陈述、利益冲突陈述等科研论文的关键组成部分。研究人员发现，尽管正式发表的期刊论文的规范性高于其原始预印本版本，但彼此之间的差异很小。有趣的是，这篇论文本身也是先于2019年通过预印本形式发表的。图2. BMC论文在调查中所使用的评分项目。例如，在摘要或标题中有没有写明研究用到的生物模型？有没有在文章中报告资金来源？有没有陈述利益冲突？有没有报告样本的规模计算？在数据陈述方面，数据比较是否清晰？有没有用图表？图表是否清晰明确？等等。
前文提及的PLOS Biology论文主要作者之一Jonny Coate也和自己的同事做了类似的小范围分析。他们调查了去年1月到4月之间200篇预印本论文的科学内容，其中与新冠疫情有关的，在正式期刊发表后，85%并无最终结论改动；非新冠疫情主题的，在正式期刊发表后，94%并无最终结论改动^[12]（注：这项分析目前发表的也是预印本，尚未经过同行评审）。
另外一支独立研究团队则对同一研究的两种论文版本进行了语言特征方面的综合比较，他们的结果也确认，两者之间的改动微乎其微（注：这篇比较的论文也是预印本，尚未经过同行评审）^[13]。
上述几项研究的结论惊人一致：预印本应能视为有效的科学成果，其质量不完全逊于同行评审论文。
但这一结论引出了另外一个不应被忽视的方面：到目前为止，还没有任何人比较过那些未正式发表的预印本和已正式发表的预印本。不过，据统计，基本上超过70%的预印本论文最终顺利发表在学术期刊上，说明未正式发表的预印本仍属于少数派。
也许这样的数据和结论能够让我们欣慰一些，至少在疫情期间，科学信息和成果的快速传播和交流都有一定的质量保证。
公众眼中的预印本
面对预印本可能引发的问题，学界已采取相应的风险管理措施。2020年9月，生物预印本平台ASAPbio咨询委员会发起了“公众眼中的预印本”（Preprints in the Public Eye）项目。该项目首次将科学界和媒体界的专业人士汇聚一堂，讨论科学家和媒体传播预印本论文的通用原则，从而规避可能有瑕疵或者过于初级的研究被大肆宣传，以致误导公众和政策制定。
预印本服务商、出版商、研究机构、科研人员和媒体从业者等共同参与了这一项目，最终形成了一系列建议性文件：
一，对于预印本服务商：需要设立醒目且清晰的筛选标签，来帮助用户判断服务商所提供的论文状态。另外，像bioRxiv这样的平台在每篇文章下面都会清晰写明预印本是否经过同行评审。如果已经被期刊发表，也会给出期刊名称和论文链接，方便用户浏览论文最终版本。
二、对于研究机构和科研人员，鉴于预印本尚未经过同行评审，建议机构内部先组织专家或者邀请外部专家展开独立评审，鼓励公开评审程度，鼓励谈论科研局限性，避免过度宣传或者夸大研究成果。值得一提的是，该评审过程不能等同于同行评审。此外，若成果涉及公共卫生或者公共安全，在宣传推广之前，务必要进行风险评估，预想因论文本身可能的问题或公众的理解水平差异可能造成的最大危害。^[14]

图3. ASAPbio给出的科研机构预印本宣发建议书^[14]

三、对于公众和媒体来说，去年9月，美国国立卫生研究院（NIH）就出台过一份《如何使用预印本》^[15]的指导性文件，里面特地列出了注意事项：
1. 引用预印本时，要清楚强调论文是预印本，非最终版本2. 始终带着批判的眼光审视预印本研究3. 持续关注预印本是否更新过版本或者最终正式发表4. 对同一课题，关注多份相关论文和信息，切勿“一言堂”5. 牢记：预印本只是研究的初步信息
科学是人们应对疫情暴发的最有力武器，尽管凡事都有两面性，但是正确理解、阅读、传播预印本论文有助于加速科学信息的交流，帮助科学家和大众尽快打赢抗疫这场硬仗。

参考文献

[1] https://www.thelancet.com/journals/lanplh/article/PIIS2542-5196(21)00011-5/fulltext[2] https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000959  [3] https://www.biorxiv.org/content/10.1101/2020.01.30.927871v1[4] https://www.medrxiv.org/content/10.1101/2020.04.14.20062463v1[5] https://www.sciencemag.org/news/2020/04/antibody-surveys-suggesting-vast-undercount-coronavirus-infections-may-be-unreliable[6] https://www.medrxiv.org/content/10.1101/2020.03.16.20037135v1[7] https://pubpeer.com/publications/B4044A446F35DF81789F6F20F8E0EE[8] https://www.who.int/zh/emergencies/diseases/novel-coronavirus-2019/advice-for-public/myth-busters?gclid=CjwKCAiA1eKBBhBZEiwAX3gql0NqZ4f8OXZfhP8MzFR11kkwJf4gyJJWWIlWbC3l6g-oeOhkV4ibZBoCAZUQAvD_BwE&gclid=CjwKCAjwmv-DBhAMEiwA7xYrdy0ynbZEKAlDxM_y37yBWomChnMor5sMeUsvDlyhms3XJCQypjQugxoCLQsQAvD_BwE[9] https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31324-6/fulltext[10] https://www.nejm.org/doi/full/10.1056/NEJMoa2007621[11] https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-020-00101-3[12] https://www.biorxiv.org/content/10.1101/2021.03.04.433874v1[13] https://www.biorxiv.org/content/10.1101/2021.02.20.432090v1.full[14] https://asapbio.org/wp-content/uploads/2021/03/Preprints-in-the-Public-Eye-Institutions-1.pdf[15] https://www.nih.gov/about-nih/what-we-do/science-health-public-trust/perspectives/science-health-public-trust/science-health-public-trust/making-effective-use-preprints-tips-communicators

编译来源：

https://www.the-scientist.com/news-opinion/opinion-the-rise-of-preprints-is-no-cause-for-alarm-68667

扩展阅读：为什么我们非得去找代数方程的整数解？| 返朴
自动驾驶车祸谁担责？AGI专家详解法律责任，突破伦理困境 | 返朴
人工智能与心理学的迷思 | 返朴
物理学揭示的因果迷宫究竟通向何方？| 返朴

背景简介：本文2021年4月22日发表于微信公众号 返朴（预印本论文靠谱吗？），风云之声获授权转载。

责任编辑：祝阳