新一代期刊评价指标：影响因子或将走下神坛

点击上方“蓝字” 一键订阅

来源：Nature自然科研

原文作者：Paul Wouters, Cassidy R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke & Ludo Waltman

Paul Wouters等人表示，我们需要一套更全面、更透明的期刊评价指标来进一步提升科学出版质量。

虽然目前影响因子仍是评定研究的主要指标，但是要求制定更加合理全面的学术期刊评价指标的呼声越来越高。为此，文献计量专家和评估专家、科研人员、出版商、学术团体和研究分析单位正在努力推出更加全面的期刊评价指标或评价方法。这项任务并不容易：不同群体需维护各自的利益，而这些利益之间常常存在冲突；但这项学术出版界的重大变革又需要出版界、学术界、研究资助机构、政策制定者、文献计量数据分析人员协调一致，共同努力方能实现。

插图：David Parkins

在此他们郑重呼吁，变革需包含以下核心要素：增加指标，全面保证涵盖学术期刊所有功能；制定指标使用原则；建立专门机构对评价指标进行维护及更新。

该提议最早提出于2017年在荷兰莱顿举办的一场研讨会。该会议由莱顿大学科学技术研究中心（本文作者Paul Wouters、Sarah de Rijcke及Ludo Waltman工作的地方）、科睿唯安（Clarivate Analytics，发表年度期刊引用报告的公司）和欧洲的一家生命科学研究组织EMBO共同举办^[1]。学术期刊相关领域共有二十多位专家参加了此次会议（详情参见go.nature.com/2wfeyjc）。

会议上，他们首先梳理了期刊的核心功能，这些功能自350多年前期刊出现以来，几乎没有发生过改变。它们分别是：对原创研究的观点进行记录汇总；对研究记录（包括修正及撤稿）进行编纂管理；组织对研究进行公正评估；对学术成果进行传播及归档（参见“学术期刊的核心功能”）。

学术期刊的核心功能

记录汇总

通过发表出版，期刊记录科学研究中的观点的提出时间及作者，日后可用于确定观点提出的先后顺序。

编纂管理

编辑和审稿人对研究论文内容进行筛选，编成合集。同一合集中发表的研究具有相关性；期刊发表的论文合集描述了特定学术领域的理论及方法学范畴。

公正评估

同行评议根据多条标准（如研究质量、新颖性）对研究进行评估，研究作者可以从同行那里获得评价反馈。通过发表出版，期刊明确该研究已经过公正评估；期刊通过发表修正文件和撤稿声明，持续对已发表研究进行评估。

学术传播

通过将研究公之于众，期刊通过正式的渠道在专业学术圈内进行学术传播。期刊还可以通过开放获取及其它传播工具，让更广泛的群体了解研究成果。

学术归档

期刊将研究与元数据关联起来，使其在线上、索引及论文集成系统中可用，通过这种方式帮助学术内容永久保存，同时易于查找。

考虑到学术期刊发展迅速且正在成为传播数据、方法及其他数字对象的主要平台，增加新的期刊评价指标显得尤为重要。期刊影响因子（JIF）主要基于研究引用数量，是目前的主流指标之一，但这些常用指标都只能反映期刊的部分功能。

一套更加细致全面的评价指标应当能够反映期刊各个功能的实现情况。譬如围绕编纂管理的指标应评价编辑团队的专业性及多样性、投稿的接收率、接收标准是否公开透明等。随着开放获取和独立分析的发展普及，围绕数据的评价指标（如数据引用或报告标准等）将变得越来越重要。研究评估指标则会将重点放在审稿环节是否公开透明、同行评议人员数量及组成多样性、审稿是否及时等。

何为恰当的评价指标？

改进评价体系并不等同于单纯增加评价指标数目。必须保证合理地设置和使用新的评价指标^{[2, 3]}。改进后的指标应符合以下标准：有效（能够反映评价内容）；易于理解；公开透明（应公布评价数据，同时明确说明评价不足及不确定程度）；公正（应避免系统性偏差）；灵活（当偏差、滥用或其他不足变得日益明显时，可及时更新）；可再现性（指标使用者应能够再现其结果）。

他们认为即使研究发表内容发生改变，这些指标也将适用。譬如可以想象未来学术期刊发表的对象只是完整研究论文的一个部分。只要是需要被发表记录的学术信息，无论规模大小，以上原则均适用。一个现有的例子就是论文图表所使用数据集的引用（如EMBO的SourceData计划），其中可能只包括了论文的部分作者。

何为适用？

期刊引用报告于1975年首次发布，包括期刊影响因子和其他多项期刊评价指标，主要总结科学引文索引（Science Citation Index，SCI，该数据库目前为科睿唯安所有）中论文的引用情况。最初的发明者从未料到这份意在帮助图书管理员评估库内期刊价值，指导研究人员选择合适的投稿期刊，为学者、政策制定者及研究评估人员提供意见的报告，竟会被推广和滥用到如今的程度^[4]（详见 go.nature.com/30teuoq）。

评价指标一旦投入使用都有扭曲现实实践的倾向^[5]。以评价指标为导向（即选择研究课题是仅考虑指标是否好看而非课题是否具有意义及重要性）对于科研发展极为有害，现在却成了驱动研究的主要动力。这种情况下，不再有人愿意去碰那些指标可能不好看的研究。对于指标的盲目追求可以影响研究的整个过程，包括设计、执行、传播等^[6]。

影响因子在研究评估中的重磅地位以及随之而来的各种为追求影响因子的不当行为（如在参考文献中反复自我引用），甚至是欺诈活动（小作坊式地涌现了一大批吹嘘虚假影响因子的水刊）让人非常担忧^[4,7]。《旧金山科研评估宣言》（the San Francisco Declaration on Research Assessment DORA）批评了将影响因子作为评价研究论文或研究者的指标的行为，现已有1,356家机构和14,000多位个人签名支持该宣言内容。《莱顿宣言》（Leiden Manifesto）提出了更加全面的评价原则^[8]，现已被翻译成23种语言（详见 go.nature.com/2hv7eq3）。尽管有这些举措，影响因子的主导地位仍未被撼动。

为防止滥用指标，他们提出任何指标的使用都应符合以下四项标准：

1. 合理

在评估个人或机构所做的研究时，期刊评价指标仅应作为次要参考指标，且其作用应被明确界定^[9]。

2. 根据情况解读

除了单纯的数字统计结果，指标还应反映统计分布（例如，论文被引次数的分布），2018年起期刊引用报告已采用了这样的方式^[10]。使用指标时还应考虑学科差异。

3. 使用者充分知情

专业团体和相关专家应帮助潜在使用者建立对指标的正确认识。譬如，博士课程可以通过角色扮演游戏，帮助学生切身了解期刊评价指标在职业评估中的正常使用和滥用情况。

4. 负责

所有利益相关者都应注意指标的使用可能对研究人员和其他利益相关者产生怎样的影响。呼吁停止不负责任地使用评价指标。

何为正确的管理？

所有利益相关者都应对评价指标的制定和恰当使用负责。鉴于每个利益相关者都有其不同的出发点，他们建议设置专门机构（以下简称“机构”）负责期刊评价指标的管理。

机构可以提出新的指标以评价学术期刊的不同职能，而且就如何负责任地使用指标提出建议并制定相关标准。机构还可编写相关教育材料（例如指标开发和使用伦理方面的培训），借此宣传评价指标使用不当或使用得当的情况。例如，机构可以帮助保护研究人员免受“掠夺性期刊”的欺压——这类期刊通常质量较低，只为赚取经济利益，不按照承诺进行同行评议或编纂管理。机构还可以就开放获取出版和数据共享提供指导。

机构的组织构架可以参考学术出版的成功范例，例如非营利组织Crossref和ORCID，它们分别为文章和作者提供唯一的标识符。机构将由不同国家的人员组成，并将在各利益相关方团体之间进行联络沟通，协调组织相关活动倡议，如DORA、英国合理研究指标论坛和出版伦理委员会等。机构成员可以来自不同行业，如学术交流系统、专业学术团体、商业出版商和非营利出版商、高等教育机构、研究资助机构和政府等。

或许有人会辩驳说任何激励体系都可能被不当利用。但他们希望上文中阐述的原则能够帮助阻止对期刊评价指标的病态追逐，为实现目标铺平道路。此外，相比如今单一的评价指标，不当利用多个指标显然困难得多。科学出版正在发挥新的作用，对公众的开放程度也日益增加。新一代期刊评价指标应支持出版商发挥其各种不同的作用，并对良好表现予以充分肯定和激励。

参考文献：

1.Sugimoto, C. et al. F1000Research https://doi.org/10.7490/f1000research.1116751.1 (2019).

2.Wilsdon, J. et al. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management (2015).

3.Gingras, Y. Bibliometrics and Research Evaluation: Uses and Abuses (MIT Press, 2016).

4.Larivière, V. & Sugimoto, C. R. in Springer Handbook of Science and Technology Indicators (eds Glänzel, W., Moed, H. F., Schmoch, U. & Thelwall, M.) (Springer, in the press).

5.Campbell, D. T. Eval. Program Plan. 2, 67–90 (1979).

6.Müller, R. & de Rijcke, S. Res. Eval. 26, 157–168 (2017).

7.Fong, E. A. & Wilhite, A. W. PLoS ONE 12, e0187394 (2017).

8.Hicks, D., Wouters, P. Waltman, L., de Rijcke, S. & Rafols, I. Nature 520, 429–431 (2015).

9.McKiernan, E. C. et al. PeerJ Preprints 7, e27638v2 (2019).

10.Larivière, V. et al. Preprint at bioRxiv https://doi.org/10.1101/062109 (2016).

原文以Rethinking impact factors: better ways to judge a journal为标题发表在2019年05月28日的《自然》评论上

论文链接：

https://doi.org/10.1038/d41586-019-01643-3

版权声明：

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件[e-mail]。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。

© 2019 Springer Nature Limited. All Rights Reserved

免责声明：部分资料来源于网络，转载的目的在于传递更多信息及分享，并不意味着赞同其观点或证实其真实性，也不构成其他建议。仅提供交流平台，不为其版权负责。如涉及侵权，请联系我们及时修改或删除。邮箱：[e-mail]

关注高分子科学技术  👉

长按二维码关注

诚邀投稿

欢迎专家学者提供稿件（论文、项目介绍、新技术、学术交流、单位新闻、参会信息、招聘招生等）至[e-mail]，并请注明详细联系信息。高分子科技®会及时推送，并同时发布在中国聚合物网上。

欢迎加入微信群 为满足高分子产学研各界同仁的要求，陆续开通了包括高分子专家学者群在内的几十个专项交流群，也包括高分子产业技术、企业家、博士、研究生、媒体期刊会展协会等群，全覆盖高分子产业或领域。目前汇聚了国内外高校科研院所及企业研发中心的上万名顶尖的专家学者、技术人员及企业家。

申请入群，请先加审核微信号PolymerChina （或长按下方二维码），并请一定注明：高分子+姓名+单位+职称（或学位）+领域（或行业），否则不予受理，资格经过审核后入相关专业群。

点

这里“阅读原文”，查看更多