NIH的这个新指标，会取代影响因子在科研评估中的地位吗？
原文以The quiet rise of the NIH’s hot new metric为标题
发表在11月9日的《自然》新闻上
原文作者：Gautam Naik
世界各地的生物医学资助机构正在开始采用NIH免费提供的相对引用率指标来分析资助效果。
一个鲜为人知的评估论文影响力的算法已经成为了全世界最大的生物医学资助机构——美国国立卫生研究院(NIH)的重要资助管理工具。
2015年，NIH的项目组合分析办公室(OPA)设计了上述工具，以便更加公平地比较不同领域论文的表现。现在，NIH最大的研究所之一正在使用这一指标——相对引用率(RCR)来鉴定某些类型的资助是否能产生更大的回报。NIH免费在线提供RCR，目前已有其它资助机构采用这一指标。英国生物医学慈善机构惠康基金会使用RCR来分析其资助效果，扶持遗传疾病研究的意大利慈善机构Fondazione Telethon则正在测试RCR能否作为评估资助方案的方法。
“这个指标在NIH内外取得了非常好的反响，”OPA主任George Santangelo说。Santangelo的团队成立于五年前，由多达18位科学家、统计学家和数据科学家组成，旨在设计可用于分析NIH资助机会的工具。
团队被要求衡量哪些NIH研究最具影响力，但并没有选择单凭发表期刊来判断——在这种方法下，发表在被引次数较多的期刊中的论文分数较高，但也存在着明显缺陷。举例来说，如果一项重要的研究没有发表在顶级期刊中，就有可能被低估。此外，仅统计被引次数也无法反映一篇论文相对于同类论文的表现：例如，一篇被引几十次的代数论文在数学领域内的影响力可能大于一篇被广泛引用的癌症研究论文在肿瘤学领域内的影响力。
商业分析公司，比如爱思唯尔也会提供在同领域内进行论文比较的算法，但是Santangelo团队认为自己的指标在技术上与之不相上下，如果不是更胜一筹的话——而且更重要的是，这一指标更易获取（NIH已经将帮助文件和完整代码发布在了网上）。“我们没有看到其它任何像RCR一样透明的指标，”Santangelo说。
RCR指标的算法非常复杂。首先，它将论文的研究“领域”定义为曾被共同引用的论文集群，一个不断扩大的动态群组；然后计算背景领域的平均引用率——该领域期刊每年的平均引用率。在积累引用几个月后，便可以将背景引用率作为基准，衡量一篇论文的实际表现——不过在某些情况下可能要等上一年，Santangelo说。
作为背景，Santangelo团队会将经过基准化的论文表现与NIH在同一领域、同一年度资助的其他论文的表现进行比较，最终归结为一个简单的数字——RCR。RCR为1.0，表示一篇论文的影响力与NIH在同一领域和同一年度资助的中位论文完全一样；2.0则表示一篇论文的影响力是后者的两倍，以此类推（参见“衡量论文的影响力”）。任何人都可以在iCite（https://icite.od.nih.gov/）网站上上传PubMed论文，并查出它们的RCR分数。
来源：Über-Research
与此同时，也有人对这个新指标提出了批评。“我们的分析表明，它并不比其它指标更好，”德国马克斯·普朗克学会的文献计量学专家Lutz Bornmann说。几年来，该学会都使用至少三项其它的领域归一化指标来评估其研究机构，但并不打算采用RCR。学会表示，RCR过于复杂，也过于局限，因为它只面向PubMed数据库，而该数据库收录的主要是生物医学论文，因此不适用于物理学方面的论文。
但RCR作为一种分析工具已经开始普及。在美国国立综合医学研究所(NIGMS)，一支团队使用了RCR来评价资助整个研究团队、百万美元级的大型项目基金与面向PI个人的小额资助的效果。结果表明，通过这两种资助方式发表的论文得分相当。“RCR有助于我们仔细审视我们为团队科研所提供的支持，”NIGMS主任Jon Lorsch说。
NIGMS提出的另一个问题是，经费更多是否意味着产出更好。以RCR数值计，结果显示，花费更多的NIH经费并不意味着论文的RCR会相应提高。“因此，我们也许不该资助经费已经相当充足的科学家，”NIH的院外研究副主任Michael Lauer说。
在NIH之外，RCR也已经开始流行起来。惠康基金会的研究分析师Jonathon Kram表示，他的小组用RCR来对比惠康基金会资助的项目与其它资助机构项目的表现。他表示，不同于其它归一化指标，RCR“方法透明且免费可用”。
位于德国科隆的软件公司ÜberResearch则建成了一个覆盖约200家资助机构所发基金的数据库，并且已经开始发布数据库中每一篇论文的RCR分数。“我们用RCR来更好地评价数据库中所收录的研究人员的历史表现，”Über-Research联合创始人Stephen Leicht说。（Über-Research由霍尔茨布林克出版集团旗下的Digital Science公司部分所有，霍尔茨布林克出版集团则持有《自然》杂志出版商的部分股权。）
意大利慈善机构Fondazione Telethon则表示正在测试RCR，并希望能将它投入使用。“我们并不是要用它来辅助资助决策，而是更多地把它当成一种分析工具，”首席科学官Lucia Monaco说。“我们希望确保每一分钱都投向了最优秀的研究。”ⓝ
Nature|doi:10.1038/539150a
点击“阅读原文”阅读英文原文
版权声明：
本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件Chinapress@nature.com。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。
© 2016 Macmillan Publishers Limited, part of Springer Nature. All Rights Reserved.
nature.com 官方微信
中国及世界科技出版业有哪些最新动态？
如何在Nature及其子刊上发表论文？
自然科研有哪些新的产品及服务适合你？
长按二维码关注我们。
微信号：macmillan-nature