查看原文
其他

TOP因子:新一代期刊评价指标

The following article is from 图情那些事儿 Author MINAMI11


作者:MINAMI11


2月10日,开放科学中心( Center for Open Science ,COS )发布了一个新的期刊评价指标,TOP 因子。开放科学中心希望它能够打破期刊影响因子(JIF)的垄断地位,成为影响因子的替代产品,用于评估期刊的质量。


TOP 因子主要基于( Transparency and Openness Promotion ,TOP)透明度和开放促进准则。这是一个由八个标准组成的框架,该框架概述了可以提高研究透明度和可复用的行为,例如数据,材料,代码以及研究设计,预注册和复制的透明度。规则说明如下:https://cos.io/top/


例如,对于数据透明性标准:
  • 得分0表示期刊策略不符合该标准,
  • 得分1表示该策略要求作者公开数据是否可公开访问,
  • 得分2表示该策略要求作者公开数据。除非它符合例外条件(例如,敏感的健康数据,专有数据),否则可以访问,
  • 得分3表示该政策同时包括数据与论文中报告的发现的对应性的要求和验证过程。

TOP 因子还包括期刊是否提供指标注册报告(Registered Reports),一种发布模型,可减少忽略偏见和无效结果的发布偏见,并认可公开研究实践以促进公开行为的可见性。

不是唯一数字


开放科学中心政策主任戴维·梅洛尔(David Mellor)说:“ TOP 因子不是排名期刊的唯一数字。TOP 因子是期刊政策的一组模块化指标,以促进良好研究实践的可见性。”在TOP 因子网站上,用户可以按学科,出版商或标准子集筛选TOP 因子分数,以查看期刊政策的方式比较。这种定制很重要,因为与某些研究实践相比,某些实践在某些研究领域正在兴起或更加相关。例如,用户可以查看包含或不包含预注册标准时,TOP 因子分数在某个学科内的变化。

不是排名


开放科学中心执行主任布莱恩·诺塞克(Brian Nosek)说:“ TOP 因子是一个等级,而不是排名。原则上,每个期刊都有可能获得最高的评分。确实,发布TOP因子的主要目的是为期刊提供有关同行的信息,以便他们可以改善自己的政策。”自2015年发布TOP指南以来,已有1,100多种期刊采用了透明度政策,所有主要的学术出版商已成为准则的签署者。


TOP 因子是与其他改善研究文化和实践的努力相辅相成的。《关于研究评价的旧金山宣言》(DORA)指出,应根据自身情况评估研究,而不是发表研究的期刊。TOP 因子有助于实现DORA愿景。作者可以使用TOP 因子来识别其政策与其价值观保持一致的期刊,并认为他们的努力更加严格和透明。资助者可以使用TOP 因子评估哪些期刊最有可能支持其对受助者的政策授权。而且,出版商可以使用TOP 因子来识别具有渐进策略以启发灵感的期刊,并按学科监控策略趋势。
数据可免费获得和验证

与某些指标不同,评分过程和TOP 因子背后的数据可免费获得和验证。这可以使任何希望提高期刊政策意识的组织最大限度地提高TOP因子基础的透明度和数据的可重用性。它已被FAIRSharing所使用,FAIRSharing是一种数据策略注册表,旨在策划和倡导更好的数据标准。“ FAIRsharing很高兴与COS在TOP 因子上合作,并在我们的FAIRsharing数据政策页面上显示这些信息(请参阅例如PLOS Publisher数据政策)”, FAIRsharing协调员Peter McQuilton说。“ TOP 因子是一种透明的,可辩护的方法,用于评估期刊共享数据,代码和其他材料的政策的开放性和公正性。”

风  险

期刊影响因子受到非议的部分原因是,通常将“引证影响”误解为“研究质量”,并且不恰当地将其用于评估该期刊发表的个别研究文章。TOP 因子也有类似的风险。Mellor指出:“期刊的TOP因子得分不能衡量该期刊发表的研究的质量。TOP 因子衡量期刊政策在多大程度上促进了评估研究质量的能力。” Nosek补充说,“重要的是要记住,研究可以同时完全透明和可怕。促进透明度和可重复性的政策使评估研究质量变得更加容易。 


TOP因子的另一个风险被称为古德哈特定律(Goodhart's Law):当一个政策变成目标,它将不再是一个好的政策。


TOP 因子的定义符合学术价值。取得良好成绩的最直接方法是实施旨在提高透明度和可重复性的政策。这是提供指标的目的。但是,不良行为者可以通过制定有力的政策而不执行这些政策,从而取得不错的成绩。TOP 因子公开发布策略的要求为这种博弈策略提供了一些责任。但是,为了进一步降低这种风险,将来的TOP 因子迭代可以将对期刊遵守其政策的审核纳入评分。

目前进展

迄今为止,TOP因子已经评估了250多种期刊政策,并在其网站上进行了介绍。最初的期刊以心理学,经济学,教育学和一般科学领域为代表。最初的重点是在采用透明度和严格性政策方面特别进步的领域和期刊。 


“一些一般科学媒体,例如Science 科学,Nature 自然和Cell 细胞,具有令人印象深刻的透明度政策,尤其是考虑到它们发表了来自众多领域,具有不同规范的研究成果。它说明了这些期刊对提高研究质量的重视程度。” Mellor说。


随着时间的流逝,期刊将不断添加。编辑和社区成员可以在TOP 因子网站上填写期刊评估表,以加快流程。开放科学中心的工作人员会审核这些提交的内容,并在将得分发布到TOP 因子网站之前,先确认该期刊的公开发布政策。拥有TOP因子得分的期刊可以随时更新其政策并提交修订的评分。

下一步
TOP 因子的初始版本侧重于与研究过程和输出的透明度有关的政策。随着TOP 因子的不断改进,它可以包含更多功能来评估期刊流程的质量,例如期刊运营的透明度,运营成本以及编辑和同行评审服务。


下一步 ,TOP因子要做的就是提高知名度,吸纳更多的期刊进入评价体系。以及追踪并不断迭代改进。




开放科学中心(Center for Open Science,COS)成立于2013年,是向科研参与者提供开放科学服务的第三方机构。

更多阅读:

OA期刊发现平台:DOAJ

全球同行评议现状报告中文版来袭


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存