基于标志性论文的高校学科影响力评价方法研究

科情智库

摘   要：高质量发展方向指引下，为引导机构、学者等科研对象更加专注科学研究，创作、发表高质量科研成果，本文提出基于标志性论文的高校学科影响力评价方法。在完成Web of Science与Essential Science Indicators学科分类映射的基础上遴选高校学科标志性论文，按照被引频次将论文分级赋值。以农业科学为例进行实证分析，结果显示，基于标志性论文的评价方法更易褒奖注重发表高质量论文的高校；评价周期长短对评价结果的影响较为有限；将基于标志性论文的学科影响力评价结果与教育部第四轮学科评估结果进行对比分析，验证了基于标志性论文评价高校学科影响力方法的可靠性。

关键词：高校；学科；机构评价；标志性论文；学科影响力

科技评价是科技活动的指挥棒，对科技事业发展起到至关重要的作用。长期形成的以量化为主要特征的评价机制，极大的调动了科研人员的科研热情，因此产生了大量的科研成果，但随着量化指标的过度运用，科学研究中重数量轻质量、重形式轻内容、重短期轻长远的现象愈演愈烈，甚至出现唯数量论的问题。2018年中共中央办公厅和国务院办公厅印发了《关于深化项目评审、人才评价、机构评估改革的意见》《关于进一步弘扬科学家精神加强作风和学风建设的意见》，文件要求改进科技评价体系，破除国家科技计划项目、国家科技创新基地、中央级科研事业单位、国家科技奖励、创新人才推进计划等科技评价中过度看重论文数量多少、影响因子高低，忽视标志性成果的质量、贡献和影响等不良导向。2020年科技部研究制订了《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》，推行代表作评价制度，鼓励发表高质量的学术成果。

目前对于高校科研能力的评价主要还是基于科研成果的数量、篇均被引用次数、期刊影响因子等，即使是基于高校高被引论文、热点论文的分析评价也依然没有摆脱论文数量对评价结果的影响。对于高校学科影响力的评价方法多以科研产出成果的规模作为重要的科学计量学评价指标，尚缺乏基于标志性成果进行评价的新型评价模式。科技评价不仅是高校科研管理的主要手段，而且是高校宏观管理和资源配置的重要依据，对高校办学行为有突出的导向作用。本文以我国高校农业科学领域发表的SCI论文数据为主要数据来源，研究基于标志性论文的学科影响力评价方法。

我们通过文献调研和专家咨询的方式，深入探求基于标志性论文的高校学科影响力评价需求，调研标志性论文的主要特征，借助计算机技术，基于标志性论文的主要特征遴选高校标志性论文以替代论文数量或影响因子等传统评价指标表征高校学科影响力，通过实验和专家咨询的方法确定标志性论文的赋值方法，为了检验基于标志性论文的高校学科评价方法的稳定性，我们设计长期（十年）和短期（三年）两个评价时间窗口进行实证分析，通过实证研究检验基于标志性论文评价方法的合理性。以评价周期内在农业科学领域以第一作者第一机构发表至少一篇SCI索引论文的中国高校为研究对象。数据来源包括Web of Science核心合集（简称WOS）中的子库Science Citation Index Expanded (SCI-EXPANDED)、Essential Science Indicators数据库数据（简称ESI）以及来自中国科学技术信息研究所的经人工标注的SCI十年引文数据库。

对我们提出的就标志性论文的高校学科影响力评价方法进行实证分析后得到如下三点结论：

与传统评价方法相比，基于标志性论文的评价方法更易褒奖注重发表高质量论文的高校；注重发表高质量论文的高校整体发文量可能不高，在传统以量取胜的评价方式中排名较为靠后，但基于标志性论文的评价方法看重论文质量，发表高质量论文的高校学科评价得分更高。

将基于标志性论文的学科影响力评价结果与教育部第四轮学科评估结果进行对比分析，验证了基于标志性论文评价高校学科影响力方法的可靠性。教育部的学科评估每五年进行一次，采用客观评价与主观评价相结合、公共数据与单位填报数据相结合的方式进行，评估过程公开透明度较高，结果也得到公众认可，与教育部第四轮学科评估结果做对比分析，发现基于标志性论文的学科评价结果是可靠的。

评价周期长短对评价结果的影响较为有限。对高校学科进行十年和三年两个时间窗口的评价，发现两个评价结果基本一致，只是存在小的波动，说明基于标志性论文评价高校学科影响力的方法是具有稳定性的。

本研究突破以往对高校学科影响力的评价方法，将标志性论文评价方法和高校学科影响力评价结合起来，实现以重质量为导向的高校学科影响力评估，为高校学科影响力评价研究提供新的思路。在后期的研究中，作者会更加关注如何将现有的学科影响力评价方法与文章提出的代表作评价方法相结合的问题。

作者：刘亚丽 马峥 王璐 潘尧

（中国科学技术信息研究所，北京 100038）

来源：此文为缩减版，全文请见《中国科技资源导刊》2022(3):77-83

文章观点不代表主办机构立场。

推荐阅读 >