衡量科研水平，看质量还是数量？

科研是创新的源泉，高校则是科研的主要力量，尤其在“双一流”建设背景下，科研水平的提升成为高校的核心任务之一。提到水平，必然有高低之分，但不同评价体系下的高低却难以对比，因此科研评价始终是高校的难题之一。

高校科研评价以同行评议为主，这也是国际学术界的惯例。但随着科研投入和产出的快速增加，同行评议的局限性开始显现。同行评议需要投入大量时间和精力，同时受限于评价者对研究成果的熟悉程度、评价者评价标准的客观权威与否等等，因此相对更客观和更经济高效的定量评价方法开始受到青睐，尤其是基于文献计量学的定量评价方法。但学术界对定量评价方法仍然存在质疑，认为当前的科研评价体系“重数量、轻质量”，科研评价体系中破“五唯”的关键之一也在于对科研质量的考量，因此兼容数量和质量的定量评价体系才能更加科学客观。

CNCI，定量评价科研质量的公认指标

上海软科于近日发布“世界一流学科排名”，排名以文献计量学中的客观指标来衡量大学的科研表现，包括论文总数（PUB）、论文标准化影响力（CNCI）、国际合作论文比例（IC）和顶尖期刊论文数（TOP），同时从科研数量、科研质量、国际合作和顶尖科研成果等各个维度客观评价高校表现。其中评价科研质量的指标称为论文标准化影响力（Category Normalized Citation Impact, CNCI）。CNCI是衡量科研质量的最客观的指标之一，CNCI能够消除不同学科论文篇均被引次数的差异，以定量化和标准化的形式比较不同学科的科研质量高低。如果CNCI等于1，表明该组论文的被引表现与全球平均水平相当，CNCI小于1则反映论文被引表现低于全球平均水平，CNCI大于1表明论文被引表现高于全球平均水平。

CNCI消除了学科、年份和文献类型对论文质量的影响，但CNCI是否能够完全公平地反映学校科研实力呢？论文数量是否与CNCI有直接的关系？物理学是2019世界一流学科排名中发文阈值最高的学科之一，且上榜高校为500所，相较于其他学科整体科研产出更高，因此本文以物理学为例，分析该学科上榜高校的CNCI表现。

论文数量是否决定质量高低？

首先，选取2019年世界一流学科排名物理学世界50强高校，这50所高校论文数量也相对较高，将它们依次按照PUB得分从高至低排序，从这50所高校CNCI得分和PUB得分之间的趋势关系可观察到，50强高校的CNCI与论文数量之间不呈现简单的线性关系，但CNCI得分整体分布于70-100区间内，CNCI趋于相对稳定的状态。

在物理学学科中，中国内地高校平均CNCI得分为64.3，而全球高校平均CNCI得分为81.3。CNCI得分是按照大学CNCI指标的数值除以该项指标的最大值（开根号）再乘以100计算得到，而从CNCI原始数值来看，中国内地高校CNCI平均值为1.29，全球高校CNCI平均值为2.13，中国内地高校在物理学学科平均科研质量远低于全球平均水平。

排名靠前的高校论文总数较高，CNCI基本能够客观反映这些学校整体科研质量，但是否CNCI越高，就表示科研水平越高呢？事实上，当选择2019年世界一流学科排名中CNCI最高的50所高校时，这50所高校CNCI得分均超出95，但PUB得分集中分布于20-50的区间内，且综合排名靠后。因此在论文总数相对较少的情况下，CNCI的值可能无法有效地体现学校的整体科研质量。

为了证明“CNCI指标对发表论文数量达到一定规模的高校更有效”这一情况不限于个别学科，我们对工学领域中发文阈值最高的材料科学与工程学科进行分析。同样首先选择2019年材料科学与工程学科世界50强高校，依次按照PUB得分从高至低排序。相较于物理学，材料科学与工程学科世界50强高校的CNCI得分基本分布于70-100分的区间内，但CNCI与论文数量仍然无直接的线性关系。

在材料科学与工程学科，中国内地高校平均CNCI得分为79.0，全球高校平均CNCI得分为76.9，从CNCI原始数值来看，中国内地高校CNCI平均值为1.34，全球高校CNCI平均值为1.28，中国内地高校在材料科学与工程学科整体科研质量略超过全球平均水平。在材料科学与工程世界排名50强的高校中，中国内地高校占据15席，充分体现中国内地高校在材料科学与工程学科的强劲实力。

当高校发表论文数量较少时，材料科学与工程学科的CNCI得分分布与物理学呈现了相似的特征。材料科学与工程学科中CNCI最高的50所高校的PUB得分集中分布于20-70分的区间内，而这50所高校的CNCI得分集中分布于90-100区间内，整体高于综合排名前50的高校。

除物理学和材料科学与工程学科外，其他学科的CNCI也具有相似的分布特征。因此，虽然CNCI是公认的衡量科研质量最客观的指标之一，但考虑到CNCI指标为相对指标，论文数量较少时CNCI不够稳定。因此，在2019年世界一流学科排名中，为了更精准地使用CNCI这一指标，科学地衡量不同学科中的高校表现，在计算该指标的得分时，一个学科的CNCI最大值设置为该学科所有大学的CNCI平均值的2倍或者该学科所有大学中CNCI的实际最大值，取二者中较低者，令其为100分。其它大学按其CNCI与该最大值的比例得分，CNCI超过该最大值的大学，均得100分。该算法合理消除了部分论文数量较少且CNCI过高的学校在该学科中的异常影响，使得排名更客观合理。

当然，科研水平的衡量并不仅限于CNCI，在世界一流学科排名中，我们采用了多项客观指标来综合反映学校的整体实力。更多有关2019世界一流学科排名方法论与排名结果请查看《权威发布：2019软科世界一流学科排名》。软科也将继续秉承科学、专业和客观的态度编制和发布排名。

往期回顾