争鸣!警惕中国式“高被引”陷阱
The following article is from 科学网 Author 樊秀娣
作者 | 樊秀娣(同济大学教育评估研究中心主任)
当下,在国内“破五唯”、规范SCI相关指标使用等评价改革实践中,“高被引”指标显得尤为突出。
“高被引”之所以仍深受重视,源于国内很大程度上把高被引论文等同于顶尖高质量论文,而这又是基于高被引论文在国际同行中具有重要学术影响力这一认识。
本文以2020年科睿唯安发布的17名中国高被引学者(数学领域)为例,分析发现他们的论文引用机构主要集中在国内,且引用情况相当集中;同时,数学学科高被引论文的引文主要发表在低影响因子期刊上。
由此,笔者认为,把高被引论文简单等同于顶尖高质量论文显然站不住脚,对“高被引”的评价结果以及一系列政策导向也就很成问题,过于热捧和追逐“高被引”可能相当致命。
高被引论文=重要学术影响力=高水平?
高被引论文的概念最早由基本科学指标数据库(Essential Science Indicators,简称ESI)提出。ESI对全球所有高校及科研机构的SCIE、SSCI库中最近10年的论文数据进行统计,将被引频次排在各学科领域前1%的论文称为高被引论文,其作者即为高被引论文学者。
为探究国内“高被引”真相,鉴于目前仅ESI发布的“高被引”面向全球学者,因此我们选择了科睿唯安ESI 2020年度“高被引科学家”榜单中中国学者上榜较多的数学、物理、化学、材料四个学科的共计203位(人次)中国高被引学者逐一进行论文被引情况查询。
限于篇幅,这里我们仅以早前因曲阜师范大学数学学科排名超过北京大学(2020年10月发布的U.S.News2021年世界大学排行榜) 而引发大量争议的数学学科高被引学者论文的引用情况作阐述。
(一)中国高被引学者的国际影响力分析
国内学界对“高被引”的推崇,最重要的一点是基于论文的高被引代表了国际同行对论文内容的高度认可。
事实果真如此吗?
为此,我们考察了国内高被引学者的论文主要是国内学者还是国外学者在引用。出于结果明晰的考虑,我们把每位高被引学者论文的引文按其作者所属机构归类,同时把论文的引用机构按引文数量从高到低降序排列,列出第一到第十五名引用机构。
我们逐一把前面提及的17位数学高被引学者论文的第一到第十五名引用机构的国别和国家名称列出(表1)。
表1. 17位数学学科高被引学者论文引用机构的国别和国家名称
从表1可以看出,国内数学高被引学者论文的引用机构主要集中在国内。由此可以说明,仅从“高被引学者”这一指标来认定国内“高被引”代表了较高国际同行影响力的说法不成立。
(二)中国高被引学者的国内影响力分析
“高被引”不代表高国际学术影响力,那么“高被引学者”的国内学术同行影响力又是怎样呢?
为说明这个问题,我们把引用高被引学者论文最多的机构的引文数量和前十名机构的累计引文数量分别与总引文数量相比,得到引文集中度的数值。
根据引文计量常识,引文集中度的数值越低,代表引文的机构集中度也越低,说明高被引论文的被引分布越广,表示关注和认同论文的学者越多。反之引文集中度的数值越高,表示关注和认同论文的学者越少。
如果引文集中度数值相对过高,就有可能存在“刷引文”(注:指为了追求引文指标,学者之间私下串通而采取的非学术引文)的嫌疑。
我们把17位数学高被引学者的第一名引用机构引文数量和前十名引用机构累计引文数量分别除以其总引文数量并按百分比区间列出,每个区间的学者人数相加,得到数学学科高被引学者引文集中度数值分布各区间的人数情况(表2)。
表2. 数学学科高被引学者的引文集中度处于各区间的人数分布情况(共17人)
从表2清楚地看到,数学学科高被引学者的引文集中度很高。
高被引学者论文的第一名引用机构引文数量占其总引文比处于[10%-20%)区间的人数最多;前十名引用机构累计引文数量占其总引文比在[40%-100%)区间的人数最多。
从数据情况看,中国“高被引学者”论文的引用情况相当集中,由此说明我们不能因为学者被列入“高被引学者”榜单,就简单将其与国内较广泛学术影响力划等号。
(三)中国高被引学者的实际学术水平分析
中国高被引学者的实际学术水平是不是像理论上预设的那么高?对这点,我们通过对高被引学者论文的引文所发表期刊的影响因子情况来说明问题。
从某种程度上说,如果引文发表期刊的影响因子高,说明对被引论文关注和认可的同行水平高,间接证明“高被引”的学术水平相对也高;反之亦然。
我们把数学高被引学者2009年—2019年间的全部引文按发表期刊的影响因子区间进行归类,再计算出各影响因子区间内的引文数量在总引文数量中的占比,这样就可以清楚地看到高被引学者其论文引文发表期刊的影响因子分布情况。数学学科的具体结果见表3。
表3 数学学科高被引学者论文引文发表期刊的影响因子分布情况(共17人)
从表3可以明显看到,数学学科高被引论文的引文主要发表在低影响因子期刊上。
依据上述结果,我们大致可以得出如下结论:
1.国内高被引学者论文的被引绝大部分来自国内学者的引用,国内“高被引”的高国际学术影响力很可能被“虚构”。
2.国内高被引学者论文的被引集中度很高,国内“高被引”在国内学术同行中的较高影响力和权威性也很可能被“臆想”。
3.国内高被引学者论文的引文发表在低影响因子的期刊居多,国内“高被引”的高学术水平和贡献也很可能被“高估”。
综上,“高被引”指标不能简单地作为顶级学术成就的评价标准。事实上,这与笔者在听取学术同行对业内“高被引”评价的反映一致。
盲目推崇致乱象丛生:“刷指标”、论文“出口转内销”……
不可否认,国内学界把“高被引”等同于优质学术成就的现象较为普遍,这种评价指挥棒带来的负面效应不容小觑。
1.“刷指标”现象导致中国教育科研的国际声誉严重受损。
因为“高被引”的光晕效应,国内个别学者通过各种不光彩手段来提高论文引用率的现象已经是公开的秘密。这一问题不仅影响到国际社会对中国“高被引”的看法,也波及对整个中国学术诚信的评价。
2.论文“出口转内销”现象导致中国教育科研损耗巨大。
刻意追求“高被引”无疑助推了国内学者把论文发表到国际期刊上,再转回国内让国内同行阅读和使用的现象。
由此导致国内学术论文成果交流耽搁,大量科研经费化作了高昂的论文版面费、靠“高被引”起家的“帽子”人才名不副实、教育科研生态氛围急功近利等问题。
3.“皇帝的新衣”现象导致中国学界受到国际期刊机构“特殊对待”。
在国内学界“不顾期刊良莠”“不惜一切代价”发表国际期刊论文的风气下,国际期刊集团旗下的数据库都不约而同地加大了向中国市场推出各种期刊论文指数的力度。
同时,有些国际期刊一看来稿是中国人或者中国机构,立马把版面费翻高几倍。
从源头入手,严把“科学关”“检查关”“诚信关”
要从根本上解决这一问题,必须从源头上入手,标本兼治。
1.要求发布“高被引”榜单的机构严把“科学关”。
如果“高被引”榜单发布机构明知榜单中混有大量非学术引用数据却依旧发榜,且不主动说明缺陷所在,这不应该是一个有社会和学术责任心的机构所为。各种“高被引”榜单的制作者和发布者有责任把明显不当的引用数据加以科学处理。
已有不少学者提出要对学者利用过度自引或小团体互相引用等操纵被引数据的做法进行干预,这在技术上也是完全可行的。
2.要求使用“高被引”指标的部门严把“检查关”。
“高被引”指标与学者个人及所在机构的学术资源、经费和奖励等息息相关。各级管理部门在使用“高被引”数据时理应事先对“高被引”数据进行核实,同时更应该关注高被引论文的实际学术价值和贡献。
教育科研管理者需要提高治理水平,杜绝学术评价中唯指标数量的错误做法,否则追究评价主体责任。
3.要求学者在开展教育科学研究时严守“诚信关”。
国内论文引用方面存在的学术投机问题需要引起高度重视,人为做高引用指标数据对学术发展有百害而无一利。当前,要大力弘扬崇尚真理、严谨求实的“科学家精神”精神,加强学者科研诚信和规范建设刻不容缓。
(本文系上海高校智库“创新驱动背景下高校科研评价体系改革的实策研究”资助。标题为编者所加。)