得鱼忘筌：SCI评价体系的兴衰 | 袁岚峰
关注风云之声
提升思维层次
导读
以SCI为核心的评价体系已经完成了它的历史作用，应该光荣退休了。
注：风云之声内容可以通过语音播放啦！读者们可下载讯飞有声APP，听公众号，查找“风云之声”，即可在线收听~最近，教育部、科技部联合印发了一个《关于规范高等学校SCI论文相关指标使用、树立正确评价导向的若干意见》（教育部科技部联合发文：取消直接依据SCI论文相关指标对个人和院系的奖励），科技部印发了一个《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》（http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm）。不少人来问我，对此怎么看？
对于不知道SCI是什么的朋友，我先来解释一下。SCI是Scientific Citation Index的缩写，即科学引文索引。它是由美国的科学信息研究所（Institute for Scientific Information，简称ISI）提出的，这家研究所现在属于一家叫做科睿唯安（Clarivate Analytics）的数据公司。
全世界有几万种科学期刊，水平参差不齐。SCI从中选择了9000种，期望选择水平比较高的那些，不过它首先的一个条件就是英文杂志。所以在里面能够看到的一些中国的期刊，也都是英文的。绝大多数期刊，当然都来自美国与欧洲。
SCI的著名之处，是它基于引用数量来评价杂志。每个杂志都有一个“影响因子”（impact factor），计算公式是（为何中国学者和媒体对影响因子公式的表述普遍错误?）：
期刊在第N年的影响因子 =
其中的源刊文本（source items）指的是该期刊发表的所有文本，包括论文、消息、评论、读者来信、书评等等。引用项（citable items）是源刊文本中的一部分，可以理解为就是学术论文。其他的消息、评论、读者来信、书评等等，叫做非引用项（uncitable items）。你立刻就会发现，非引用项出现在分子上，却没有出现在分母上，这是一个令人哭笑不得的地方。
如果一个期刊发的全都是学术论文，也就是说没有非引用项，那么影响因子就等于此期刊过去两年的论文在今年被引用的平均次数。中国的期刊基本都是如此。而如果一个期刊还发非引用项，那么它的影响因子就相当于注了水。我的前辈朋友、著名的科学史学家江晓原教授，写过不少文章剖析（《读书》首发 | 江晓原 穆蕴秋：影响因子是可以操弄的）。例如著名的顶级期刊《自然》（Nature），非引用项对影响因子的贡献有11%。而医学顶级期刊《柳叶刀》（Lancet）就更离谱了，这个比例高达50%。
了解了影响因子的猫腻后，还是可以把这个指标作为一个参考。基本上，像《自然》（Nature）、《科学》（Science）这样影响因子40左右的，大家都努力想办法去发，绝大多数研究者一辈子都发不了一篇。影响因子在1左右的就普普通通，牛人如果没有特殊原因，很可能不屑于去发。连1都不到的，就更不用提了。
中国从九十年代以来，由南京大学开风气之先，许多部门和院校都推行了以SCI为核心的评价体系。例如要求每个研究者每年在什么级别的SCI杂志上发多少论文，填报成果时要写其中有SCI论文多少篇，由此发相应的奖励等等。潜台词是，非SCI的论文就不算成果。这个体系一方面推动了中国科研的国际化，一方面也受到了很多批评，经常被嘲笑为“数工分”。
其实，在我工作的中国科学技术大学，SCI早就不是什么特别重要的指标了。例如2016年，我所在的合肥微尺度物质科学国家实验室的常务副主任罗毅教授在接受采访时说（中国的科学在英文报道中非常的好，在中文报道中一塌糊涂|澎湃）：
“好的工作，短期考核都出不来。对我们科大来说，发表文章，我们一点兴趣都没有。在我们的实验室里面，有人跟我说我要发几篇文章，我一点兴趣也没有。我们感兴趣的是，你能做出别人都做不出来的东西。”
那么，什么是别人做不出来的东西呢？罗毅举了几个本实验室的例子，如董振超教授2004年到科大来的时候，要做单分子成像。大家都知道这非常难，但非常激动人心。然后他有6年没发什么文章，如果按照许多地方的标准，早就扫地出门了，至少是不支持他了。但微尺度实验室一直全力支持他，包括设备和人员的支持。到2010年，他做出来了，第一篇就发表在《自然·光子学》上。2013年，他又做成了单分子拉曼成像，成了世界上标志性的工作。
亚纳米化学成像翡翠卟啉风格（图片作者:王国燕周荣庭）（http://www.nsfc.gov.cn/nsfc/cen/00/kxb/hxb/images/6227.htm）
又如潘建伟院士，他在国外已经做了很好的工作，回来之后，他的想法、决定，大家一听就激动人心，于是学校就大力支持。在潘建伟等人的推动下，中国发射了世界第一颗量子科学实验卫星“墨子号”，在量子通信领域引领了世界发展。又如陈仙辉院士的铁基超导、杜江峰院士的量子信息等等，都是微尺度的重要成果。
为什么科大能选准支持对象？罗毅的回答是：
“在经费投放、资源投放上完全是按照学术，我们都是高水平的科学家，对学术是有一个把握的。下棋的人也知道，不是靠你自己说下得有多好（你就有多好），下几步就知道你的水平在哪种程度上，能不能做成你想做的事情。”
这个回答可以说是最深刻的道理，也可以说是最朴素的道理。重剑无锋，大巧不工。归根结底，要靠高水平的同行去评价。这比数SCI要强，也比行政指挥要强。正如罗毅所说：
“这是去行政化最好的东西，你要相信自己的良心，自己的学术判断。”
这些观点，对高水平的科学家来说是常识。大家可以看看，哪个一流的研究机构，会把发了多少SCI文章作为宣传的？如果有世界首创的成果可讲，当然会直接讲世界首创，而不是多少文章。
著名文学评论家金圣叹评点的《水浒传》，是一部给我带来很多乐趣的经典名著。其中第22回是武松景阳冈打虎，有一段是武松向猎户自叙了两次打虎的经历。
金圣叹在这里评点道：
“实是异常得意之事，不得不说了又说。我亦要说，可怜无甚说得出的事也！”
由此可以引出一个滑稽的现象，就是许多非一流的高校喜欢宣传本校的ESI排名，而一流高校并不如此。ESI是EssentialScience Indicators的缩写，意思是“基本科学指标”。它也是由科睿唯安公司推出的，基于一些文献数据库，在22个学科中统计出10年间引用数排在前1%的科研机构。说句大实话，全球1%挺容易排进去的，因为世界上绝大多数机构没有多少科研实力可言。
“知识分子”主笔邸利会写过一篇文章《ESI：一场被中国高校追捧的荒诞剧》（https://mp.weixin.qq.com/s/mXIcqlVThmbLd0u-R2DRVg），对此进行了强烈的吐槽：
“过去的这些年，不少学校像追星一样追逐ESI排名。”
为了刷ESI指标，他们想出了各种办法，其中最神奇的叫做“制定学科提升策略”。这是什么意思呢？例如某校的图书馆员建议，如果本校的学科A接近前1%了，而学科B离1%还远，那么学科B的研究者“可以在战略上给予支援”，——也就是发文到学科A的期刊，帮助学科A冲上去。用台湾选举中的常用语说，就是“弃保效应”！
可想而知，真正的研究人员会如何看待这样的神操作。邸利会将一篇标题为《基于ESI数学学科的数据对比分析及对学科建设的思考——以武汉大学数学学科为例》的文章，发给了北京大学数学科学学院教授安金鹏。这篇文章提出了不少“高招”，例如：
“应引导科学工作者向这类影响因子高的期刊或者偏向应用数学领域的期刊投稿。”
“通过关注这些高频词，能帮助科研人员更好地把握当前的研究的热门方向，站在时代的前沿，做出具有前瞻性的研究成果，将极大地促进我校学术地位的提高。”
安金鹏教授看了以后，评论道：
“看作者在图书馆或者经管学院工作，还轮不到他们指点科研人员应该做什么。如果作者是为了凑文章评职称，我不做评价。如果科研管理者把他们的观点当真，就太悲哀了。我不相信有任何一个真正重要的科研工作是这样做出来的。”
所以基本可以认为，太把SCI、ESI当回事，本身就是非一流的标志。这样的荒诞状况，当然应该改革了。
但这就引出了下一个问题：为什么以前的评价体系会把这些指标看得这么重？难道是因为政策制定者傻吗？
其实没这么简单。在硬币的另一面，这种数工分式的评价体系，也有它的历史作用。基于同行评议的评价体系能够成功，前提是有很多高水平研究者，风气足够正派，评价足够专业。在这种情况下，你当然可以超越机械的数工分。但如果一个地方，总共也没几个高手呢？
这时最大的危险，就不是数工分埋没人才，而是武大郎开店，近亲繁殖，学阀当道。说你行你就行，不行也行；说不行就不行，行也不行。有一篇标题十分有趣的文章《底层学者科研生存生态恶化的实践逻辑》（https://wenku.baidu.com/view/e94610af5901020206409c17.html），就反映了这个问题。
大家即使不在科研机构中工作，只要想想一个老板水平低又充满勾心斗角的工作场所，——这是非常常见的吧？——就很容易理解，糟糕环境下的“满纸荒唐言，一把辛酸泪”。
由此可见，评价体系的变化，其实不完全来自观念的改变，更重要的原因是水平的改变。在改革开放之初，当中国的科研水平很低时，“跟国际接轨”是一条快速进步的捷径。那时正规化是主要问题，创造性的问题是次要的。到了现在，中国的科研水平在许多方面已经相当高了，真正追求的变成了世界首创，而不是跟在别人后面改进，这时评价体系就应该相应地改变了。
我们在科技部的《若干措施》（http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm）中，还能看到许多具体的做法。如推行代表作制度，即用一个人的代表作本身的成果来评价，而不是用它们发表在什么杂志上来评价。这是很合理的做法，确实早该如此了。
另一项有趣的规定是，在代表作中，国内科技期刊论文原则上应不少于1/3。还有，鼓励发表高质量论文，包括发表在具有国际影响力的国内科技期刊、业界公认的国际顶级或重要科技期刊的论文，以及在国内外顶级学术会议上进行报告的论文，统称“三类高质量论文”。可以看出，这些措施是为了提高中国学术期刊的影响力。这个目标是很好的，也是我一直呼吁的（建设中文知识库，飞向星辰大海 | 袁岚峰）。至于能做到什么程度，要看大家的努力。
总之，以SCI为核心的评价体系已经完成了它的历史作用，应该光荣退休了。我们的成功应该直接表现在成果本身上，发文章只是一个表象而已，用不着强调两次。用庄子的话，这就叫“得鱼忘筌”。
作者简介：本文作者袁岚峰，中国科学技术大学化学博士，中国科学技术大学合肥微尺度物质科学国家研究中心副研究员，科技与战略风云学会会长，“科技袁人”节目主讲人，安徽省科学技术协会常务委员，入选“典赞·2018科普中国”十大科学传播人物，微博@中科大胡不归，知乎@袁岚峰（https://www.zhihu.com/people/yuan-lan-feng-8）。 责任编辑：孙远