陈燕 韩菲｜代表作评价制度：制约因素与对策分析

DOI:10.16298/j.cnki.1004-3667.2020.12.04

摘要

推行代表作评价制度作为当前我国教育评价改革的重要内容之一，有助于扭转重数量轻质量倾向，促进评价真正回归价值评估、回归科学。在学科评价视域内，厘清代表作评价制度内涵和特征的基础上，分析发现其制约因素主要包括：发展程度差异大，评价对象选取方法有待进一步探索；外显指标凸显，评价内容的整体成效、实际创新强调不足；存在价值偏好，缺乏高共识的评价标准；公信力受损，评价过程需要进一步规范等。为破解以上制约因素，探索提出：合理设置代表性“数量”；突出“代表作集群”的质量、创新和实际贡献；研制专家评价指南；优化学术共同体评价机制等对策，以期有效发挥代表作评价制度的积极作用，促进学科内涵式建设。

关键词

代表作评价制度；学科评价；制约因素；对策

2018年7月，中共中央办公厅、国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》提出，“推行代表作评价制度，注重标志性成果的质量、贡献、影响”。2020年2月，教育部、科技部出台《关于规范高等学校SCI论文相关指标使用，树立正确评价导向的若干意见》，对于规范各类评价活动明确 “实行代表作评价”。2020年10月，中共中央、国务院印发《深化新时代教育评价改革总体方案》，进一步强调要改进学科评估，“淡化论文收录数、引用率、奖项数等数量指标，突出学科特色、质量和贡献”。在“量化评价”受到学术界愈演愈烈批判的背景下，推行“代表作评价制度”已成为当前我国高等教育评价改革的重要内容之一，得到教育管理部门、高校的广泛关注。有学者认为，探索实施代表作评价制度，有助于扭转重数量轻质量的科研评价倾向，从源头上遏制学术浮躁之风，挤破粗制滥造的学术泡沫，鼓励潜心研究。从实践来看，部分高校如北京大学、北京师范大学、南开大学等已在教师职称评定中探索实行代表作评价制度。

　　尽管代表作评价制度受到各方重视，但就文献研究而言，专门针对代表作评价制度的系统研究较少，已有研究主要集中在代表作评价制度的重要性或优缺点探讨，少数涉及代表作评价制度的机制、实施条件和程序安排等方面的研究，其研究对象也主要针对高校教师职称评审。目前，国内尚缺乏就代表作评价制度如何有效应用于学科评价的相关研究。而代表作评价作为学科评价的重要组成部分，有学者认为，如果代表作制度实施得不好，只会加剧现有评价体系的不良影响。因此，完善代表作评价制度，有助于推动建好用好学科评价这个高等教育指挥棒。本研究在厘清代表作评价制度的内涵和特征的基础上，重点就代表作评价制度在学科评价中应用的制约因素进行研究，并探索提出相应对策。

一、代表作评价制度的内涵

　　对于代表作评价制度的内涵，当前在教师职称评定的相关研究中，已形成一定的共识，即指对一定数量的最能代表评价对象学术水平的“成果”进行专家学术评审的一套规则，其核心是淡化数量、突出质量和贡献。其中，对于成果，有学者认为单指学术论文，也有学者认为应根据不同学科特点有所区别，内涵也有所扩展，如人文社科包括专著和论文，理工科可以是论文、发明专利及科研获奖等。

　　由于本研究是针对代表作评价制度在学科评价中的应用，因此，在上述共识概念内涵的基础上，将进一步基于学科评价特点进行讨论。本研究认为代表作评价制度主要包含两个核心要素：一是以一定数量的代表性成果为评价对象和内容。与面向个体的教师职称评定不同，学科评价强调不同高校间的横向可比性和公平性，这就要求“一定数量”虽不追求数量，但必须有明确的数量确定规则，后续将重点探讨。同时，就“成果”而言，学科组织的产出和成果势必多样，但同样考虑可比性，以及学术论文是较为普适的学科创新思想和研究成果的重要载体，因此，本研究将代表作限定为代表性学术论文。但需要说明的是，本研究只是为便于讨论进行了限定，但“代表作”本身内涵并不局限于学术论文，还包括艺术学科的艺术作品、医学学科的病历病案等，本研究的相关结论同样适用于其他同类代表性成果间的评价。二是以同行评议为主要评价方式。代表作本身由学科自主选择提供，即学科自己来决定哪些成果最能够代表其水平，但这些成果在该学科领域处于什么地位，体现了本学科整体怎样的建设水平，则由同行专家根据一定的标准和程序进行学术价值研判。

　　综上，本研究界定的代表作评价制度是指，在学科评价的语境内，由各参评学科自主提供一定数量的最能代表本学科学术水平的学术论文，主要通过同行专家水平比较和价值评议，来评判学科的整体论文成就和学术贡献的一套规则。

二、代表作评价制度的特征

　　与“量化”评价标准以及针对教师个体的评价相比，代表作评价制度主要有以下4个特征。

　　（一）突出质量、贡献和影响

　　“量化”评价标准是以数量为基础，在评价过程中主要关注学术论文的产量，以及SCI、SSCI、CSSCI等期刊数据库所主导的符号价值。“代表作评价制度”则是以质量为基础，更注重的是学术论文的创新层次、实际质量与贡献等。二者不同的现象表征本质上是更深层次的理论基点差异。“工具理性”主导下的“量化”评价标准，体现的是纯量化的绩效逻辑，将本应追求知识生产创新的学术研究活动异化为追逐论文数量、刊发期刊层次等外显化指标，具有显著的功利性导向，由此催生出学术界常见的追求“挣工分”现象和“学术GDP主义”绩效观等。诸多研究表明，“量化”评价标准与低水平的重复性研究呈现正相关；粗暴式量化评价带来了学术精品少、泡沫多、助长浮躁之风等不良后果。而“价值理性”主导下的“代表作评价制度”是从知识逻辑出发，推崇知识生产的创新价值、理论贡献和学术影响才是论文评价的本源与核心。从科学视角来看，“代表作评价制度”符合科学发展的客观规律：一是有助于克服单纯追求论文发表数量和“SCI至上”的浮躁之风，推动教师作为研究者的主体精神回归；二是有助于促进更多凸显知识生产创新和贡献的学术精品产出，为人类进步和社会发展提供智力支撑。

　　（二）注重“量”和“质”的平衡

　　1. 宏观层面，注重学科内不同高校的“量”和“质”的平衡，实现合理“PK”。学科评价是面向不同发展程度和规模的高校学科组织之间的学术水平比较。荷兰标准评价协议（SEP）对科研机构的科研活动评价主要从两个层次：一是机构的绩效和产出；二是项目的质量、学术价值和影响力。在某种程度上，对于学科组织的代表作评价类似机构评价，必须兼顾“量”所反映的绩效层次和“质”所体现的价值层次的平衡。在适当体现绩效产出的同时，避免规模效应，有效反映“小而尖”学科的建设水平和质量，实现合理评价。这有利于引导高校在发展理念上从“摊大饼”向“高质量”发展转变，有利于助推学科建设从“高原”向“高峰”迈进。

　　2. 微观层面，注重代表作制度中单篇代表性论文的“量”和“质”的平衡。1955年，美国文献计量学家尤金•加菲尔德（Eugene Garfield）发现，期刊刊载论文的引文分布有一个比较集中的核心区域，对于意义重大的文章，引用索引具有量化价值。这表明部分“量化”标准本身有其价值和统计意义上的合理性，关键在于如何使用量化信息。代表作制度中单篇论文注重质量和学术贡献，适度关注可计量量化信息的平衡，重视“质”的体现有可靠证据支撑的同时，强调为新发表学术论文、有待时间检验的人文社科成果以及前沿开创性成果等提供空间。

　　（三）强调学科整体质量与优势

　　与已有研究中教师职称评定时实施的代表作评价相比，学科评价中的代表作评价制度更强调学科的整体质量、发展水平与优势。教师职称评定由教师个人选取最能代表其学术水平的论文，其呈现的是教师个人“孤点”的拔尖研究成果。而对于学科评价来说，代表作是集中学科优势对本学科教师高质量论文有组织的集聚，通过提供本学科高共识度、高显示度、高影响度以及高贡献度的学科建设成果，其呈现的是学科整体的发展状态和建设生态，反映的是本学科当前发展建设的立足点、贡献点以及未来发展的着眼点。在这样的逻辑下，某篇论文尽管本身质量和水平都很高，但由于不在学科的整体建设重点和规划方向范围内，而可能被从学科代表性论文的候选项中排除。当然，这样还需要一个前提是，学科自身能够对开创性成果及孵化性学科方向进行辨别和前瞻性判断。基于此，有利于鼓励学科立足建设定位，重视长远规划，集中优势资源，聚焦解决人类发展共同难题、国家“卡脖子”问题以及区域经济社会发展困境，潜心研究、长期积累，遏制急功近利的短期行为，营造良好的学科发展生态和氛围。

　　（四）重视学术共同体的自治诉求

　　学术论文评价本质是学术评价，其最显著的特征就是学术性。长期以来，“量化”评价主要以论文是否为SCI、SSCI、CSSCI等作为评判标准，相关指标都是基于文献记录建立的量化信息统计，基本脱离了学术共同体内部应当达成的学术水平与创新贡献的共识判断。学术自治强调的是学术共同体自己管理自己,不受外来的控制，是保障学术活动专业性和学术性的必然选择。代表作评价制度作为基于同行评议的学术共同体评价，将裁判权和决策权交由学术共同体，充分尊重学术共同体的学术自治内在诉求，是评价回归专业性和科学性的必然选择。

三、制约代表作评价制度的主要因素

　　研究和分析学科评价中代表作评价制度的深层次制约因素，有助于发挥其积极作用，进而促进学科内涵式建设。

　　（一）发展程度差异大，评价对象的选取方法有待进一步探索

　　如前所述，学科评价语境内，代表作作为主要评价对象，是由各参评学科提供一定数量的最能代表本学科学术水平的学术论文。这意味着在高校层面，高校具有充分的自主权，可以更客观地反映其学科的学术水平和实力。但在评价主体层面，评价对象的具体内容选取虽不做限制，但如何制定合理的评价对象选取规则，确保同一学科不同培养规模的单位横向科学可比是必须思考的问题。对当前我国学科发展规模进行分析，可以发现不同学科呈现多样发展形态，如正偏态分布、正态分布、相对均衡分布等，部分学科示例如下。（见图1、图2、图3）

　　学科不同的发展形态，决定了评价对象选取方法必然有所差异。从现有学科评价实践来看，主要有两种方法：一是选取统一的绝对数量代表作。如教育部学位中心第四轮学科评估中要求各学科提供30篇代表性论文；二是综合考量学科规模，选取数量不等的代表作。如英国科学研究卓越框架综合评估（REF）进行评估时规定，参评学科的每位科研人员均需提供不超过4项的代表性成果。相比前者，后者虽然考虑了规模差异，但未充分考虑评价成本，特别是对各学科蓬勃发展的我国而言，该方法的适用性有待进一步讨论。此外，从分析图表可以看出，一是不同学科发展程度差异较大，对其采用统一的代表性数量不尽合理；二是对于具体数量该如何合理设置，以适应各学科内不同学位授予规模高校，需要进一步进行理论探索。

　　（二）外显指标凸显，评价内容的实际创新、整体成效强调不足

　　在学科评价中实施代表作评价制度，会产生较高的评价成本，包括评价内容的获取、信息真实性的验证、同行评议的组织与实施等，实现难度较大。就评价内容而言，现有学科代表作评价一般由参评学科提供一定数量代表性学术论文的相关信息，包括论文名称、作者信息、发表刊物名称、收录类型等。这存在以下问题：一是发表刊物级别、影响因子等外显指标凸显，体现论文本身的创新水平和科学价值等方面的内容欠缺或不够突出。如前所述，量化信息具有统计意义上的价值，但评价内容若以量化信息为主导，则可能造成以刊评文、以被引频次论论文质量等不良现象，由此引发由单纯的追求数量转向追逐“高被引”等形式上的质量，使代表作评价制度背离设计初衷。二是评价内容未能体现学科的整体论文水平、建设成效和生态。通过由参评学科提供散点的代表作论文，对于参评单位而言，将更关注某篇论文的发表层次和水平，忽视学科建设整体规划和建设重点，甚至可能出现“论文拼凑”的现象；对于同行专家而言，当前评价内容不能帮助专家从学科层面了解到其关注领域、突出成绩与贡献、未来潜力等信息，可能造成评价结果失真。

　　（三）存在价值偏好，缺乏高共识的评价标准

　　代表作评价制度的关键在于遵循学科的内在逻辑，建立学术共同体内在的价值标准。与其他学术评价活动类似，代表作评价的本质也是价值选择问题，不同的质量观会得到不同的评价结果。从现状来看，一是由于受“量化”标准的惯性影响，评价主体仍倾向于通过学术论文发表刊物层次、出版社等级等来评判论文的质量和水平，在某种程度上评判标准已被期刊编委、审稿人所间接主导；二是缺乏对不同学科分类评价标准的重视，由于学科性质的差异，会造成评价标准和方向存在较大差异，如自然科学领域强调实用性、即时性；人文社科领域注重文化价值、学术性与政治性的统一等，这些未得到足够重视；三是代表作评价本身蕴含着非常强的价值选择性，如何从学科的内在逻辑出发，在评价主体多元的价值偏好中广泛凝聚共识，进而对代表作是否具有学术价值进行评判和确认成为较大的难题。当高共识的评价标准尚且缺乏，就组织推行代表作评价制度，无疑会带来被评价者迷茫、评价主体混乱、评价导向异化的结果，进而可能造成“量”“质”均无法保障的局面。

　　（四）公信力受损，评价过程需要进一步规范

　　同行评议是代表作评价制度有效实施的重要依托，要求该领域的同行专家按照一定的评议规则，对论文成果的规范性、科学性和创新性进行价值判断，主张专业知识发现交由科学共同体形成共同认可。但对于同行评议的“质量”“公正性”“偏见”等问题的质疑和探讨从未休止。瑞典学者Christine Wenneras曾指出，同行评议容易造成裙带关系和性别歧视两种不公平现象。对于具有差序格局特征的我国文化场域，一方面，人情关系导致评价的失信，缺乏有效的评价“自律”与“他律”；另一方面，中国尚未形成学术共同体的群体意识与条件，行政权力、市场力量等在学术评价过程中仍存在不同程度的渗透。此外，同行专家由于自身知识结构局限、学术门户偏见、责任心以及时间精力不足等问题都会直接影响评价结果的公正性和客观性。需要进一步规范评价过程，推动将科学本身作为同行评议的唯一准则，确保评议的独立性、专业性和科学性。

四、完善代表作评价制度的对策分析

　　针对制约代表作评价制度的主要因素，本研究提出以下应对对策。

　　（一）合理设置代表性“数量”

　　代表作评价作为一种评价数量“精简化”，评价内容“高质化”的评价方式，合理设置代表性数量，是实现“代表性成果”评价初衷的关键。在数量设置时，不同学科虽呈现正偏态型、正态型等不同发展分布形态，但均应按照以下原则进行独立分析，具体为：一是可代表性原则。应充分考虑本学科内不同学位授予规模差异分布的客观因素，确保单位代表性成果选取基于相对合理比例，如代表性数量原则上为学位授予规模的10%左右，使“部分”可以合理代表“整体”的同时，兼顾学科产出绩效，真实、客观反映整体水平。二是可比较性原则。应考虑不同单位的可比性，以图2临床医学学科为例，若均按10%的比例，会出现大单位提供50篇代表作，而个别单位1篇都不用提供的现象。数量差异大，将会造成同行专家难以进行比较，且数量可能直接影响评价结果，难以客观评价“小而精”学科的真实水平，背离代表作评价的初衷。因此，基于可比较性原则，保证代表性数量基本一致的基础上，需增加“数量”的单位覆盖率指标，即设置的代表性数量应保证一定比例的单位可提供，由此调整代表性数量，如覆盖率最低不低于80%，则50篇将顺应调减。这样，既综合考量了规模的代表性，也保证了可比性。需要说明的是，对于单位总体数量过少的学科，为避免出现覆盖率偏低的情况，处于代表性数量取值标准线下的单位应同时设置附加条件，如绝对数量不可低于5所且不超过参评单位总数的20%。三是可操作性原则。在不影响代表作评价制度效度的前提下，充分考虑各参评单位在填报过程中的成本、效率和感受，以及同行专家的评议负担，适度调整代表性数量。

　　（二）突出“代表作集群”的质量、创新和实际贡献

　　与提供散点、孤立的代表性学术论文不同，“代表作集群”是将某篇或某几篇代表作聚集，落脚点是基于长时间积累、围绕学科建设重点的代表性理论成果或解决的科学难题，强调的是以学科为单位的研究成果原创性、国家需求服务度、成果转化效益等。换言之，由参评学科提供的重点不是论文本身，而是本学科解决的科学问题及其学术贡献，以及围绕该问题发表的学术论文或系列学术论文。在不同的研究成果之间，可以体现学科研究的整体性、关联性、延续性，以及学科本身的结构与生态等。（见图4）这种方式有两方面的益处：一是有助于形成潜心研究，追求卓越、风清气正的科研环境，促进学科及教师主动服务国家创新驱动发展战略和地方经济社会发展；二是有利于转变部分学科研究视角分散、各自为战的现象，引导学科积极凝练方向，重视学科建设的战略性、创新性和前瞻性，提高学科建设效能。同时，对于“集群”中的各代表作，可提供可靠的、有价值的量化信息供同行专家参考，正如《莱顿宣言》明确提出，定量指标可以辅助同行评议。这样，专家可以基于多维结构性客观事实证据进行综合研判和评价结论验证。需要说明的是，量化信息并不直接代表“客观”和“可靠”，前提是要保证算法的科学和基础数据的真实有效，如被引频次中饱受诟病的自引用、负引用等，这些需要充分利用大数据手段进行调试和修正后，才可以提供给专家评价参考。

（三）探索研制专家评价指南

　　以质量为核心的代表作评价制度，需要制定基于共识、符合评价初衷的评价标准，为专家评价时提供指南和参照，以确保专家清楚了解评价的价值导向，并在评价时将其落实和体现到评价过程和结果中。一是制定针对性的专家评价标准。已有代表作评价研究有一定探索，如认为创新性和贡献度是代表作的评价准则，提出创造性与先进性、科学性与合理性、实践与应用价值、其他有关评价等四维度评价标准。一方面，这些研究虽然针对单篇代表作的评价，但仍对学科代表作评价标准制定具有借鉴意义；另一方面，应着重从学科层面探索制定代表作评价标准，遵循学术性的同时，突出学科的整体创新度、贡献度、结构合理度和发展潜力等，通过收敛评价主体多元的价值偏好，凝聚学术共同体的价值共识，保证评价的可靠性。二是注重专家评审价值标准与学科填报内容时价值导向的一致性。专家评价是整个代表作评价制度的“最后一公里”，从参评学科填报什么评价内容开始，就蕴藏了评价的价值导向，如提供代表作集群的突破性理论、社会贡献等，应保持整个评价过程方向和重点的一致性，保证评价初衷的实现。三是制定分类评价标准。针对不同学科特点，制定不同的评价标准，实施分类评价。四是合理设置评分方法。考虑可操作性，进行同行专家合理分组的同时，在专家评分方法上，可探索采用分档基础上再打分的方式，既保证不同组间可比性的同时，也提高结果的分辨度。

　　（四）优化学术共同体评价机制

　　完善学术共同体评价机制是确保代表作评价制度有效实施的前提性基础。一是确立专家遴选原则。首先要考虑评审专家的学术道德、师德素养等道德水准，他们具备学术精神内核和自律内驱力，决定了评审结果的公正性；其次要关注专家的学术水平，通过知识图谱、共词分析等确定“小”同行范围的基础上，选取具有深厚学术功底和渊博专业素养专家，决定了评审结果的科学性。二是建立回避机制，通过实行专家本校回避、师承回避等，以及扩大评审专家规模等方式，在制度层面规避人情关系对评审结果造成的误差。三是开展专家多元培训。通过网络培训和面授培训、标准培训和程序培训、技术培训和管理培训相结合的方式，传递评价导向和标准，强调评价规范和纪律，保证专家评议践行评价导向和标准，确保评价过程的可靠可信。四是探索评议结果动态评价与反馈机制。一方面，适度约束专家评议，动态提供学术共同体评议结果的均值、方差等信息，供专家进行对比分析，帮助其回溯和思考评价的科学性；另一方面，建立结果公示与反馈机制，参评学科对评价结果可以提出异议和申诉，通过参评者和同行专家的双向监督，形成“他律”氛围，保证评价的公平性。

作者

陈　燕，北京工业大学高等教育研究院助理研究员，北京　100124

韩　菲，教育部学位与研究生教育发展中心质量监测与专业学位处副处长，北京　100083

原文刊载于《中国高教研究》2020年第12期第15-20页

栏目

教育评价改革研究

中国高教研究

微信号｜zggjyj1985

投稿平台｜http://editor.cahe.edu.cn/