【洞见】韩松：学术论文的评价 ——评价目的、分类与方法和指标体系

学术论文的评价 ——评价目的、分类与方法和指标体系

韩松

作者简介：

韩松，西北政法大学教授，研究员，西北政法大学学报《法律科学》主编，研究方向：民商法学。本文发表于《法学教育研究》第12卷

摘要：在人文社会科学领域应用的学术论文的基本评价方法就是同行评议的定性方法与引文计量的定量方法，二者都具有优点和局限性，但都不可替代。科学的评价制度，应当是依据评价对象和目的分类评价，采取多元主体、多元方法和指标的综合互补评价。就是要依据评价对象的分类特点和评价目的需要，确定科学的评价指标，合理配置定性评价指标和定量评价的指标。在高校的科研成果管理、学术评奖、研究生培养、教师职称评定中对学术论文应当有不同的评价方法和指标体系。

关键词：学术论文评价  同行评议法  引文文献计量分析法  以刊评文

学术论文的评价

——评价目的、分类与方法和指标体系

韩  松

人文社会科学学术评价关涉学术的发展，也关涉从事人文社会科学研究者的切身利益，因此，对人文社会科学学术评价的研究受到学术界的普遍关注。目前，对于人文社会科学学术评价的研究多集中于对学术评价方法的研究。从世界各国对科学评价的发展趋势来看，都经历了从定性评价 38 38491 38 14723 0 0 4290 0 0:00:08 0:00:03 0:00:05 4289即同行评议）向定量评价（文献计量分析）转变，再到目前普遍采用定性分析和计量分析结合的方法。在我国关于学术评价方法的研究，在上世纪的90年代中期及其以前主要强调和大力呼吁引入定量评价，而从90年代末期以后则转向对定量方法的猛烈批评。在目前，采用定性与定量相结合的方法似乎已经成为研究者的共识。但是如何实现这样的结合，学者研究甚少，远未形成共识，特别是针对各个学科特点的结合方式研究甚少。因而，理论研究是一个方面，在实践操作层面就论文的评价主要采取的是以发表期刊为论文评价标准，特别是以核心期刊评价代替论文的评价。就法学学科的学术评价而言也是一个复杂的问题，涉及评价的体制问题、主体问题、评价对象、评价方法、评价程序、评价的指标体系等等。就评价对象而言，有对法学研究机构的学科建设评级、有对学术成果的评价、有对学者的评价、有对科研项目立项和结项的评价、对法学期刊的评价等等。就法学学术成果评价也包括对专著、论文等不同成果形式的评价。本文不打算全面地、抽象地讨论学术评价问题，仅仅从高校科研活动出发，就法学学术论文的评价，从评价目的、分类及其评价方法选择谈一点认识。

一、学术论文从评价角度的分类

学术论文的评价就是对学术论文的价值和效用的评定。学术论文就是学术研究工作者对人文社会现象及其规律的创造性认识进行理论论证和规范性表达而撰写的论说文。就法学学术论文而言，法学研究包括基础研究和应用研究，因此，法学学术论文也就可分为基础研究论文和应研究论文。从学术评价角度来讲这一分类是有意义的，其意义在于基础研究和应用研究侧重解决的法学问题不同，其对法学的贡献不同，因而应当有不同的价值评价方法和指标。其次，评价的论文可以分为未发表论文和已经发表的论文，对已经发表的论文还可以依据发表的形式分为期刊论文、文集论文、网络论文等。这一分类对期刊评价也具有意义，其意义在于确定论文评价的范围。对于未发表的论文是否纳入评价，在什么情况下纳入评价，什么情况下不纳入评价，如果纳入评价对未发表的论文与已经发表的论文评价如何比较。就是已经发表的论文因其发表在不同媒介上，那么论文评价的方法和指标应当有何不同。例如，职称评审中，一个申报者能否将其未发表的论文或者发表在网络上的论文作为成果填报，能否作为代表作。再次，从评价目的，论文又可以有不同的分类。例如，为了在期刊上发表论文，就有期刊投稿论文，为了申请学位答辩待评价的是硕士学位论文、博士学位论文，为了课题结项待评定的是基金项目论文，为了评奖待评价的评奖论文，为了评定职称待评定的是申请者的代表作论文等。为了评价一个学科发展，评价的是该学科论文发表的整体和代表作水平。由于评定目的不一样，采用的方法和指标体系应是不一样的。

二、学术论文的评价目的与方法选择

学术论文的评价是有目的活动。抽象地讲学术评价的目的就是为了促进学术发展，但从具体的评价活动来看，学术评价都服务于具体的学术活动。超脱于具体学术活动，纯粹为了检验学术研究，促进学术发展的评价很少有。论文写出来了，不拿去发表就不涉及评价问题，即使论文发表了，不申报职称或者申报职称不把它作为代表作，不申报奖金，不申报评奖，没有谁去主动评价。也就是说只有为了发表论文、为了评职称、为了评奖、为了评价学科、为了申请学位、为了科研立项和结项才进行论文的评价。因此，作为论文评价活动都是有特定目的需要的，对其评价方法的选择和评价指标的确定，也应当是具体的，应当服务于进行论文评价的目的。论文评价的根本目的是促进学术发展，学术发展又是为了促进社会进步，但这样的根本目的是抽象的，它必须通过具体的评价活动来进行。例如，通过学位论文的评价和答辩以培养人才，促进学术发展；通过各类评奖活动，激励研究者的学术创新的积极性，以促进学术发展。因此，学术评价作为手段要服从于促进学术发展的目的。具体的学术评价方法要与具体的评价活动的目的相适应。离开了学术评价的具体活动和目的，抽象地讨论评价方法是不科学的。离开评价的具体活动和目的，过分地推崇某个评价方法或者过分地贬低和指责某个评价方法都是不对的。例如，在上世纪90年代中期前，我国学界普遍地认为，同行评议具有主观随意性，大力呼吁引入客观、量化的评价方法；但到了90年代末期，都又转向了对量化方法的猛烈批评，认为活生生的人文社科研究成果怎么能用冷冰冰的数字来评价呢？我们说对人文社会科学学术成果的评价，任何一种方法都可能具有局限性，也具有合理性的，但一定要把它放在具体的学术评价的活动中，从其评价目的出发对方法的选择才能做出具体的评判，才可能把问题说清楚。例如，在高校为了科研管理每年都要进行科研成果的统计，为了吸引大家来登记同时也是为了对科研成果的劳动给予尊重，在登记中对登记的科研成果发给奖金，奖金怎么发就涉及学术评价问题。普遍的做法是对学术论文采取了以发表的期刊作为评价标准的方法，分为权威期刊、核心期刊、一般期刊、论文集等几个层次，对核心期刊又分为专业核心和一般核心，分别按不同标准发给奖金。但学界对以学术期刊的身份代替论文的评价是多有批评的，一个基本的说法就是，并非核心期刊发的每一篇论文都是高质量的，非核心期刊发的论文也不是每一篇都不如核心期刊。这个说法也对，但是，就学术评价的现实情况而言，学界公认的权威期刊、核心期刊总体上所发表的论文的质量明显高于一般分核心的期刊。在法学界都公认《中国社会科学》、《法学研究》、《中国法学》的办刊质量高，列其为权威期刊；《法律科学》、《法学》、《政法论坛》、《法商研究》、《现代法学》等为专业核心期刊，其发表的论文质量高于一般期刊，这是一种客观的事实，这些期刊也都有其严格的审稿制度，经过期刊的审稿评价确保将要发表的论文的质量。我们在科研登记管理中可以直接认可，因为科研管理登记中的发奖金评价的目的主要是弄清科研成果发表的基本情况，建立科研成果档案的基础资料。以刊评文的办法最为简便易行，切合成果登记的目的。如果不采用以刊评文的办法，采取同行评议不仅没有必要，客观上也不可能实行。再比如在教授职称评审中，其资格条件中规定必须在专业核心期刊法表论文5篇，如果有人反对科研成果评定的数量化，认为不应规定5篇，有一篇论文或者专著作为代表作即使没有发表但经过同行专家评议认为其达到教授水平就可以了。这种不以数量评价的观点有其的道理，但是职称评审是名额指标严格控制下的竞争性评审，在一般情况下，如果没有一个定量的限制在客观上难以操作。但是仅仅满足了5篇专业核心论文的条件，论文的水平够不够教授水平，就不能仅仅的以刊评文，而需要有2个同行专家鉴定评议，这样就把5篇核心期刊论文的定量条件和以刊评文与同行评议的定性分析结合了起来。可见，在科研成果登记发奖金中，以刊评文，就足以达到评价目的；但在教授职称评审中的论文评价，就不能仅仅以刊评文，而需要对代表作由同行专家评议。因此，笔者认为对学术论文的评价方法的批评或者选择都要结合具体的评价活动和目的，不能抽象地说这个方法好或者不好。

三、国内外关于学术成果评价的基本方法

（一）同行评议法

同行评议作为人文社会科学的评价方法为各主要国家普遍采用。所谓同行评议是指：“针对涉及研究工作的某项事物，聘请在该研究领域或者相近领域工作的专家，运用其专业修养，就对象的学术水准及相关价值作出评价的活动，其评价结果是决策的重要依据。”同行评议是一种定性分析的方法，有同行专家通过观察、阅读、讨论、比较对评价对象的学术水准和质量作出文字性语言描述的评判。同行评议的方法可以用于各种评价对象的评价，例如，学术成果、学位评定、职称评审、学术机构评价等。根据评审对象所属的专业学科聘请具有学术修养和专业水准的专家就待评对象的学术水准和价值做出评判的结论，作为决定相关事项的依据。同行评议主要用于对学术成果的创新性、思想性、深刻性、难易度的评价。同行评议采用的依据在于同行对所评对象的了解，从而具有评判其水准和价值的发言权。但是，同行评议一直受到人们的质疑。其理由：一是认为衡量科学成果价值的最终标准，只能是历史的实践，自然科学、社会科学和人文科学中的大量案例说明，相当一些成果刚刚问世的时候并不被人们看好，但是随着时间的筛选，大浪淘沙，却被证明具有崇高的价值。二是认为学术界经常犯错误，学术权威和权威学术机构不时犯错误，甚至重大失误，有时有眼无珠，不识天才；有时良莠不分，误将毒草做鲜花。三是科学的精神就是要有怀疑精神，一切科学的进步就是在怀疑和批判主流观点的基础上取得的，科学价值观本身就是对专家的评判提出了怀疑。这些质疑是强有力的，难以反驳的。但是由于学术评价的复杂性和困难性，同行评议的方法至少目前为止是其他方法不可替代的。因此，仍然被广泛地运用于学术评价领域。除了上述质疑外人们也认识到同行评议存在着容易受到熟人关系影响，产生不公正性，以及同行专家对新兴学科和交叉学科的局限难以适用的局限。对这些问题只能通过建立专家评议制度的程序性制度，以及与其他方法的结合，相对地作出改进。例如，在专家的选聘上建立独立的专家库系统，实行专家回避、双向匿名、专家组和专家委员会评议复审、专家责任制度等。在评价方法上对其他客观方法和评价指标的引入等等。

（二）引文文献计量分析法

引文文献计量分析法是指，“利用各种数学和统计学方法以及比较、归纳、抽象、概括等逻辑方法，对期刊、论文、著作等各种分析对象的引用和被引用现象进行分析，以揭示其数量特征和内在规律的一种科学计量研究方法。”引文计量分析法主要用于对已经发表的学术成果的学术影响和绩效进行测评。引文计量分析法，以客观的引文统计作为依据，避免了同行评议的主观性、模糊性、随意性，可以减少人为干预，增强评价的公正性。因而被广泛的用于学术评价。但是，计量评价的局限性也明显存在。例如我国台湾学界对人文社会科学评价体制的反思就指出：“使用引文文献作为研究评奖指标存在两个限制：其一参考文献可能是正面引用，也可能是否面引证；引用文献还可能存有偏见，这无疑会影响研究评鉴结果。其二，在不同学科领域引文分析结果显然会有不同，由此引文分析只能作为评鉴的辅助。”“王汎森教授认为，在人文社会科学领域中，不能把引文看得太死板。人文学科、自然科学、社会学科的写作方式不尽相同，计算引文频率不一定能够如实反映论文的价值。因此，应该考虑各个学门的特色，而不能用量化工具机械从事之。”我国学者也对量化方法提出批评。例如，李培利指出：“我国高校盲目追求和奉行量化考核，将论文、著作、课题经费、所获奖励等赋予等次分明的分值来评价学术水准。评价成为数字求和，不管成果如何，只要分值达标即可。评价过于追求量化，把教师的复杂劳动简单化，鲜活的思想被干枯的数字所取代，歪曲了科研的本来面目，所获的信息就难以全面、真实有效地反映评价对象的本质特征。而且量化的标准固化、程序化，过分追求客观、科学，忽视了教师差异、学科差异和成果质量。”正因为量化评价方法在人文社会科学评价中的局限性，在人文社会科学的评价中对其的应用应当慎重，不能过分追求量化。

通过以上分析，在人文社会科学领域应用的基本评价方法就是同行评议的定性方法与引文计量的定量方法，二者都具有优点和局限性，但都不可替代。各国在人文社会科学评价中都是将二者结合运用，以达到优缺点互补。而如何使其更好的结合，就是要依据评价对象的分类特点和评价目的需要，确定科学的评价指标，合理配置定性评价指标和定量评价的指标。例如，美国作为一个功利性很强的民族，“他们在社会科学评价中，就非常强调社会科学研究成果能否真正地改造社会并为人们带来福利。因而，应用研究就有越来越被强化的趋势。其对人文社会科学的评价标准分为真理性标准和价值性标准。真理性标准主要有以下几点：科学性、延续性、创新性、完备性。价值性标准包括：经济价值标准、政治价值标准、理论价值标准、伦理道德标准、环境价值标准、审美价值标准。其评估主体有联邦政府，人文社会科学研究者同行和普通民众。美国对不同类型的研究成果，采用不同的评价方法。基础理论成果的评价方法主要有：同行评议制和引文计量法。评价的主要标准是该科研成果的学术水平。评价的方式有小组评议制（同行专家小组或委员会评议）和通讯同行评议两种。……引文计量，也是评价人文社会科学基础研究成果的另一重要手段。引文计量法作为对同行评议的补充在近些年的美国人文社会科学研究成果评价中被广泛应用。对应用与发展研究成果的评价，采取政策效果评估、民意测验、社会实验等3种评价方法。”因此，科学的评价制度，应当是依据评价对象和目的分类评价，采取多元主体、多元方法和指标的综合互补评价。

四、对学术论文的分类评价的方法与标准

（一）对期刊发表学术论文的评价

例如，法学论文作者将其论文作品向法学期刊或者其他期刊投稿追求论文的发表，期刊对其收到的投稿论文就要进行审稿评价，以决定能否刊发。这时论文评价的主体是期刊编辑部，评价方法只能采取同行专家评议。因为稿件尚未发表不可能采取引文计量法。审稿的评价标准和评审程序都由期刊编辑部确定。在目前发稿比较难的形势下，从法学学术共同体的利益维护上，应当要求各法学期刊编辑部建立科学的评价标准和公正的评价程序。因为这不仅仅是编辑部自己的事情，他与法学学术共同体的利益相关，因为法学期刊发表的学术论文首先要面向法学界，其接受的投稿也来自法学界，其审稿对学术论文的评价标准和程序，对法学学术研究的引领和规范化都有重要的作用，其评价对论文发表后的再次评价也有重要的影响。目前法学期刊对论文的评价的专家选择上有两种方式：一是委托编辑部外的同行专家，二是本编辑部的学者型编辑专家，以及与外聘专家的结合。在审稿程序上对要刊发的论文一般要经过三审终审才能决定。为了体现公正性，排除人为干扰，一般都承诺实行双向匿名审稿。在审稿的评价标准上，主要从政治标准和学术标准对论文进行评价。学术标准主要从论文论题和观点的创新度、论证分析的逻辑性、写作的规范性，以及与本刊学术风格的契合度进行评价。

（二）科研管理中的论文评价方法和标准

法学类院校的科研管理中，每年都要对本校教师和研究生发表的法学论文进行登记，并发给奖金。因为要发奖金就需要对所登记的论文进行评价。这时采取的方法就是以刊评文的方法。所谓以刊评文就是以论文发表的期刊的身份级别评价论文的等次，决定奖金的分配。虽然对以刊评文的评价方法也有批评，但是在科研成果登记管理中，以刊评文的方法最为科学和实用。这一方法使用的基础在于期刊评价和对期刊分级的科学性和公正性，也在于期刊在论文发表过程中对论文评价的科学性、公正性和权威性。在一般情况下，科研登记以论文所发表的期刊的级别为标准进行登记和奖励，但是在特殊情况下如果对期刊发表的论文质量提出异议的情况下，则可以启动评议程序，决定对其是否按照期刊级别给予奖励。例如，有人提出论文有明显的错误或者学术不端行为的异议，就应当 57 38491 57 21923 0 0 4763 0 0:00:08 0:00:04 0:00:04 4762 57 38491 57 21923 0 0 3912 0 0:00:09 0:00:05 0:00:04 5020科研登记机构依据科研成果登记管理办法启动评议程序。这里有一个问题就是对没有经过期刊发表的论文能否进行登记和奖励？对此，一般不应当纳入评价，除非能够证明以比期刊发表更为严格或者重要的方式产生社会作用的，才能以对其绩效评价的方式纳入评议登记。例如，论文提出的结论已经被社会实践部门采用、被实践检验具有重要价值。但要注意不能简单化，不要因为某个领导签了名、做了批示，就认为很重，而应当证明经过实践检验取得了良好效果。

（三）科研奖励评审中的论文评价

科研奖励是具有竞争性的科研激励机制，对申报科研奖励的学术论文必须进行严格的学术评价。根据设奖的目的和级别，一般都规定论文申报的条件和严格的评审程序。在科研评奖中的论文评价一般采取客观定性兼数量法和同行评议结合的方法。客观定性一般规定是否核心期刊发表或者有证据证明为政府决策或者立法采用的论文，或者是否是被重要文摘刊物复印转摘的论文。这往往是申报的条件限制，也是评价的依据。在数量方面则看复印转摘了多少篇次。就同行评议由于申报的论文数量多，一般没有专门的同行评议，而是由评委会通过集中看材料打分评议，评委也往往根据材料反映的论文发表的期刊级别、复印转摘的情况这些客观因素打分。例如，在法学论文的评奖中《法学研究》、《中国法学》发表的论文或者经《新华文摘》转摘的论文，其打分就高、中奖率和等次就高。从现实情况来看，主要的是以刊评文。对此，我们认为应当建立健全的论文评奖评价方法和指标体系，不能简单的以刊评奖，特别对于省部级评奖要建立学术共同体普遍认可的评价机制。对受奖励的学术论文要分别基础研究和应用研究，建立科学的指标体系。不仅依据论文本身评价其学术性和学术影响，而且要从社会实际效果评价其绩效和贡献。将客观的定量评价与同行专家的定性评价分别独立进行，最终按照权重分值结合。所谓分别独立进行，就是指同行专家评议时完全依据自己的学术修养对评价对象论文实质内容的学术水准和价值做出独立的的判断，不要先入为主地受发表期刊级别、复印转摘等外在因素的影响。评议专家先不管论文发表的期刊级别有多高，应当独立评判论文到底有无价值。如果专家评议还是依据外在的客观因素评价，不做思想性地评议，同行专家评议就流于形式，实际上就只有客观定量法，没有了同行评议。对于专家评议的指标，主要应当包括：学术创新度评价、学术规范性评价、对学科理论的贡献性评价和社会绩效的预测。客观计量评价主要包括：发表刊物级别分值、复印转摘分值、被引文量分值、已经获得的其他奖励分值、实践应用证据分值等。对这些分值指标应当区分基础研究与应用研究、区分不同学科特点有不同配置，达成合理的可比较性。例如，引文量分值在法学基础理论研究与法制史学科和国际法学科就有很大的不同，法学基础理论的论文被引可能性远远大于法制史论文、国际法论文，因此，就应当通过不同分值合理调节。

（四）研究生培养中的论文评价

对于研究生培养许多学校规定研究生答辩前必须在学术期刊上发表若干篇论文才能参加答辩或者取得学位。对硕士生、博士生都有要求，博士生还必须在cssci期刊发表3篇。这里采取的是以刊评文的方法。这就可能造成一个问题，研究生只追求论文发表，不注重科研学习和能力的养成，掏钱买版面，一些期刊也就盯着研究生做生意，各种征稿广告和代理机构满校园。学生论文发表了，导师不一定知道论文的写作过程，虽然从形式上满足了论文发表的期刊和数量要求，但能力未必有提高。而且不利于培养学生对学术和科学的尊敬，不利于良好学风的养成。另一方面要求学生必须发表论文也造成了研究生很大的心理压力，因为，写论文是研究生的事，但研究生和学校都不能决定论文的发表，发表论文的决定权在期刊社。因此，我们认为以期刊作为评价研究生的论文的标准是不妥当的。硕士研究生还是学生，其任务是学习的，要学会研究，但毕竟还不是科研工作者。要求研究生在学习期间写作论文是培养其科研能力的方式和实践过程，论文写作和评价的目的在于培养研究生的科研能力，提高其水平。论文写作应当在导师的指导下进行，导师应当对其写作过程完全了解，并对其质量做出评价。如果为了评价研究生的阶段性的研究能力和导师的培养效果，也可以采取由导师组委托其他导师评议的办法，对研究生的习作论文作出同行评议，不应当采取以刊评议的办法。当然，应当鼓励研究生发表论文，但不宜以刊物代替评价，以发表代替培养。对于研究生毕业时的硕士学位论文则采取委托同行专家匿名评审的方式，其评价方式本身没有问题，就是要在评价的指标体系和程序上更为完善。防止走过场。比如，先要经过诚信查验系统，检测其与已经发表论文的重复率，防止简单重复，甚至抄袭。

（五）高校教师职称评审中的论文评价

在高校教师职称评审中的论文评价一般涉及两个方面：一个是申报资格的论文评价，一般规定必须在规定级别的期刊上发表论文 64 38491 64 24803 0 0 3890 0 0:00:09 0:00:06 0:00:03 5992干篇，才能具有申报资格；一个是对学术水平鉴定的论文评价，一般采取鉴定其代表作1-3篇。前者采取的是以刊评文，后者采取的是同行专家评议。争议的问题是对教师评职称是否有必要要求必须在规定级别的期刊发表论文及其数量，没有在期刊上发表的论文能否作为鉴定的代表作。有的观点对要求教师评职称必须在规定期刊发表论文以及数量提出批评，认为期刊发表不一定就能证明论文质量高，因为期刊质量与论文质量是两回事，论文能否在期刊发表不是教师能够决定的，期刊在对论文的评价中也会有偏见或偏差。数量多也不一定学术含量就高。这些批评虽然有一定道理，但是，作为教师的职称评定不仅仅是对一个教师的专业水平的评定，而是高校教师专业水平和科研能力以及学术和教学贡献的在众多教师之间对评审指标的竞争。因此，对其科研成果的评定必须要有质和量的要求，而在一般情况下在公认级别的专业期刊发表的论文就是其成果的标志，否则，论文写出来学术价值再大，不发表不传播就没有社会意义。所以，在资格评定中对教师的论文采取以发表期刊的数量评定是可取的。为了体现公平的竞争应当将论文发表的刊物级别、转载、引用、获奖等评价指标都应当纳入对其论文的评价。对于专业水平的学术思想观点和学术价值的评价则应当通过代表作由同行专家评议。没有发表的论文或者没有发表在规定期刊上的论文能否作为资格审查的论文或者鉴定代表作，一般情况下不能作为资格论文和代表作，在特殊情况下，如果能够有比在规定期刊发表更为规范和有效的方式证明产生社会效果的可以作为代表作或者资格审定的论文；或者出于保密等特殊情况不便公开发表的论文也可以作为资格审查论文或者代表作。