作者简介：朱军文（1973-），男，安徽巢湖人，华东师范大学教育学部副主任，教授，博士生导师，从事高校人才政策、科学计量与科研评价研究；邵玲芝（1996-），女，江苏宿迁人，华东师范大学教育学部硕士研究生，从事教育经济与管理研究。
摘要：案例指标是基于多方证据支持的对代表性工作及其影响力的实例叙述，由基本信息、主要内容、实际影响、证据支撑等要素构成，具有融合结果评价、过程评价、增值评价与综合评价的特点和优势。但案例偏“软”的特点，使其作为评价指标的科学性、可操作性、可比性受到影响。推动案例指标的广泛使用，需要对其进行标准化，即以案例构成要素归一化为核心、提升指标可比性和有效性的过程。案例指标的标准化包括内容标准化、影响力类型及其标准化、证据类型及其标准化、评分等级及程序标准化等维度。
关键词：高等教育；评价；案例；标准化一、问题的缘起
强化“典型案例”评价，是第五轮学科评估的基本原则之一。此前，案例作为观测指标已被引入第四轮学科评估和“双一流”建设首轮评价之中。我国高等教育评价逐渐重视典型案例的作用，但如何运用案例指标，目前仅有一些原则性要求。本文在国内外已有研究和实践的基础上，对高等教育评价中的案例及其构成要素，案例作为评价指标的优势和缺陷，如何通过标准化处理提高案例指标的科学性进行探讨，以期提升案例指标在高等教育评价中的有效性，为进一步扩大其使用范围提供参考。1.典型案例成为高等教育评价的重要依据之一案例在高等教育评价实践中，特别是在高等教育社会服务和科研影响力评价方面已被不同程度地采用。2016年在我国第四轮学科评估中，单独设置了“社会服务贡献案例”观测点，通过各学科点服务经济社会建设若干“代表性案例”来观测其社会服务成效。［1］2020年教育部办公厅发布《关于开展2016-2020年“双一流”建设周期总结工作的通知》（教研厅函〔2020〕4号），要求建设高校在总结中提炼并编写学校、学科完成五大建设任务和五大改革任务的典型案例，每校不超过10个。评议专家组结合学校提交的案例对其典型成效、创新举措和成功经验进行评价。在近期启动的第五轮学科评估中，强化典型案例评价成为基本原则之一。从国际经验看，英国高等教育卓越研究框架（the Research Excellent Framework）早已将案例指标应用于评价实践。英国高等教育基金委员会（Higher Education Funding Council for England）等机构在2014年使用高等教育卓越研究框架评价体系替代此前的研究评估考核（the Research Assessment Exercise），并首次引入案例指标以评价科研影响力。［2］英国高等教育卓越研究框架2014采用“案例+影响力模板”方式对高校卓越研究影响力进行评价，案例指标的权重为20%；在高等教育卓越研究框架2021中，案例指标的权重提升到25%。［3］典型案例在高等教育评价中日益受到重视。2.国内外有关高等教育评价案例指标的研究我国运用案例指标进行高等教育评价起步较晚，专门针对高等教育评价案例的研究比较少。主要有李晓轩、刘兴凯等人分析了英国高等教育卓越研究框架科研影响力评价方法、机制及其启示［4-5］，王楠等人基于英国高等教育卓越研究框架2014中的6679份案例对科研活动社会影响力的特点和高影响力科研活动促生条件进行再分析等［6］。国外关于高等教育评价案例指标的研究更丰富，涉及案例指标的可行性、构成要素、语言特征、评价方法、实施效果等。例如，“兰德欧洲”（RAND Europe）回溯分析了英国高等教育卓越研究框架2014评价过程及其效果，认为案例是科研活动影响力评价的恰当指标［7］；沃特迈尔（R.Watermeyer）等人从评价专家的视角探讨了案例的构成内容及其证据支撑要求［8］；里德（M.Reed）等人利用统计方法对比了高分和低分案例的语言表述风格，认为案例表述方式对评价结果有重要影响［9］；德里克（G.Derrick）对科研活动影响力的同行专家评价方法及程序进行了实证分析［10］。二、案例作为评价指标的优势与缺陷
清高等教育评价语境中案例的内涵、构成要素及其作为评价指标的优势和缺陷，是深入理解案例指标的前提。
1.案例的内涵及构成要素案例是一个司空见惯的词，在不同语境中均可使用。《现代汉语词典》中的解释是：某种案件的例子。［11］案例广泛应用于多个领域，通常是对真实发生的典型性事件的叙述，具有明确的目的或示范作用。在不同领域，对“案例”概念有不同的界定。在法学领域，案例是指一个审判前的特殊事件或该事件的一个书面记录及其裁决。［12］在医学领域，案例是指症状、诊断以及治疗的记录。［13］在工商管理领域，案例是一个商业事务的记录，以及赖以决策的相关事实、认识和成见。［14］在教学领域，案例是一个描述或基于实际情境创作的故事，包含一个或多个疑难问题及其解决方法。［15］根据高等学校的功能和高等教育活动的特点，高等教育评价案例与法学案例、教学案例等明显不同，是特定主体在人才培养、科学研究或社会服务领域开展的代表性工作及其影响力的完整呈现，是系统阐述代表性工作实施过程和结果、实际影响力表现方式和影响范围的文字表述与证据的集合。综合已有研究文献和评价实践可以发现，作为高等教育评价指标的案例，其构成要素包括四个方面：执行主体，如执行机构和人员的信息、具体执行时间等；核心内容，如解决的问题、关键举措和最终结果等；成效及影响，如呈现形式、影响范围和受益群体等；证据及其来源，如以数据呈现的证据、写实性证据等。这四个要素构成案例指标的基本框架，是同行专家据以评价的基本维度。作为评价指标的案例，首先，要有典型性或代表性，所以又被称为典型案例；其次，案例是代表性工作的写实性评价，以文字形式呈现，属性上偏“软”，无法定量比较；再次，案例是代表性工作实施过程和结果、实际影响力及其证据的完整、系统性呈现；最后，基于案例指标的评价是一种同行专家的判断。这些特征也是案例指标区别于其他评价指标的主要方面。2.案例作为评价指标的优势根据2020年10月中共中央、国务院印发的《深化新时代教育评价改革总体方案》，未来很长一段时间内，如何在科学有效的原则下改进结果评价、强化过程评价、探索增值评价、健全综合评价是评价改革的难点。［16］对照改革方向，案例指标较好地融合了结果评价、过程评价、增值评价，也是综合评价的重要参照，具有较强的自身优势。其一，案例指标具有明显的过程本位特点，是其核心优势所在。案例指标以文字形式系统阐述代表性工作整个过程，能完整呈现代表性工作的目标或问题、实施思路、措施、形成的模式、取得的成效及证据等。这对改进结果评价具有重要意义。结果性评价往往因普遍存在的数量标准对质量标准不同程度的替代而陷入重数量轻质量的误区。［17］案例通过若干代表性工作的写实性呈现，可以对结果产生前的关键内容及结果的后续影响加以补充。其二，案例指标是增值评价的有效方式。增值评价就是看评价对象在评估周期内进步的幅度，是衡量纵向增加值。案例指标作为写实性证据和定量数据相结合的发展性指标，能从内在过程与外在表现等维度呈现评价对象在评估周期内的发展增量或增值，既可发挥定量指标客观且便于横向比较的优势，也可借助同行的专业判断，弥补定量指标在过程评价上的盲点。［18］其三，案例指标对完善综合评价具有重要价值，主要体现在其不仅以结果为依据，而且全面呈现了代表性工作的关键环节、关键信息和实际影响。案例指标对综合评价的支撑作用，当然也取决于案例的数量以及所呈现代表性工作的覆盖面。以一定数量相互补充的代表性案例组合为指标，可以较好地实现综合评价功能。从高等教育评价实践来看，“双一流”首轮建设情况总结和第五轮学科评估虽对案例数量进行了限制，但也要求评价对象提供的案例覆盖人才培养、科学研究、社会服务等不同方面，相互支撑，便于呈现总体办学情况。3.案例作为评价指标的缺陷要充分发挥案例评价指标的天然优势，必须克服其自身存在的缺陷。案例指标有三个方面的缺陷：一是案例主要以文字形式呈现，辅以各类证据，文字表述偏“软”的特点使其无法像其他评价实践中广泛使用的定量指标那样简单且易于横向比较。二是案例指标呈现的代表性工作即使指向人才培养、科学研究或社会服务等相同办学功能，但每个评价对象可能选取的侧重点不一样，而且没有基本框架要求，呈现内容将千差万别，无法进行横向比较，极大制约了案例指标的作用。三是案例指标是以同行评价为基础的，需要借助同行评价方法，但如何规避同行评价的固有缺陷，需要在运用案例评价指标之前有充分的认识。上述缺陷使案例指标在具体评价实践中可能形成撰写过程无基本参照框架、单个案例评价无具体观测点、同类案例比较无优劣基准等困惑。案例的语言形式及叙述风格往往因人而异，严重制约了案例指标提供信息的标准化。使用非标准化信息，有可能使案例指标分析陷入对撰写者文字功夫和文采的比较，降低案例指标的使用效果。三、案例指标的标准化及主要维度
狭义的标准化是指为适应科学技术发展和组织生产的合理需要，在产品质量、品种规格、零部件通用等方面规定统一的技术标准。［19］广义的标准化从技术领域扩大到人文社会科学领域，是指通过制定和实施具体标准、建立规范，使标准化对象的有序化程度达到最佳状态。［20］不同领域有不同的标准化目的，但简化、有序和统一化是基本的普遍意义上的目的。［21］简化是指在不降低功能且满足既定需要的前提下，减少对象的复杂性；有序是指通过标准化形成一定的秩序；统一化是指对象的形式、功能或其他特征取得一致性。［22］案例指标标准化是以实现评价需要为目的，通过明确框定案例的构成要素，并对案例的内容信息、影响力类型、证据形式、评分等级以及评价程序等构成要素提出统一要点、统一规格、统一流程的过程。标准化是提升案例指标在高等教育评价中的使用效果的前提。借鉴国内外已有理论研究与评价实践，案例指标标准化的主要维度包括内容标准化、影响力类型及其标准化、证据类型及其标准化、评分等级与评价程序标准化等。
1.案例指标内容的标准化案例指标内容的标准化是指对案例每一构成部分呈现的内容作统一规定。从英国高等教育卓越研究框架的评价实践看，案例指标内容主要包括两个部分。一是必填的基本信息，涉及高等教育机构，案例撰写人员，代表性工作的实施周期、成效及影响的时间跨度和类型等。二是案例的主体内容（见表1），包括五个方面：代表性工作产生影响的概要，主要是对关键问题、主要举措、取得成效及影响的提炼性概述；代表性工作实施过程的详细信息，主要有实施思路、措施、办法、模式等创新性举措与最终结果；代表性工作结果及质量的证明资料；代表性工作成效及影响力的详细情况，包含影响力类型、辐射范围、程度及受益群体等；用以审核影响力的外部证据及其来源。2.案例指标的影响力类型及其标准化代表性工作成效及影响力是案例评价的核心。工作性质和领域的差异会导致影响力类型具有多样性。为便于撰写案例和专家评判，需要对不同的影响力表述形式及其证据要求进行标准化。通过梳理我国“双一流”建设案例撰写要求和英国高等教育卓越研究框架的影响力类型与相关证据表述规定，可以归纳出七种代表性的影响力及其支撑证据类型（见表2）。影响力的标准化，一方面要清晰叙述影响力的类型、产生路径、受益群体等内容；另一方面要提供适当有力的证据，用以证明代表性工作与影响力之间的直接或间接关系以及影响力的范围和程度。影响力类型不同，证明材料也不相同，既包括政策文件、媒体报道、第三方证言等写实证据，也包括就业率、引用率、访问量等定量数据。3.案例指标的证据类型及其标准化案例指标证据表述中非标准的数字、数据单位和写实性证据表达影响了案例之间的直接可比性与专家判断的客观性。为提高案例指标的规范性，要对证据形式及语言使用、表述格式作严格要求。对案例指标中涉及的数量型证据，需统一数字呈现形式，要求使用精确的阿拉伯数字，采用相同的计量标准与货币单位；在公众参与、财务、非学术文件和媒体的引证等写实性证据方面，则需要采用一致的表达方式，具体如表3所示。4.案例指标评分等级与评价程序的标准化清晰明确的评价标准既可为案例撰写者提供参考框架和依据，也可规范专家的评价行为，减弱评价的主观性和随意性。案例指标评分标准化包括评价标准及内涵的统一性、评价结果等级划分及其判断依据的一致性。其中，评价标准包括评价观测点及其配分，评价结果等级划分包括等级划分水平及其标准。评分标准化使同行专家能根据统一的评价观测点及分值对案例指标形成整体判断，按照标准划分等级。案例评价需要同行专家的判断，科学规范的评价程序能减弱判断的主观性和不确定性，从而有力保障案例评价的有效性。使案例评价程序标准化，一要明确专家遴选标准，二要对专家组的构成作严格要求，三要制定并落实监督和制约措施。四、结论与讨论
案例指标在中外高等教育评价中已有不同程度的应用，但指标偏“软”的特点制约了其进一步推广。基于我国“双一流”首轮建设评价中案例指标的使用情况，结合英国高等教育卓越研究框架的评价实践以及有关研究成果，本文探讨了案例评价指标的内涵与构成要素、天然优势和缺陷，案例指标标准化的概念和主要维度。1.案例是高等教育评价中可选的重要替代指标案例指标与深化新时代我国高等教育评价改革的总体要求相契合，较好地承载了改进结果评价、强化过程评价、探索增值评价、健全综合评价的目标。采用案例指标评价高等教育办学情况，中外均有积极的探索，显现了一定成效。尤其是评价对经济社会发展作出重大贡献且无法量化的社会服务影响力，案例指标往往成为重要的选择［23］，其采用的定性和定量相结合模式，既保证“量”的客观性，又保证“质”的权威性，具有独特优势［24］。有研究认为，案例指标是评价高校科学研究影响力的最佳方式。［25］英国高等教育卓越研究框架2014的评价实践，成功将案例指标用于科研影响力的评价，通过6975份案例阐明了英国高校科研活动的广泛影响。正在开展的高等教育卓越研究框架2021继续将案例作为重要评价指标，且权重进一步增加。在当前我国评价制度破“五唯”的改革中，案例指标不仅可直接评价学校的社会服务质量、贡献及影响力，也能评价科学研究、人才培养等办学活动。2.标准化是推动案例指标广泛使用的前提标准化是减弱案例撰写与评价主观性的关键。案例标准化是对案例的内容信息、影响力类型、证据形式、评分等级与评价程序等统一要点、统一规格、统一流程的过程：内容标准化是明确规定案例每个构成部分呈现内容的要点；成效及影响力的标准化是对七类影响力的性质、产生路径、受益群体以及代表性工作与影响力之间关联度等支撑材料的统一要求；案例证据的语言使用和表述格式也要统一；评分标准化是对评价标准及其内涵、评价等级划分及其依据的统一规定；评价程序标准化包括对专家分组、成员构成和监督制约措施的规范。对案例指标的系列统一性要求，可以提高不同案例呈现信息的标准化和一致性，为专家提供统一的观测点，使案例指标具有横向可比性。这既有利于促进案例指标在高等教育评价活动中的广泛应用，也有利于提升其在评价体系中的权重。3.需要制定结构清晰、要求明确的案例撰写与评价实施细则针对我国高等教育评价中案例指标使用的粗放状态，提高案例指标的实效需要评价主管部门制定结构清晰、要求明确的案例撰写和评价规范。英国高等教育卓越研究框架包括一整套清晰、明确的实施细则，既是案例撰写和评价的指南，也是标准化案例应用的操作手册。从我国“双一流”首轮建设总结评估与第五轮学科评估的通知文件中可以看到，更好使用案例指标还有待进一步精确界定案例内容的基本维度、影响力内涵及相关定义，并在证据类型和要求上提供更具体的指导。同时，也要制定专家评价指导细则，针对如何评价人才培养、科学研究、社会服务及其影响力，如何判断和权衡评价标准，如何组织实施等评价程序作出更多细节性规定。4.需要针对案例指标的局限制定补充措施案例指标评价主要依赖同行，大量使用可能增加评价成本：对于案例撰写机构及案例相关者，除新增培训成本以外，案例撰写时间较长且任务多集中于少数学者，严重挤占其学术工作时间［26］；对于评议专家来说，案例指标加重了评价工作负担。另外，即使在标准化处理后，基于案例指标评价的主观性仍难以完全消除。标准化可以减少评价的主观偏差，但评价专家在衡量不同类型影响力、理解评价指南规则等方面仍存在一定主观性。因此，在应用案例评价指标时需严格限制提交案例的数量和文本篇幅，减少评价成本，而且要根据评价目的合理选用案例指标，避免“唯案例”倾向。此外，在组织评价过程中要提高透明度，公开案例评价程序，引入多种监督机制，加强流程标准化。参考文献:［1］全国第四轮学科评估工作概览［EB/OL］. http://www.chinadegrees.cn/xwyyjsjyxx/xkpgjg/283494.sht ml.［2］HEFCE. Assessment Framework and Guidance on Submissions［EB/OL］. https://www.ref.ac.uk/2014/media/ref/content/pub/assessmentframeworkandguid anceonsubmissions/GOS%20including%20addendum.pdf.［3］HEFCE. Guidance on Submissions［EB/OL］. https://www.ref.ac.uk/media/1092/ref-2019_01-guidance-on-submissions.pdf.［4］徐芳,刘文斌,李晓轩. 英国REF科研影响力评价的方法及启示［J］. 科学学与科学技术管理,2014,(7):9-15.［5］［24］刘兴凯,左小娟. 英国大学科研影响力评估机制及其启示［J］. 中国高教研究,2015,(8):67-71,75.［6］王楠,罗珺文. 英国高校科研成果的社会影响力评析——基于REF2014评估中6679份影响力案例的再分析［J］. 清华大学教育研究,2019,(5):75-81.［7］［26］MANVILLE C,SUSAN G,MARIE-LOUISE H,et al. Assessing Impact Submissions for REF2014:An Evaluation［EB/OL］. https://www.rand.org/pubs/research_reports/RR1032.html.［8］WATERMEYER R,HEDGECOE A. Selling ‘Impact’:Peer-reviewed Projections of What is Needed and What Counts in REF Impact Case Studies. A Retrospective Analysis［J］. Journal of Education Policy,2016,(5):651-665.［9］REICHARD B,REED M S,CHUBB J,et al. Writing Impact Case Studies:A Comparative Study of High-scoring and Low-scoring Case Studies from REF2014［J］. Palgrave Communications,2020,(6):1-17.［10］DERRICK G. The Evaluators’ Eye:Impact Assessment and Academic Peer Review ［M］. Springer,2018.［11］［19］中国社会科学院语言研究所. 现代汉语词典(第7版)［K］. 北京:商务印书馆,2016:85,85.［12］［13］小劳伦斯·E·林恩. 公共管理案例教学指南［M］. 郄少剑，岳修龙，张建川等，译. 北京:中国人民大学出版社,2001:5,5.［14］GRAGG C I. Because Wisdom Can’t Be Told［M］//MCNAIR M P,HERSUM A C. The Case Method at the Harvard Business School. New York:McGraw-Hill,1954:6.［15］郑金洲. 案例教学指南［M］. 上海:华东师范大学出版社,2000:1.［16］深化新时代教育评价改革总体方案［EB/OL］. http://www.gov.cn/zhengce/2020-10/13/content_5551032.htm.［17］［18］朱军文,刘念才. 高校科研评价定量方法与质量导向的偏离及治理［J］. 教育研究,2014,(8):52-59.［20］李春田. 标准化概论(第四版)［M］. 北京:中国人民大学出版社,2005:11-13.［21］王平. 基于多学科观点的标准和标准化基本概念［J］. 标准科学,2020,(7):28-38.［22］顾孟洁. 语境与现实——对基本术语“标准”“标准化”核心概念的若干思考［J］. 中国科技术语,2017,(2):5-10.［23］关于深化高等学校教师职称制度改革的指导意见［EB/OL］. http://www.mohrss.gov.cn/SYrlzyhshbzb/zcfg/SYzhengqiuyijian/zq_zyjsrygls/202007/t202 00724_380517.html.［25］HEFCE. REF Research Impact Pilot Exercise Lessons-Learned Project Feedback on Pilot Submissions［EB/OL］. https://www.ref.ac.uk/2014/media/ref/content/pub/refresearchimpactpilotexerciselessons-lea rnedprojectfeedbackonpilotsubmissions/re02_10.pdf.
编辑部地址
湖北省武汉市洪山区华中科技大学
《高等教育研究》编辑部
购刊
公众号主菜单“关于本刊-订阅须知”
在线投稿
http://high.cbpt.cnki.net/
版权所有，未经授权，请勿转载
了解高等教育的最新动向
快来关注我们吧！