林梦泉 陈燕 李勇 张瑾｜新时代大学学科成效评价理论框架与应用探索

DOI:10.16298/j.cnki.1004-3667.2021.03.03

摘

要

通过分析我国高校新发展阶段评价模式和方法改革的供给需要，认为强化成效和效能是新时代我国高等教育发展的战略需求。对大学学科建设成效评价概念内涵、评价分类进行系统性研究，在此基础上提出立体思维成效评价体系构建新模式、二维结构成效评价体系模型构建新思路。最后，给出了成效评价体系和评价方式确立的四条实施路径，为新时代大学学科成效评价提供理论和应用参考。

关

键

词

大学学科；成效评价；体系立体设计法；二维结构体系模型；应用场景

　　习近平总书记指出“要把立德树人的成效作为检验学校一切工作的根本标准”，国家大学学科重点建设项目也将建设成效作为整体评价的重点，并研究形成长效机制。习近平总书记在全国教育大会上强调，要深化教育体制改革，健全立德树人落实机制，扭转不科学的教育评价导向，从根本上解决教育评价指挥棒问题。2020年10月，中共中央、国务院印发的《深化新时代教育评价改革总体方案》中指出，针对不同主体和不同学段、不同类型教育特点，着力破除“五唯”顽瘴痼疾，建立科学的、符合时代要求的教育评价制度和机制。教育部、科技部出台若干评价改革文件，强调要在教育科技评价中破除“五唯”，扭转论文“SCI至上”等要求。强化实质成效和效能是新时代我国高等教育发展新的战略思考，成效评价将成为政府管理和高校内涵发展的迫切需求。因此，开展大学学科成效评价理论和实践研究具有重要意义，是服务国家大学学科重点建设战略，推进教育治理体系和治理能力现代化的重要方面。

一、成效评价研究的需求、背景与意义

　　（一）成效评价是高等教育发展至高水平阶段的必然需求

　　在教育发展不同阶段，对其评价或大学关注的评价也存在不同情况。这里以评价主要方式出现为分析维度，来观察教育发展的三个阶段及评价供给。

　　第一阶段：许可性（合格性）评价。一个国家教育发展初期或大学发展初期，规模发展所需要的评价供给重点为许可性、合格性评价活动，功能偏向于判断教育活动是否满足法规条件和基本要求，检验办学的基本条件和基本质量。如我国20世纪90年代一段时期，研究生教育评价主要为学位授权点审核，研究也主要聚焦审核理论方法和实施路径，及其相应的制度性和方法改革。

　　第二阶段：教育认证。当高等教育发展至一定规模后，过程和内涵发展，以及保障质量成为大学比追求规模更关注的内容，而教育认证是对教育过程和内涵检验非常有效的方法，是推动教育可持续发展非常有效的方式。我国21世纪前开始关注工程认证到最终加入华盛顿协定，以及接受国外工商认证到学位中心和MBA教指委联合组织的CAMEA认证（中国高质量MBA教育认证）的发展过程，都体现以上特征。以教育认证为主要手段实现办学过程管理规范化，是高等教育提升国际影响、人才培养与行业有效衔接、人才培养的国际资质互认等重要路径。

　　第三阶段：成效评价。随着我国高校整体水平的提升，教育作为经济社会科技发展的基石和核心竞争力逐渐凸显，政府和高校都关注高等教育国内和国际相对水平和建设成效，更加关注各类水平排名，并通过成效评价，提高建设效能。建设成效评价还是考虑资源投入和产出成效的绩效评价的重要基础。对大学（或学科）建设进行的成效评价，进而协助高校检验学科发展态势，为政府的教育决策提供参考和信息。

　　以上各阶段对于评价方式的存在并不是绝对的，仅是从一个视角分析随大学发展催生的新评价方式，一般前序阶段产生的评价方式在后序中并存。

　　（二）成效评价在推进教育治理能力和治理体系现代化中的意义作用

　　1. 成效评价是服务国家重点建设成效的检验举措。成效评价是衡量国家重点建设专项效果的有效方法，如建设期末对建设成效进行整体评价等，体现了教育成效评价重要地位和作用。成效评价是检验目标性明确的大学学科建设成果和人才培养质量的有效方式。如何评价各高校立德树人建设成效，如何检验一流大学学科整体建设以及其他专项建设成效，如何评估各高校预期建设目标完成的程度，如何实现战略调整，是新时代我国高等教育管理面临的重要、紧迫问题。因此我国大学和学科发展评价理念和机制将转向“成效评价”。从我国高等教育大国向强国迈进的高质量发展阶段来看，是从基本的合格性评估、水平评估到体现治理效能评价转变的时候了。但是，成效评价当前理论和实践的系统性研究还非常缺乏，不能支撑我国高等教育高质量内涵发展的迫切需要。

　　2. 成效评价助推教育评价改革和破除“五唯”顽疾。在破“五唯”背景下，主要基于SCI、ESI、奖项等数据的大学学科排名评价方式，对我国高等教育发展形成不良导向，因此破“五唯”，扭转不科学的教育评价导向，需要研究更加科学的评价模式、评价方法，树立正确的“指挥棒”，营造注重实质成效的良好氛围，丰富教育评价方式，推动教育评价的战略转型。破“五唯”，立“多维”，关键在立“多模式”，以多模式评价方式实现“多维”理念。以成效为导向，采用成效评价新模式，从大学学科定位的实现情况、建设的提升情况、建设的总体效果以及可持续发展能力等方面，建立一套科学、完整的教育成效评价体系，有利于树立教育评价的正确“指挥棒”，有利于破“五唯”，助推教育评价改革。

　　3. 构建中国特色、国际前沿成效评价体系，树立国际教育评价话语权。近年来，世界主要发达国家都将重点建设高水平大学作为提升国家高等教育及科技核心竞争力的重要组成部分，并制定了相应的战略规划。据不完全统计，全世界已有30多个国家正在实施卓越大学建设计划，涉及两千多个机构。与此同时，如何评价各国所实施的一流大学建设计划成效，是否达到预期建设目标，是世界高等教育发展的新的热点问题。世界上各国教育评价存在多类体系，各有特色和侧重，但还未形成一整套国际公认的教育建设项目成效评价体系和运行方案。在推进高水平大学学科建设与发展的历史阶段，研究建立中国评价标准和体系，一方面有利于推进高水平大学学科的建设，提升教育治理体系和治理能力现代化水平，提高教育质量管理效能；另一方面也利于在国际上独树一帆，在高水平大学学科建设成效评价方面，发出中国声音，提升国际影响力和话语权。

二、成效评价研究现状与面临挑战

　　在教育成效评价方面，目前国内相关研究主要集中在评价要素理论、评价指标体系、评价方法等，从理论和实践两个方面开展相关研究。在评价理论方面，已有研究主要在战略性考量，大多提出成效评价思路和评价的理论思考。钟秉林等提出结果导向、持续改进、多元参与等“双一流”建设成效评价框架性思路；王战军等提出构建达成、贡献、引领等“五个维度”为核心要素的一流学科成效评价理论；在评价实践方面，任超等分析了英国的REF（Research Excellence Framework）评价，提到其指标体系强调“科研成果”“成果转化与应用”和“科研环境”等三个一级指标；王传毅等以德国大学“卓越计划”实施成效评价，聚焦知识生产规模、学术水平和国际化程度，以及政策效应的评价。在评价指标与评价方法上，史静寰从“双一流”建设成效评价指标体系建设的新思路、新方法、评价策略等进行了研究。部分学者偏向针对科研成果的同行评议，部分偏向学术成果的计量评价。

　　国外研究者也在评价的理论模型、评价方法、评价应用等方面开展了相关研究。在评价理论模型方面，Daraio等梳理了大学排名评价存在的评价维度单一、数据统计具有稳健性、评价结果依赖于大学的规模与学科组合、缺乏对投入-产出结构的考虑等四个显著问题，基于部分欧洲大学数据，运用相关数学模型对鲁棒性距离、规模与学科依赖程度、管理效率得分进行了测算。在评价应用中，科学计量学界的学者针对引文影响的普遍共识是，在规范的标准化应用前提下，在成效评价中，引文可以作为反映成果的“学术影响力”的有效指标，但不能作为测度研究“质量”的直接指标。

　　总之，目前理论的系统性研究和实践都面临较大挑战，主要体现在以下五个方面：①总体上，相对于水平、排名等评价研究，教育“成效评价”专题理论和实践研究较少；②在评价内涵上，总体研究比较宏观、概括，对教育成效评价的概念界定、功能、目标还比较模糊，突出评价的目标实现和发展能力特征，还未形成共识性定义；③在理论体系上，相对于其他评价理论研究，教育成效评价还未形成系统的理论体系和模型，当然也缺乏系统的实施体系；④在指标体系上，由于成效评价概念的未成熟，评价体系主要局限于某些特定的维度或者范围，体系研究呈现多样性，成效评价特征不明显，与一般水平评价接近；体系设计理念上，少有体现成效的目标实现等多维度、多视角特性；⑤在评价方法上，鉴于成效评价的较强的管理属性，传统的定量评价方法不能很好支撑成效评价。现有研究中，能针对性地支撑成效评价的创新方法比较缺乏。

　　可见，从我国高校高水平发展阶段新需求、国家重点建设成效评价战略需求，到破“五唯”背景下评价改革创新，都迫切需要进行教育成效评价概念内涵、评价理论、体系构建和应用的深入研究，以服务高水平建设，提高建设效能。因此，建立中国特色、国际水平的成效评价体系和方法，对推动我国教育评价理论创新，提升我国高等教育治理体系和治理能力现代化水平具有重要理论和实践意义。同时，也有助于在国际教育评价领域贡献中国智慧，树立中国话语权。

三、成效评价理论框架

　　（一）成效评价含义

　　1. 成效析义。成效一词古有应用，汉王充《论衡•非韩》：“夫道无成效于人，成效者须道而成……”；陆游《条对状》：“如措置酒坊，招捕海贼，未有毫发成效，而扰害之事，已餍满闻听。”可见，成效是所获得的预期的效果或功效，接近的有成就、成果、见效。成效的“效”主要含义是效果、功用。有学者认为，学科建设的成效是学科在一定建设周期后所取得的现实建设效果，反映了该学科在具体发展过程中的改革力度、创新水平。总结以上观点，针对本研究的研究对象，大学学科建设成效可定义为：在一定周期内，相对于预设的条件、范围、目标等基础前提，大学学科建设所取得的成绩、成果、功效和效果。成效与建设水平相对辨析如下：大学学科建设水平一般从学术角度分析，指时间点和区间建设情况达到一定的程度，拥有的成绩、成果、结果等。建设成效具有管理属性，包含水平元素（如学术水平、学生质量），但有些建设成效（如专任教师数、毕业学生数）不一定属于水平范畴。

　　2. 成效内涵。以大学学科建设成效为例，新时代大学学科建设成效应聚焦新内涵，坚持立德树人根本任务，围绕立德树人成效，大学学科具体成效可包含，但不限于“人才培养质量”“师资队伍结构质量”“科学研究与转化成果”“文化传承成果”“社会服务与贡献”“声誉与国际影响力”“治理能力和水平”等维度的建设成果和效果。

　　3. 成效分类。根据成效含义，成效可分为绝对成效、相对成效和增量成效。

　　（二）成效评价与分类

　　1. 成效评价。基于成效含义和评价的功能，成效评价可解析为以建设成效为目标的价值判断。依据成效含义，与其他教育评价功能不同，成效评价包含两个功能，一是测量建设成绩、成果，二是评价建设实施的效果和效能。英文有译为“Result evaluation”“Effectiveness evaluation”，二者合一比较恰当，而国外“Performance evaluation”所表述的评价项目，实际上大部分属于中文的成效评价范畴，当然也有绩效评价的含义。成效评价广泛运用于现代企业管理领域，主要是指企业用来评估整体战略方案是否达到预期的战略目标和标准，以及战略实施后取得的经济效益和社会效益，即方案实施效果。

　　2. 成效评价分类。根据评价需求，采用相应方法实施不同的成效评价。根据三类成效可界定三种成效评价类型。①绝对成效评价，指检验大学学科建设从一个起点到某一个终点达到的水平或累积的成果；②相对成效评价，指检验不同大学学科之间在相同周期内所取得成效的横向比较情况；③增值成效评价，指检验相对上一个建设周期，同一大学学科建设成效的纵向变化情况。教育部学位与研究生教育发展中心（简称“学位中心”）组织的学科评估属于整体水平评估，其体系主体包含成效评价元素，该体系可进行绝对成效评价,也可用于相对成效评价，目前的评价方法主要为相对成效评价；从有关文件资料看，大学学科重点建设评价（“双一流”建设、高峰高原建设等），包含了以大学学科建设绝对成效评价为基础，兼有相对和增值成效评价的综合属性。

　　成效评价可赋予更广泛的内涵，如对建设规划项目进行考核的“目标完成度、达成度、实现度”评价，属于建设效能的检验，因此可归入成效评价范畴。但目标达成度成效评价的有效性和可比性，取决于目标设定的合理性。可见，从有效性看，目标达成度评价比增量成效评价更具挑战性。一般地，大学学科建设成效评价具有显著的目标性，评价要素取决于评价目标。可见，成效评价具有很强的管理功能，有望成为新时代教育质量治理的新工具，具有广泛的理论和实践价值。

四、成效评价体系立体设计法与二维模型构建

　　在明确评价目标的框架下，科学构建指标体系是忠实评价目标，保证评价科学、有效的最核心工作。这里研究提出成效评价立体思维设计理念，并就应用于评价体系模型构建进行探讨。

　　（一）成效评价立体思维体系设计

　　1. 立体思维体系设计理念。“重要性”是一般评价体系设计的依据，构成一维的评价体系结构。基于前面提出的成效评价突出特征，仅按“重要性”一个维度的体系设计法，不能很好满足成效评价的目标需要。基于成效评价成果、成绩和效果的二元特征，提出了成效评价体系的系统性、融通式“立体思维指标体系设计”理念，克服单维度体系设计不足，强调体系设计的多视角考察，特别是指标评价方法在体系设计中的贯通性和统筹性考量，提高体系指标的精准性、可靠性、可评性，以确保设计的体系结构和内涵更接近评价目标。

　　2. 立体思维体系设计法。基于设计理念，从指标重要性特征的纵向要素、指标效果特征的横向要素，以及指标可评性特征的评价方法要素三个维度，立体地统筹考量构建指标体系，称为“立体思维体系设计法”，示例见图1。以下就三维度立体设计法方法框架进行论述。

　　第一维度为建设的任务要素。如大学学科重点建设（“双一流”建设、高峰高原学科建设等）总体方案的任务内容，可归纳其建设的核心要素，包括人才培养、科学研究、师资资源、文化传承、社会服务、国际交流、治理机制等七方面。

　　第二个维度为建设任务完成与发展效果要素。主要体现建设效果，即建设目标的达成度、建设成长度、贡献度和发展度等四度。四度是成效评价的突出特征，能够比较全面地体现建设效果、效率、规律和趋势。评价体系设计如何体现四度，克服指标单维度孤立设计的局限，是成效评价的新课题。任务的达成和建设的成长增值情况是成效检验的基本要素，原则上每个指标都有此属性，通过综合考虑目标达成和成长进步情况才能体现发展水平和成就；贡献度强调指标要体现建设的标志性成果、学术原始创新、国际国内领域引领、解决“卡脖子”问题等；发展度则注重建设所形成的可持续发展的能力，如大师资源、高端平台、文化引领和治理机制等。

　　第三维度为指标内容的可评性。基于破“五唯”背景，SCI、ESI、奖项等定量评价需要全面改革，评价的难度更大，导向要求更突出。未兼顾评价方法的体系不具有可操作性，因此指标设计需同时关注其能否应用定量、定性还是融合评价方式，以便形成可行、可用的评价体系，实现最佳评价目标。这是由于每种评价方式都需要特定的指标内涵，如类型、形式、规模、可用性，特别是可获取性。如定量评价，需要具备提供数据标准、范围、客观性、公平性和足够高的数据质量；定性评价，需要确定指标重点、提供形式、开放程度、可比性和定性评价的不确定程度；当两种传统的方式难以确定时，需要研究指标是否能够实现融合评价的要求及相应的方法路径，如指标的证据链是否可获取可用，以便分析指标是否可取。可见，不同的评价方式对指标有不同要求，设计指标应兼顾指标的可评性。

　　根据以上分析，基于三维立体统筹贯通的思维，可构建更加科学、可行的指标体系。成效评价体系立体思维设计模型示例见图1。

　　（二）二维结构体系模型构建

　　1. 二维结构体系模型构建的基本方法。前面分析的成效评价的基本内涵是体系构建的基本依据，具体的评价体系基于政策依据和理论依据对评价目标的分解，通过立体的统筹分析，在满足可评性的基础上，设计结果简化为“二维结构体系模型”。第一维度为：建设任务要素，表达基本成果；第二维度为建设任务完成与发展效果要素，也可称为四度要素，表达主要效果、效益和效能。由于二维内容交错，所以呈现为矩阵式指标体系框架。（见图2）根据三维立体设计理念，研究如何形成独特的体系结构和内涵，既具有可评性，又包含了四度导向的思想，使得二维评价体系内涵更贴近成效评价目标。二维结构体系模型是本研究提出的成效评价突出的特征，其中每个指标都可能包含两个维度的含义，但两个含义可能不是平均分布，分布的情况与指标选定有关。该模型拟研究的内容，下面以“人才培养”一级指标为例，建立其内涵时（二级指标或观测点）兼顾四度理念，进行科学分级，如“思政教育特色与成效”“教学资源提供”“教学质量”“学生学习成果”“学生成长”“就业分布”“毕业生职业发展与社会贡献”等。需要说明的是，每个二级指标不一定都具有同等程度的四度特性，如“学生成长”指标其成长度特征明显，其他的特征较弱。

　　由于增设四度含义，二维结构体系的指标都可表达为两种维度，即四度维度和建设任务维度。

　　四度维度：人才培养={达成度（每个二级），成长度（教学资源、学生成长等大部分指标），贡献度（毕业生职业发展与社会贡献、思政教育成效、毕业分布……），发展度（教学质量、教学资源提供……），……}；基于多视角的成效观测，易于贯穿立德树人，易于回避“唯”的做法。

　　建设任务维度：人才培养={思政特色教育成效（达成、成长、发展……），教学资源（达成、发展……），教学资源与质量（达成、成长、贡献……），学生学习成果（达成、成长、贡献……），毕业生职业发展与社会贡献（达成、成长、贡献……），……}；同样如科学研究={学术发表水平（达成、成长、贡献……），成果转化（达成、成长、贡献……），科研成果（达成、成长、贡献……），科研平台（发展……），……}。

　　以此类推，表示对二维结构体系的分解描述，详见图2。

　　2. 二维矩阵体系使用表达与独特优势。

　　（1）使用表达。可以按矩阵方式组织形成不同的评价结果，方法为：第一体系表达为建设任务维度体系，实际就是普通的一维体系（A、B、C、D、E……若干一级指标），通过权重赋值，可形成分指标和总体评价结果，但体系已融入了成效属性；第二体系表达为四度维度体系，可以分别组成达成度、成长度等独立体系（四度维度即为四个一级指标），同样通过四度权重，也可以获得与第一维体系一样的总体结果，但可获得四度结果，作为成效评价的重要结论。但以上属于理想情况，二维体系分别表达，主要是强调二维理念在体系指标设计中的存在，实际研究中，有些指标下设的观测点比较符合四度特性，有些并不适合硬性分成四度，观测点可能仅是隐含了一定的四度特性。具有清晰的四度观测点的，便可以清晰地进行四度测量；不是所有观测点都能分成四度的，统计主要的四度观测点，也基本能反应四度的主要结果。当然可以对非清晰四度的观测点，赋予四度内涵的系数，这样便可以进行理想方式的结果统计。

　　（2）独特优势。表现为结果呈现独特，具有良好导向。一方面，任务维度已经蕴含了成效特征，指标内涵包括了四度指标内涵，因此评价结果的价值不仅仅体现状态和水平，强化了不同发展阶段的大学学科成长情况和贡献等特性，避免“一把尺”量全部，体现了与一般体系的差异，具有良好的导向性，这是二维体系的最突出特征；另一方面，完成与发展成效维度的四度体系获得四度独立的评价结果，从贡献度、发展度属性等比较突出的指标，可以发现重点专项建设突出的贡献、突出引领性成效，发现建设的效果、效能和可持续发展能力。再一方面，二维多视角因素更有利于支持数据和政策分析，发现建设规律，研究计划和目标制定合理性。特别说明的，评价模型仅是勾画了成效评价体系框架基本内涵。评价结果呈现，并非仅追求或仅能进行定量评价获得一个分数的狭义意义，在此框架下，也可获得定性评价意见，这样大大扩展的成效评价的作用。

五、成效评价应用场景

　　基于成效评价的概念界定，以上对评价的体系内涵和体系建立方法进行了论述，使得对成效评价的应用范围有了基本认识。下面重点就成效评价的主要功能、应用逻辑、结果产生及其效用，进行进一步阐述，以供参考。

　　（一）成效评价基本功能与目的

　　根据成效关于成果和效果的基本内涵，成效评价是以任务目标为主线的评价模式，是对学科前期某种方案、计划而取得的建设效果的评价。因此，成效评价的评估目标往往与建设目标存在关联。与水平评估等模式不同的是，成效评价可以对预设或假定的建设目标、计划进行评价、诊断和检验。通过评价实现建设的战略管理，既有管理效果的感知，又有督导的效用。主要有四大功能：①鉴定目标任务实现情况。通过运用评估标准判断和鉴定大学学科在实际活动中达到预设目标的程度，如未达到、达到、超越目标等；②诊断功能。分析发现增值幅度、实质性服务贡献情况以及可持续发展能力等；③调控管理。通过分析建设效果、检验建设计划的合理性，追溯建设过程的得失，进行战略决策优化，调整学科建设行为，引导管理决策按正确的方向进行；④激励依据。成效评价也是绩效管理的重要依据，通过评价优化关键资源配置，激发学科建设的积极性；同时，成效评价是绩效评价重要组成部分，结合大学学科资源投入情况，综合研判建设绩效，可以得到大学学科广义建设绩效评价情况，为更精准地进行绩效管理提供依据。

　　（二）成效评价的应用逻辑

　　构建了成效评价的基本体系后，实施机制是发挥成效评价特殊功能的根本保证。应用逻辑是基于三大因素，即组织主体、评价对象、功能范围。其应用要遵循以下逻辑：提出组织主体的评价目标，分析评价对象类型，给出体系构建方式，明确评价方法应用等来确定评价体系和评价方式的四条实施路径，形成总体方案。

　　1. 组织主体确定评价目标。确定评价目标是任何评价的首要任务，从成效评价主要功能看，组织主体有以下三类。一是建设项目的主管者（投资者），由于成效评价最基本的特征是基于建设目标的评价，因此成效评价的主要主体一般为专项建设或投入的支持方或管理者，即建设目标的设定或审批者，如主管项目的政府部门。高校内部基于战略规划，设定各方面的专题建设任务，也需要自主开展校级内部的成效评价。二是建设的承担方，出于自我检验和接受检验的双重目的，建设的承担者也有必要开展成效评价。三是专业机构第三方，鉴于成效评价的特征，建设计划检验是主管者的行为，非管理或承担方的第三方没有独立开展成效评价的逻辑定位，但可以接受项目主管者的委托，依据主管者的计划组织成效评价。综上，成效评价确立目标的差异性，主要取决于项目主管者和建设承担方的不同主体角色和行为，下面作重点讨论。

　　（1）项目主管者评价目标确立。包括各级政府以及自立项目的高校，主管者在建设某时间节点进行成效评价的行为是项目管理的基本程序。确定评价目标需要考虑三个方面：一是项目的初心，建设项目的核心任务；二是检验的管理期待和检验重点；三是检验的时间节点，如确定为建设期结束。基于以上三个方面，确定评价目标，如建设计划的完成程度，建设项目促进大学和学科发展成就，对经济社会的贡献，建设计划的效率与问题等，为绩效评价和持续建设的管理决策提供依据，等等。

　　（2）项目建设的承担方目标确定。对于建设周期长、具有持续计划的建设行为，作为建设的承担方，如高校、学院、项目负责团队等，为预测建设状况，诊断发展问题，调整建设路径，提高建设效率，更好地实现建设目标，有必要自主开展成效评价。当前，部分“双一流”、高峰高原学科建设高校实际上已经在探索开展，校内建设项目自我成效评价更加普遍。由于自我评价一般为建设过程的自我检验，因此，评价目标与建设末期检验大目标相近，具体目标有所差异。需要统筹考虑的是应根据本校发展规划的总体框架，兼顾外部评价的基本要求，同时关注自身特色需求及内涵发展规律。因此，此类目标宜聚焦任务完成相对程度、阶段性增值情况、建设举措的合理性、建设要素情况及其相互支撑和制约情况，以及发展的趋势预测，为改进建设策略提供依据。

　　2. 评价对象分析。在评价目标确定的框架下，评价对象的差异决定了评价体系构建和评价方式的选择。对象分析维度主要包含对象的范围和分类。从对象的范围来看，项目主管部门组织建设成效评价，评价对象一般为建设任务承担的全部对象；而项目承担者自我评价则是有限对象或单对象，如校内某几个或某个建设学科群等。从对象的分类来看，主要涉及建设任务发布的分类，是基于同类对象类型的分析，如高水平大学建设高校、高水平学科建设高校，上海地区的高峰、高原学科，江苏地区的优势学科和培育学科类，某些高校的“引领类”“提升类”和“培养类”项目等。对象的分类是建立评价体系和评价方式的重要依据。

　　3. 分类体系构建的方式选择。对于一类建设项目，需要建立相对统一框架，并基于对象差异建立内涵分类的评价体系。具体方法如前述，重点建议关注两方面的选择。一是体系构建四度维度的选择。不同评价目标和对象，在采用“立体”式评价体系建立时，关于四度维度的考虑应有所差异。对建设任务要求较高的承担者，体系主要聚焦大学学科建设在科学研究、人才培养等方面对经济社会的贡献度，以及在体制机制、文化积累呈现的发展潜力等方面的检验；对建设任务要求较低的承担者，体系主要突出对建设成长度和达成度的检验。二是“计划强度”与体系构建的选择。“计划强度”是指建设计划的合理性和目标明确程度。基于目标任务的建设计划是成效评价突出特征，因此体系构建的模式确需考虑计划强度。当计划目标比较柔性，刚性目标较少，或计划目标合理性不能完全保证时，体系设计中关于计划目标达成度的分量不宜太强化。

　　4. 评价模式选择。基于成效评价的特殊性，评价模式的选择和应用尤其重要。评价模式这里主要指评价方法和评价标准。评价方法主要是指定量评价、定性评价或融合评价；评价标准是指面对申报提供的信息，依据怎么样的标准给出评价结果。评价目标和体系设计完成后，评价模式很大程度上决定了评价的成败。一是评价方法应正确应用，合理的评价方法才能保证评价结果的可信度。在破“五唯”的背景下，要合理确定三种评价方法。只有数据价值和质量高的指标，才适宜采用传统的定量评价；对于数据及质量含量低的指标，只能采用传统的同行评议；对于数据价值和质量中等的指标，可以采用融合评价。二是正确制定评价标准，评价标准清晰才能保证评价结果的可信度。在计划强度比较强的情况下，成效评价可以主要依据建设目标，评价建设的达成程度和成长变化情况，不需要通过横向比较，可对单个对象直接评价，即绝对成效的评价；在计划强度低及其他情况，通过对若干评价对象基于比较式的评价，给出评价结果，即相对成效评价。

　　（三）成效评价结果信度与应用

　　学科成效评价最重要的功能是促进科学管理。但是，结果应用前提是结果的信度，鉴于成效评价的特殊性和复杂性，保证评价结果的信度成为成效评价成功的“最后一公里”。

　　1. 评价结果的信度保证。一是评价信息的信度。评价信息的可靠性是评价结果可信的第一保证，因此，评价的第一步骤是信息“清洗”，主要包括重复信息的剔除、信息的大学或学科归属度验证、信息的真实性保证和信息的证据链保证等。没有信息清洗的评估结果难以保证其可信度。二是与建设目标关联的信度。由于成效评价有基于任务目标达成度的成分，评价结果与目标设定有关，因此，存在不同对象评价结果的可比信度。三是采用传统同行评议的信度。一般地，同行评议需要制定科学的评价规则，对专家开展保证评价标准一致性的培训，才能保证评价结果的可比信度。

　　2. 第三方评价采信信度。成效评价体系或结果形成中包含二次评价元素（如第三方评价结果），需要开展元评估进行科学研判，否则存在结果失真的可能性。一是二次评价结果正确使用。其结果使用需要两方面的考虑，不宜认用缺乏立德树人等不正确导向体系的评价结果，将仅反映科研等局部结果当作综合成效采信等。二是重复计算情况分析。在建设目标或评价总体结果中，若包含二次评价结果指标，则必然存在与成效评价指标重复计算的问题，应统筹分析、理性采用。

　　3. 结果应用。评估结果多是为管理者判定实际活动达到目标的程度，为其后续资源分配、确立大学学科未来发展途径等提供依据。成效评价具有比较明确的目的：一是提供给管理者，检验任务完成情况，评估结果信息反馈给管理者，以调整下个周期的建设目标和实施举措；二是提供给建设任务承担者，以便找出实际建设偏离目标的原因和程度，改进其建设方案，促使其建设成效尽可能地逼近目标，以评促改，促进科学管理，提高建设效率和效能；三是与持续资源配置“挂钩”，主管部门依据成效评价结果对今后资源或政策投入进行优化配置。

　　总之，本研究从分析现代大学学科建设成效评价的必要性入手，就成效评价的概念内涵、功能、评价分类等进行深入研究分析，给出了比较系统的成效与成效评价概念表述，为成效评价的分类功能建立提供理论基础和依据。鉴于成效评价的特殊性，分析了体系构建难题，对提出的立体三维体系构建新方法进行了全面论证，分析了理论依据和三维架构的逻辑关系和具体设计方法；进而分析立体体系构建法如何形成成效评价二维结构的体系框架，并就矩阵式体系框架构成进行了可行性分析，给出了矩阵式体系分解应用表达，论证了该方法的优势。为更有效应用成效评价，就其应用场景的重点问题给出作者的看法，从评价目标制定、评价体系构建、评价方法选择的基本原则和路径出发，为评价落地提供四个方面应用策略。最后分析了结果可信度的影响因素和结果应用可使用的领域，从而形成了一整套成效评价的理论架构和实施路径，为成效评价实践提供参考，为该领域的继续研究提供一种模式。国外此类研究也未有系统理论和成熟实践结晶，期待今后研究中与国内学者共同探索建立中国特色、国际影响的评价方案，贡献中国智慧，树立中国话语权。

作

者

林梦泉，教育部学位与研究生教育发展中心研究员，北京　100083

陈　燕，通讯作者，北京工业大学高等教育研究院助理研究员，北京　100124

李　勇，北京理工大学研究生院副处长，北京　100081

张　瑾，教育部学位与研究生教育发展中心质专处项目助理，北京　100083

原文刊载于《中国高教研究》2021年第3期第14-21页

栏

目

教育评价改革研究

扫码关注我们

微信号｜zggjyj1985

投稿平台

http://editor.cahe.edu.cn/