冯晓英 等 | 教师研修五范畴评估框架构建及应用研究——以2022年“全国暑期教师研修”为例
【刊载信息】冯晓英,何春,郭璐文,林世员 & 孙洪涛.(2023).教师研修五范畴评估框架构建及应用研究——以2022年“全国暑期教师研修”为例.中国远程教育(01),59-69.
【摘要】在教育数字化转型的时代背景下，既需要积极探索教师研修模式的改革创新，也急需不断创新符合本土发展特色的评估理论体系与方法体系。本研究借鉴社会学领域评估理论的思路，结合国内教师培训发展现状与本土特征构建了教师研修评估框架，并应用定量、定性与大数据分析相结合的多元化研究方法，从需求、理论、实施、影响和效能五范畴对全国暑期教师研修进行了系统性评估。研究认为，全国暑期教师研修是基于国家智慧教育平台的教育应用创新模式，作为典型成功案例将为后续更多创新实践提供宝贵经验。
【关键词】教师研修；教师培训；在线研修；评估；模式创新；国家智慧教育平台；教师能力提升；教师专业发展
一、
引言
怀进鹏部长指出：“党的二十大报告对深化教育领域综合改革、完善教育评价体系提出了新要求”，要“以教育评价改革牵引教育领域综合改革”（教育部, 2022-11-18）。在教师研修领域，当前教师培训服务供给改革需要强化对教师培训项目的过程性质量评估（任友群 等, 2022）。评估的“指挥定向”作用决定了评估的重要性（陈玉琨, 1987, p.12），评估不只是为了达成目标或让用户（教师）满意，更应是通过系统性评估分析增强培训者对培训项目的理解，从而指导培训决策、提高培训效能（Kellaghan, 2001）。完善教师培训的基于循证的科学评估不仅是有效服务所必需的，同时也是专业道德所要求的（刘建娥, 2020）。我国在大力推动教师研修改革创新力度的同时，一直非常重视发挥评估的“指挥定向”作用，实现“以评促建”“以评促改”。教育部《关于大力加强中小学教师培训工作的意见》中将“建立教师培训质量评估机制”作为完善教师培训制度的一部分。
教师研修评估改革需要服务于教师研修的综合改革。一方面，教师在线研修和混合式研修正在成为未来教师研修的“新常态”（任友群 等, 2022）。2018年中共中央、国务院印发的《关于全面深化新时代教师队伍建设改革的意见》提到“实行线上线下相结合的混合式研修”，2022年教育部等八部门印发的《新时代基础教育强师计划》进一步强调要“创新线上线下混合式研修模式”。另一方面，我国正在大力推动教育数字化战略行动与国家智慧教育平台应用试点工作，依托国家智慧教育平台，积极探索教师能力提升的新路径（教育部, 2022-11-15）。
在此背景下，2022年7月启动的“全国暑期教师研修”是我国目前为止最大规模的教师在线研修创新实践探索，也是首次依托国家智慧教育平台开展的教师能力提升新路径的探索。暑期研修由教育部、中国科学院、中国工程院和中国科协共同组织，于2022年7月20日至8月31日面向全国各级各类学校教师开展。研修按照“通识+学科”的课程设置，提供优质的数字化学习资源，支持全国各级各类学校教师充分利用暑期自主学习，持续提升教育教学能力。在研修的一个多月内，共有1,300余万名教师在该专题进行注册学习（教育部, 2022-09-02）。暑期研修将为我国教师研修模式改革创新、依托国家智慧教育平台探索教师能力提升新路径提供重要的参考案例和经验借鉴。
那么，我们能否顺应教师研修评估改革的发展方向，采用科学有效的评估框架与方法，对全国暑期教师研修进行系统性评估？既促进暑期教师研修不断优化迭代，又提炼成功经验与成果，形成辐射推广作用，从而为后续推进国家智慧教育平台应用、创新在线教师研修实践提供参考？
因此，本研究基于对已有评估理论与框架的分析，尝试构建更加科学、有效的教师研修评估框架。同时，基于此评估框架，应用多元化研究方法，对首次全国范围的教师在线研修创新实践“全国暑期教师研修”进行系统性评估。期望本研究能够：①形成通用性的教师研修评估框架，为后续教师研修评估工作提供更加科学、有效的理论框架；②通过系统性评估暑期教师研修，促进暑期教师研修的迭代优化，并形成辐射推广作用。
二、
文献综述
（一）教师培训评估的研究现状与趋势
国内外教师专业发展领域都越来越重视对教师培训评估的研究，对于教师培训评估的目标、对象、范围和方法等都有了新的认识。从评估目标看，越来越强调教师培训评估的发展性，强调教师培训评估的目标需指向教师持续性专业发展（聂伟进 & 汪卫平, 2021; 亓俊国 等, 2020）。从评估对象看，越来越强调评估的多元性和系统性，强调教师培训评估的主体应以教师为主，涵盖多个相关利益者（张姝 & 邓淑予, 2020）。从评估范围看，越来越强调评估的过程性与诊断性，强调对培训项目进行全过程的全面评估，而不仅仅是结果评估（王超超, 2017）。从评估方法看，越来越强调评估方法的多元化与综合性，强调采用定量与定性相结合的混合研究方法（郑立海 & 石大维, 2014），并鼓励应用大数据驱动的第四研究范式，结合教师研修的学习行为数据开展基于大数据的评估（任友群 等, 2022）。
综合来看，随着当前教师培训改革进入深化期，教师培训项目评估也进入了改革期。培训项目评估改革本质上是通过培训项目评估的数字化与智能化，实现由单一主体评价转变为多元主体评价，由结果性评价转变为系统性评价，由粗放型评价转变为精准性评价，由经验驱动的主观评价转变为数据驱动的客观评价，由指向目标达成和用户满意的终结性评价转变为指向过程改进的诊断性评价（任友群 等, 2022）。
（二）代表性的教师培训评估模型
当前，教师研修评估的代表性模型主要有CIPP模型、柯氏四层评估模型和古斯基五层次模型。三种评估模型均已得到广泛的本土化应用（李宝敏 & 闫寒冰, 2017; 高慧斌, 2018; 杨莹, 2021），具体对比见表1。CIPP模型从背景、输入、过程和成果四个方面评估培训项目的全程，注重评估的过程性和诊断性，具有较好的可操作性，但对教师培训而言颗粒度较粗，且对培训成效的发展性关注不足（王超超, 2017）。柯氏四层评估模型根据企业培训评估需求，从反应层、学习层、行为层和结果层来评估参与者的培训效果；古斯基五层次模型则结合教师培训特点，提出从反应层、学习层、组织层、应用层和学生层来评估教师培训成效（亓俊国 等, 2020）。这两个评估模型的突出优点是从纵向关注教师培训对促进教师专业发展的短期、中期和长期成效，但系统性、过程性（诊断性）和可操作性不足（郑立海 & 石大维, 2014）。因此，当前教师培训评估领域迫切需要更加科学有效、兼顾评估广度与深度并具有可操作性的评估理论框架指导。
表1 不同评估模型的对比
（三）五范畴评估理论
社会项目评价领域的经典理论“五范畴评估模型（Five-Domain Evaluation Model）”由社会学家彼得·罗西（Peter H. Rossi）提出，用以支持对公共政策有效性的评估与决策。罗西主张评估是指运用社会研究程序，在一定的政治和组织环境条件下系统地调查致力于改善社会环境的社会干预项目的绩效（Rossi et al., 2004, pp.1-2），强调开展评估需要构建一套清晰明确的评估问题，而回答这些问题是评估的核心任务（Reiser & Dempsey, 2012, p.88）。该模型强调五个主要评估范畴，即需求评估、理论评估、实施评估、影响评估和效能评估。需求评估试图了解目标人群在他们的社会背景中，为了处于满意的状态，人们需要什么；理论评估强调评估者应分析项目理论，好的项目理论能让我们知道要怎样做才能达到项目目标；实施评估是指特定方案实际的执行与运作是否与原先所规划的一致，该环节是对整个项目运作过程的追踪监测；影响评估即确定干预是否在实践意义上产生了预期效果；效能评估是对资源投入产出比的衡量（Posavac Emil & Carey, 2007, pp.179-183; Rossi et al., 2004, pp.42-43）。
与其他评估模型相比，罗西提出的五范畴评估模型能够更加完善地涵盖项目评估的各个方面，兼顾了评估的过程性、发展性与系统性，以宏观的系统性视角全面地考量项目发展，且更具可操作性。因此，五范畴评估模型已成为社会项目评价领域的重要理论，但目前少有在教育领域和教师培训领域的应用。
三、
教师研修的五范畴评估框架
五范畴评估模型为教师研修评估提供了新的理论视角和框架。CIPP、四层次评估模型、五层次评估模型等经典评估模型均源自教育评估、培训项目评估，服务于教育教学或教师发展。五范畴评估模型则为教师培训评估提供了公共政策评估、服务于公共政策决策的新视角。在新时期深化教师培训改革的背景下，教师培训项目特别是教师培训的创新实践项目，都会在一定程度上兼具公共教育政策与教师队伍建设的双重特点。对教师培训项目的评估，既需要服务于项目本身的评价，服务于教师专业发展，也需要通过对培训项目的系统性评估服务于学校层面、区域层面、国家层面等不同层级的政策决策。
与此同时，五范畴评估理论本身针对社会项目评估和公共政策评估，并不能直接应用于教师培训领域。因此，本研究以五范畴评估理论为参考借鉴，结合教师培训评估的理论与实践，构建了教师研修五范畴评估框架（如图1所示）。教师研修五范畴评估框架针对教师培训、教师研修等教师专业发展项目，强调从需求评估、理论评估、实施评估、影响评估和效能评估五个范畴对研修项目开展系统性评估，并以一系列问题引导项目评估。
图1 教师研修五范畴评估框架
1. 需求评估。需求评估分析教师研修项目的需求与目标定位，重点关注：项目的受训教师有哪些研修需求？项目的目标定位如何？项目目标是否适应教师的研修需求？需求评估要秉承多元性和系统性的原则，不仅需要关注教师个体层面的需求，更要从多主体、多层次充分考量，包括对教师个体层面、学校区域层面、国家层面的需求进行评估，以期更加全面、多元地反映教师研修项目的需求与目标定位。
2. 理论评估。理论评估是对整个研修项目设计理念和路径的宏观分析，是对研修路径与方法合理性与可行性的深层次审视。理论评估可以从研修设计的基本理念、关键原则、模式策略、研修支持的方法策略等子维度展开评估。理论评估需要回答：研修项目的设计理念和原则是什么？研修项目采用了怎样的模式路径与方法策略？从理论上看，这些设计理念与路径能够有效达成项目目标吗？是最佳方案吗？
3. 实施评估。实施评估需要对教师研修项目的整体实施过程进行跟踪监测评估，是整个评估过程的主要阶段，需要结合教师研修项目整体运行状况以及相应的运行数据做全面、系统的考察与评价。实施评估要秉承诊断性与系统性原则，不仅需要关注教师参与专业学习的过程性评价，如教师研修的参与度、投入度、完成度和满意度等，还需要从项目整体层面关注整个研修项目实施的完整度、组织的有效性等。实施评估需要回答：研修项目是否完整实施？项目是否有效组织以保障项目的顺利实施？在研修过程中，教师是否真正有效地参与了学习？教师的参与度、投入度、完成度等如何？教师的满意度如何？
4. 影响评估。影响评估需要分析研修项目短期与中长期的成效与影响。影响评估要秉承发展性与系统性原则，一方面从发展性视角分析研修项目对教师专业成长的成效与影响，从教师层面考察其研修成效、获得感、在教学实践中的应用等；另一方面要从系统性视角更广泛地考察研修项目的成效和影响。例如，从中长期视角考察研修项目对学校区域的影响，从国家宏观层面考察研修项目的社会影响，研修对不同类型教师、不同区域产生的影响，乃至为教师培训事业发展、教师队伍建设带来的中长期效益和社会效益等。影响评估需要回答：研修是否达成了预期目标？研修项目促进教师专业发展的成效如何？教师在哪些方面有所收获？学习成果能否应用到教学实践中？研修项目对学校区域是否产生了影响？研修项目是否产生了社会影响和效益？研修项目对于不同教师、不同区域等的影响是否存在差异？
5. 效能评估。在罗西的五范畴评估模型中，效能评估倾向于经济学背景下对资金使用效率的评估。但教育活动与经济活动不同，不能完全以经济指标作为衡量好与不好的全部依据（陈玉琨, 1987, p. 12）。因此，在本研究所构建的教师研修五范畴评估框架中，效能评估指向的是教育学背景下对研修项目可持续性的分析与评估。效能评估要秉承系统性与诊断性的原则，既关注对研修项目成本效益的分析，也关注对研修项目可持续发展关键影响因素的分析，从而综合评估研修项目的可持续性。效能评估需要回答：研修项目的效能如何，包括教师个体、学校、区域等不同层面的成本效益如何？从成本效益角度看，研修项目是否具有可持续性？项目组织机制、运行环境、内容资源等其他关键因素如何？是否能够为项目的可持续发展提供保障？
四、
研究设计
（一）研究对象与研究问题
本研究以国家智慧教育平台2022年“暑期教师研修”专题为研究对象。按照教师研修的五范畴评估模型，需求评估分析教师研修项目的需求与目标定位，理论评估是对研修项目设计理念与路径的宏观分析，实施评估是对研修项目的过程评估，影响评估分析研修项目的短期与中长期成效和影响，效能评估分析研修项目的可持续性。因此，本研究应用教师研修五范畴评估模型，通过以下几个研究问题对全国教师暑期研修（以下简称“暑期研修”）进行分析：
1. 需求评估：暑期研修的目标定位如何？目标定位是否适应教师研修的需求？
2. 理论评估：暑期研修的设计理念如何？是否体现了先进性与适切性？
3. 实施评估：暑期研修的过程如何？是否有效实施？
4. 影响评估：暑期研修的成效如何？产生了哪些影响？
5. 效能评估：暑期研修的成本效益如何？是否具有可持续性？
（二）研究方法
本研究采用多元化与综合性的评估方法，定量、定性与大数据研究范式相结合的混合式研究范式。遵循“动态分析与静态分析、定量分析与定性分析、统计分析与预测分析（陈志斌, 2007, p.116）”相结合的原则，既考虑本次研修活动在某一时点（结束时点）上的直接产出，也动态考虑研修活动延续的时间价值和动态变化、长期成效；既充分呈现问卷调查、运行数据等量化结果，同时也尝试梳理挖掘不能量化的关键因素，进行实事求是的定性描述；既对当下实施情况开展统计分析，也尝试对暑期研修未来发展、长远需求等进行有根据的预测和研判。
量化研究方法主要采用问卷调查法。研究基于已有的教师培训项目成效问卷工具（冯晓英 等, 2021）编制了暑期研修成效调查问卷，问卷包括满意度、获得感和需求建议三部分，主体题项采用李克特五点量表形式。问卷总体内部一致性信度为0.959；各维度内部一致性信度在0.950~0.962之间。以随机抽样方式开展了在线调查，合计回收有效问卷样本39.88万份，覆盖全国31个省（自治区、直辖市），样本基本信息见表2。
表2 被调查样本人口统计学基本信息
同时，基于国家智慧教育平台的教师行为数据进行学习行为分析，数据源包括参训教师点击、浏览行为（观看视频、点赞、打分等），以及在不同课程内的学习时长、研修学时积累的统计数据等。问卷法与学习行为分析共同支持暑期研修的实施评估和影响评估。
质性研究方法包括访谈法、文本分析、非参与式观察。研究采用访谈法对教育部教师工作司、教育部资源中心、国家教育行政学院等单位的五位相关人员进行了访谈，并采用文本分析法对暑期研修相关文件资料、平台、内容资源等进行了质性分析，这两部分数据共同支持需求评估和理论评估。研究还依托问卷开展了对参训教师的半结构化访谈，主要询问教师对本次培训活动的感受、意见或建议，以及对后续课程的需求，访谈数据累计文本共84.88万字，同时研究小组全程对暑期教师研修的实施过程、组织运行、平台支持等进行了非参与式跟踪观察。这两部分数据共同支持实施评估和影响评估。三位研究者对质性数据进行了背靠背编码分析，编码一致性为0.942。
五、
全国暑期教师研修评估结果
（一）需求评估：暑期研修的目标定位
需求评估是对教师研修项目需求与目标定位的系统分析。分析结果显示，本次暑期研修的目标定位体现出以下特点：
1. 响应当前教师专业发展中最重要、最迫切的问题
相关资料分析显示，暑期研修分别从国家层面、学校区域层面、学段层面、教师个体层面回应了教师专业发展最重要、最迫切的需求。在国家层面，强调了对教师坚定理想信念、厚植爱国情怀、涵养高尚师德的根本要求；响应科教兴国战略，将教师开阔科学视野、提升科学思维、加强科学教育素养作为本次研修的重点目标之一。这些需求在学校区域层面进一步落地，包括强化师德典型引领、高校教师使命担当、新时代教师职业行为十项准则等。学段层面重点响应当前各学段教育教学改革的主要发展方向以及最关心、最迫切的需求。例如，普通高校依托新工科、新农科、新医科等高校人才培养模式改革，贯彻落实《职业教育法》对职业院校未来发展的重要引领作用，新课标对中小学教师能力发展的新要求，等等。在教师个体层面，项目运行前期调研了当前教师实践中普遍面临的难点问题。例如，如何识别常见的心理健康问题，尤其在疫情影响的背景下如何对心理健康问题以及突发情况给予相应的处置，等等；对中小学阶段的教师来说，还包括如何促进家校协同、更好地培养家校协同育人氛围等。
2. 实现教师教育普惠，促进教育均衡发展
2018年中共中央、国务院印发的《关于全面深化新时代教师队伍建设改革的意见》中提到，“面对新方位、新征程、新使命，教师队伍建设还不能完全适应”。教育普及率大幅提高、教师规模不断扩张带来的“发展不平衡不充分”问题（顾明远, 2022）、基础教育教师队伍建设“不能满足高质量教育需求”问题（朱旭东, 2022）等都亟须积极探索解决。暑期研修的第二个目标定位就是立足于国家层面实现教师教育普惠、促进教育均衡发展的需求定位，依托智慧教育平台、借助互联网和数字化优势，扩大优质教育资源覆盖面，更高效地为中西部地区、农村边远地区提供优质普惠的教师教育资源，提升边远地区师资素质，缩小地区、城乡差距。
（二）理论评估：暑期研修的设计理念
理论评估是对研修项目设计理念与路径进行宏观分析，期望回答两个问题：暑期研修的设计理念如何？是否体现了先进性，同时又具有适切性？通过对文本资料和访谈资料进行分析发现，暑期研修的设计理念与设计路径体现出“三个并重”的特点：
1. 共性需求与差异需求并重
我国有一支庞大的教师队伍，不同学段、不同学科、不同地区的教师群体都有不同的需求，因此暑期研修首先强调的是共性需求与差异需求并重的设计理念。例如，既充分考虑爱国情怀、师德师风等共性需求面向全体教师开展研修，同时结合不同学段不同学科教师专业发展和教学实践需求进行了差异性的设置，具体表现为高校教师重点学习新工科、新文科、新农科、新医科“四新”建设等主题，中小学教师则重点考虑家校协同、科学教育主题等。教师作为成人学习者，其学习特征符合成人的自主学习理论，这种学习应该是教师自我导向的（陈向明, 2013），充分调动教师的学习积极性需要对教师研修的差异性需求进行充分、全面的考虑，这也是教师专业发展的重点和难点。兼顾共性需求与差异需求符合教师专业发展的规律，也有利于促进教师学习、提升研修效果。
2. 规模化与灵活性并重
暑期研修的第二个设计理念是规模化与灵活性并重。借助于互联网促进优质教育资源共享的便利和转变教师培训方式的优势，依托国家智慧教育平台开展在线研修，实现面向全国各级各类教师的研修，实现“规模化”。同时，暑期研修的顶层设计充分考虑了教师学习的灵活性，不仅通过在线研修实现教师不受时空限制的弹性学习，教师可以根据个人需要自主安排学习时间与进度，而且通过学分制、模块内容自主选学等实现灵活学习，教师可以在上千条视频学习资源中选择个人感兴趣的内容自主开展学习。兼顾规模化与灵活性使得短时间内开展大规模教师研修成为可能，为研修的成效和质量提供了基础保障。
3. 教育观念、知识与技能并重
教育观念、知识与技能都是教师专业发展中的重要目标，三者缺一不可。树立正确的观念是教师研修的首位要求，而对研修知识和技能的设计则充分体现了研修价值与意义。在本次研修设置的10门课程中，既包括“师德典型引领”“影视中的‘国之大者’”这种观念引领类课程，也包括“心理健康问题的识别与处置”“与家长有效沟通”等技能性很强的课程，同时还包括“新时代教师职业行为十项准则”等偏向知识习得的研修课程。总体来说，本次研修课程围绕教育观念、知识、技能进行了相对充分的设计，综合考虑了三类目标在研修课程中的落实。
（三）实施评估：暑期研修的过程性评价
实施评估是对教师研修进行过程性评价。本研究通过对智慧教育平台的学习行为数据、问卷数据、半结构化访谈资料等进行分析发现，暑期教师研修过程体现了高参与度、高投入度、高完成度、高满意度和高协同性等特点。
1. 高参与度：各级各类教师广泛参与
平台数据显示，截至2022年8月31日，全国累计1,313.6万人参与了本次暑期研修，其中基础教育1,175万人，职业教育69.2万人，高等教育69.4万人，占2021年全国专任教师总数的71.2%；在基础教育研修平台上还有来自我国港澳台地区的浏览量累计3.8万人次。
分省来看，以基础教育阶段为例，教师参训率已达77.3%，所有省份参训率均达到60%以上，北京、宁夏、浙江、上海、西藏、天津、贵州等7个省（自治区、直辖市）的参训率达到90%以上，见图2。
图2 暑期研修分省（自治区、直辖市）参训率（基础教育阶段）（%）
从参训教师所执教学校的覆盖情况来看，本次暑期研修的参训教师来自全国31个省（自治区、直辖市）的35.95万所学校，占2021年全国学校总数的67.92%，覆盖了从学前教育到高等教育各个学段。其中，基础教育阶段的参训教师规模最大，达到1,175万人，占本次研修总规模的89.45%。广泛的教师研修覆盖面是实施具体研修活动，探索教师研修新模式、新方法的重要前提。整体来看，本次暑期教师研修较好地触及了目标群体，为促进学习投入、提升研修成效奠定了良好的基础。
2. 高投入度：教师学习活跃度高
对研修投入度的评估主要基于研修平台的运行数据开展，具体指标包括平台访问量、教师学习率、人均学习时长等。在本次暑期研修实施期间，国家智慧教育平台“暑期教师研修”专题的日均访问量超过3,067.6万次，参训教师学习率达到97.6%。高学习率表明教师为本次研修投入时间与精力的意愿强烈，在访谈意见中还有教师提到“希望内容能长久回看”“研修板块暑期后继续保留”等，也体现出教师参与本次研修的热情与积极性。
3. 高完成度：教师持续学习意愿明显
本次暑期研修共认定10学时。截至研修结束，共有87.7%的参训教师完成学时。其中，基础教育阶段为88.6%，职业教育阶段为84.9%，高等教育阶段为77.2%。分省来看，所有省（自治区、直辖市）完成率均达到80%以上，辽宁、北京、上海、天津等15个省份的完成率达到90%以上，见图3。在已完成学时认定的基础上，仍有参训教师保持继续学习的状态，基础教育阶段学习时长超过20小时的参训教师占比为19.65%。从教师学习时长这一指标来看，本次研修对参训教师有较强的吸引力，教师持续学习意愿明显。
图3 暑期研修分省（自治区、直辖市）完成率（%）
4. 高满意度：参训教师满意度高
调查问卷分析结果显示（见表3），对本次暑期研修总体“非常满意”或“满意”的参训教师合计占比为95.8%，总体满意度均值达到4.53。从各子维度看，参训教师对授课专家、资源内容、研修形式和研修平台的满意度均值均达到4.49以上，标准差在0.6左右。其中，参训教师对研修活动的授课专家最为满意，总体满意的合计占比为96.8%，均值达到4.53。
表3 暑期研修的满意度
注：部分满意度调查题项不针对“全国科学教育暑期学校”的参训教师开展，因此样本量有所区别。下同。
5. 高协同性：内部高效组织，外部高效协同
暑期研修在组织实施中体现出了非常高效的组织运行机制和协同性，有效支持了本次研修的成功开展。2022年7月14日教育部办公厅印发《关于开展2022年暑期教师研修的通知》，7月20日暑期研修专题正式上线。在研修实施过程中，国家层面与区域层面形成高效联动机制，区域层面管理人员可在平台查看本校、本地教师注册情况、研修情况，同时鼓励区域与学校将暑期教师研修与计划内各类教师培训进行衔接，将暑期教师研修课程纳入各类教师培训课程体系。据不完全统计，共有100余家科研机构参与到“全国科学教育暑期学校”当中。
（四）影响评估：暑期研修的成效与影响
影响评估分析教师研修项目的成效产出以及短期和中长期影响。研究发现，暑期研修的目标达成度高，在国家层面、区域层面、教师个体层面的目标均取得了良好成效，社会影响广泛且深远。
1. 促进教师专业发展，参训教师获得感良好
数据分析结果显示（见表4），参训教师获得感良好，总体获得感均值达到4.47。其中，教师认为在知识方面的收获最大（M=4.59），且91.16%的参训教师认为此次研修收获能够直接运用于自身的教学实践，均值达到4.37。此外，在关于具体研修收获方面的调查中，还有17.12%的被调查教师选择了“其他”，并补充填写了个人参与本次研修最有收获的方面。例如来自农村地区的参训教师提到：“因经费原因，外出学习机会少。通过网络，最大的感觉就是自信了……原来我们也可以和全国优秀教师共同进步”，“通过这次培训我感到比原来站得高了，看得远了”。可见，本次暑期线上研修大大提升了参训教师的自我效能，让一线教师对于改进自身教学实践有了更多信心。总体而言，暑期研修在教师个体层面促进教师专业发展的目标达成度高，取得了理想的研修成效。
表4 教师研修获得感指标均值
2. 强化思想政治引领，赋能教师队伍提质增效
通过引导全体教师持续深入学习贯彻习近平总书记关于教育的重要论述，进一步强化了思想政治引领、助力提升教师职业道德素养。对研修课程内容的满意度调查显示，各级各类教师最满意的研修课程均为“深入学习贯彻习近平总书记关于教育的重要论述”。师德典型引领、影视中的“国之大者”等模块充分激励了广大教师坚定理想信念、厚植爱国情怀、涵养高尚师德，有助于深化教师职业理想和职业道德教育，推进师德师风建设工作常态化，持续提升教师教书育人能力和教育教学能力。例如，有教师提到“观看张桂梅校长事迹时从头哭到尾，太感人了”“（对）正能量确实发自内心的敬畏”，等等。
3. 推动优质资源共享，助力教育均衡发展
本次研修围绕10门课程合计提供了1,122个视频资源，“全国科学教育暑期学校”线下培训产生的数字化资源也同步上传至平台上供全体教师观看学习。这些数字化资源汇集了国家层面优质的教育教学思想、教育改革理念、教学案例等，为各级各类教师专业发展提供了稳定且有效的支持。访谈数据显示，暑期研修对农村、边远地区教师产生了极大的影响和触动。不少农村、边远地区教师认为，“最新的信息技术教学观点，人工智能离我们乡村、边远地区也这么近”“多举办这样的研修活动，使我们农村教师多接触新鲜的事物，拓宽一下自己的视野”。总体来看，暑期研修在国家层面“实现教师教育普惠、促进教育均衡发展”的目标达成度高，进一步推动了优质教育资源的传播与共享，扩大了优质教育资源覆盖面，使薄弱地区、边远地区教师也能够获得国家级别的优质研修资源，进一步推进了优质资源的均衡配置。
4. 社会各界广泛关注并参与
社会各界广泛关注并参与了本次暑期研修。各省（自治区、直辖市）教育行政部门积极组织，宣传暑期教师研修的开展情况和实效，充分激发教师学习的主动性、积极性。“全国科学教育暑期学校”更带动了国内相关科学机构的参与以及社会层面对科学教育的重视和关注。7月29日“全国科学教育暑期学校”在国家智慧教育平台“暑期教师研修”主题开播，首日观看人次就突破了100万。本次“全国科学教育暑期学校”教师培训活动在北京和11个中国科学院地方分院所在城市举办共12场，截至8月31日，已上线的11场直播与回放合计观看量达到2,210.5万人次。
5. 教师研修模式创新改革的影响深远
暑期研修不仅本身起到了依托智慧教育平台开展在线研修的改革示范作用，而且暑期研修“全国同步开课”还为培育教师研修新模式提供了土壤与条件。数据显示，部分省（自治区、直辖市）和研修机构依托本次“暑期教师研修”专题开展了区域层面更加个性化、本地化的研修活动，包括组织全校教师集中学习、围绕研修内容组织座谈、同学科教师交流学习心得等，探索基于暑期研修的线上线下混合式研修新模式。例如，有教师提到：“在活动中与同学科的老师相互碰撞思维……培训活动为我们搭建了交流的平台”“暑期研修是一座桥，渡老师们过时代的桥、信息的桥，连接现在和未来的桥。搭建起全省同学科教师之间交流的桥”。也有高校将暑期教师研修课程纳入学校暑期教师培训课程体系，交叉开展相关培训。
6. 不同群体教师的研修成效有差异
差异性检验显示，各级各类教师的研修满意度与获得感总体都较高，但不同教师群体间存在显著差异（见表5）。城区教师的研修满意度（M=4.55）和获得感（M=4.50）高于镇区和乡村教师；东部地区教师的研修满意度（M=4.57）和获得感（M=4.53）高于中部和西部地区教师；学前教育教师研修成效最高（M满意度=4.68，M获得感=4.62），高中教师的研修成效略低（M满意度=4.47，M获得感=4.42）。分析结果还显示，三级教师和未定级教师等的研修成效最高（M满意度=4.57，M获得感=4.53），说明暑期研修对于年轻教师和新手教师帮助最大。高级教师的研修成效相对较低（M满意度=4.52，M获得感=4.43），根据访谈数据，其原因可能是部分年龄偏大的教师受限于个人精力，甚至受视力等方面因素影响，如“50岁以上老教师视力差，学不好”。
表5 不同群体教师研修成效的差异性检验
（五）效能评估：暑期研修的可持续性
效能评估通过对教师研修项目进行成本效益分析和影响因素分析，综合评估研修项目的可持续性。本研究基于项目相关文本资料、访谈资料等数据资料，从研修的规模效益与实现教育均衡的成本效益两个方面分析暑期研修的效能，并结合对平台、资源、组织机制等关键影响因素的分析评估全国教师暑期研修的可持续性。
1. 暑期研修具有显著的规模经济效益
研究结果表明，与传统教师培训方式相比，暑期研修具有显著的规模经济效益。暑期研修在41天内完成了全国七成以上、共计1,300余万名教师的研修，且较好地达成了研修目标。从经费成本看，根据2022年3月印发的《教育部教师工作司关于组织2022年职业学校教师国家级培训示范项目申报工作的通知》中“线下集中培训的经费标准为不高于550元/人/天”的预算，按8学时/天计算，组织全国七成以上教师、1,300万人开展培训，仅培训的直接经费支出就将超过70亿元/天。从时间成本看，以“国培”计划为例，国培十年累计培训校长教师超过1,800万人次，年均培训180万人次，以此推算完成1,300余万名教师培训估计需要七年多时间，而暑期研修用时仅40天。从机会成本看，暑期研修为参训教师避免了路途往返、离岗脱产对教学工作的干扰等。
2. 暑期研修具有突出的社会效能
研究结果表明，暑期研修大大降低了促进教育公平的社会成本，体现了突出的社会效能。教育均衡首先需要师资均衡。我国始终非常重视为中西部地区教师、农村边远地区教师提供培训支持，缩小地区差距和城乡差距，促进教育公平。根据联合国教科文组织教师教育中心2020年发布的《“国培计划”蓝皮书（2010—2019）》，十年来“国培计划”为中西部教师提供了至少1次的国家级培训。但受经费、投入成本等因素的影响，依托传统的培训方式仍然无法提供高频率、持续性尤其是能够结合教育改革和发展及时更新的研修服务，欠发达地区、乡村地区教师的参训机会仍然有限。在本次暑期教师研修中，共有736.7万名中西部地区教师参与了研修。如果暑期教师研修能够持续每年开展，就意味着近七成的欠发达地区和乡村地区教师能够获得每年至少一次持续性的与时俱进的高水平研修机会。
3. 建立了网络化组织体系和多级联动的运行机制
研究结果表明，暑期研修建立了紧密高效的网络化组织体系和多级联动的运行机制。研修项目需要有稳健的组织机制、持续稳定运行的支撑平台、不断迭代更新的优质资源等，才能形成有效的可持续性发展。在组织体系方面，暑期研修基于国家智慧教育平台提供了国家、省、市、县、校级区域培训管理账号，形成五级联动，建成了由教育部领导，纵向包括国家、省、市、县、校五级，横向包括基础教育、职业教育、高等教育的网络化组织体系，为暑期研修的顺利开展提供了紧密、高效的组织保障；在运行机制方面，包括决策部门、平台建设部门、省级教育发展部门、相关支持高校和智库在内的多家机构通力合作，共同形成了多方联动的运行机制。不仅能够为未来暑期研修的持续开展提供有力的组织保障，也能够为类似的大规模研修项目提供经验参考。
4. 智慧教育平台能够支持全国范围超大规模教师在线研修
研修平台对于在线研修至关重要。本次暑期研修主要采用基于视频资源的学习方式，视频资源累计时长 500余小时。研修期间，平台累计访问次数已经达到13.04亿次，平均每日296.5万人在线学习。如此巨大的并发访问量对研修平台是巨大的考验。对暑期研修全程跟踪观察显示，尽管是首次承担如此超大规模的在线研修，总体而言国家智慧教育平台为1,300余万名教师提供了稳定、可靠的研修服务和技术支持。调查结果也显示，参训教师对平台使用的满意度较高（M=4.49）。智慧教育平台的稳健性为暑期研修的可持续发展提供了坚实的平台技术支撑。
六、
结论与建议
（一）结论与对全国暑期教师研修的建议
本研究构建了教师研修五范畴评估框架，并探索应用定量、定性与大数据分析相结合的多元化研究方法，对暑期研修进行了系统性评估。研究结果显示，暑期研修是首次面向全国教师同步在线开展，体现了“教育全国一盘棋”；对全面推进教师队伍建设提质增效发挥了积极作用，赋能教师专业发展成效初显；在大规模在线教师研修方式上进行了非常有意义且有成效的成功探索，发挥了教师研修数字化转型的示范作用；展示了教师研修的数字化转型助力教育均衡发展的潜力和可能性；探索了基于国家智慧教育平台的教育应用创新模式，作为典型成功案例将为后续更多创新实践提供宝贵经验。
1. 建立全国暑期教师研修长效制度
应充分认识到暑期研修在教师思想政治引领、教师师德水平提升等方面的重要功能和基础性作用，总结提炼首次开展大规模暑期研修的主要做法和经验，建立暑期研修长期运行制度。同时，进一步完善研修任务要求、组织形式、学时认定等规则，充分论证并修订完善研修整体流程、研修内容总量、时间进度安排，紧密围绕教师反映的新需求以及社会和教育事业发展的新热点、新变化等，积极调整和组织研修资源。
2. 建设完善分层分类的精准化课程资源体系
作为首次全国教师暑期在线研修，本期课程资源受到了参训教师的高度认可。同时，教师又对未来暑期研修表现出多样化、差异化的需求。调查显示，教师对未来研修的需求普遍偏向实践性技能，期待未来研修更具针对性。因此，建议未来暑期研修进一步丰富、完善教师研修主题与内容，广泛征集“教育教学中的普遍问题、特殊问题、热点问题、难点问题、突发问题”，建设完善更多样、更精准、分层分类的课程资源体系。建立生成性资源机制，鼓励吸纳来自研修过程的一线优秀资源作为研修的生成性资源，不断补充完善研修课程资源体系。
3. 依托暑期研修探索更加多样化的研修方式创新
建议进一步以暑期教师研修为抓手探索更加多样化的教师研修方式创新。一方面，鼓励探索更多在线研修活动形式。例如，补充和探索更多互动性和参与性的研修活动，如“实践案例分析”“专题讲座+研讨交流”“直播互动”“经验分享”等。另一方面，鼓励基于暑期研修探索更多线上线下融合的研修新模式与新实践。例如，鼓励地方与学校围绕暑期教师研修专题组织经验交流、心得分享、现场教学观摩、同行交流讨论、实地参观交流、经验与研修心得分享、各地名师互动等，进一步推动研修成果落地，深化暑期研修成效。
4. 继续完善拓展研修平台的服务功能和数据功能
国家智慧教育平台成功支持了首次全国范围的超大规模教师在线研修并积累了宝贵经验，平台功能与支持服务都得到参训教师的高度认可。未来需继续完善研修平台，持续拓展平台功能，实现对生成性资源、多样化研修活动的支持，为参训教师提供更优质的学习体验。同时，进一步提升平台数据的丰富度与颗粒度，更好地发挥教育大数据的作用，为教师研修的数字化转型提供平台技术支持。
（二）对教师研修五范畴评估框架的反思与建议
在智慧教育平台广泛应用、教育数字化转型的时代背景下，急需不断创新符合本土发展特色的评估理论体系与方法体系。本研究基于社会学领域的五范畴评估理论构建了教师研修五范畴评估框架，并以暑期研修为例开展了实证性的应用研究。研究发现，相比于CIPP、五层次模型等，教师研修五范畴评估框架具有以下几个特点：一是兼顾发展性与系统性的诊断性评估；二是理论导向的诊断性评估，五范畴中的理论评估对研修项目设计理念与路径的宏观分析有助于明晰研修项目取得成效的关键因素；三是兼具精准性与可操作性的诊断性评估，五个范畴的层次性及系列引导问题让评估能够实现细粒度与可操作性。
教师研修五范畴评估框架的应用要点：一是该框架给出了系列引导问题和各范畴的典型评价指标，有助于提升评估的细粒度与可操作性，但这些引导问题与典型评价指标并不是一成不变的，在实际应用中研究者和实践者可以根据项目的特点灵活选择和调整；二是综合运用多种研究方法实现定量数据、定性数据、平台行为数据的相互支撑与补充；三是五个范畴的评估为系统性评估提供了清晰的路径保障，但这五个范畴并不是分离的，研究者在对五个范畴进行评估之后更要深入分析五范畴之间的内在联系与影响。例如，需求范畴对理论范畴的影响，理论范畴对实施、影响与效能范畴的影响以及影响的程度等，这也是本研究中讨论尚不够充分之处，将在后续研究中进一步探索完善。
参考文献
向上滑动阅览
陈向明. （2013）. 从教师“专业发展”到教师“专业学习”. 教育发展研究，33（08），1–7.
陈玉琨. （1987）. 教育评估的理论与技术. 广东高等教育出版社.
陈志斌. （2007）. 项目评估学. 南京大学出版社.
冯晓英， 林世员， 骆舒寒， & 王冬冬. （2021）. 教师培训助力教师专业成长提质增效——基于国培项目的年度比较研究. 中国电化教育（07），128–135.
高慧斌. （2018）. 中小学教师远程培训效果实证研究. 教育研究，39（04），98–110.
顾明远. （2022）. 加强教师队伍建设，实现教育现代化. 河北师范大学学报（教育科学版），24（4），1-4，149.
教育部. （2022-09-02）. 教育部举行国家智慧教育平台“暑期教师研修”专题结业仪式. 教育部网站. http：//www.moe.gov.cn/jyb_zzjg/huodong/202209/t20220902_657581.html
教育部. （2022-11-15）. 深入贯彻党的二十大精神 纵深推进教育数字化. 教育部网站. http：//www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/moe_1485/202211/t20221115_991820.html
教育部. （2022-11-18）. 深入学习贯彻党的二十大精神 加快推进教育评价改革落实落地. 教育部网站. http：//www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/moe_1485/202211/t20221118_995844.html
李宝敏, & 闫寒冰. （2017）. 基于CIPP评估模型的教师远程培训质量评估：一项案例研究. 教育发展研究，37（18），30–36.
刘建娥. （2020）. 政府驱动视域下公益创投项目评估及地方实践. 福建论坛（人文社会科学版）（7），180–189.
聂伟进, & 汪卫平. （2021）. 基于柯氏模型的高职教师培训评价体系构建. 教师教育研究，33（2），31–37.
亓俊国，白华， & 高美慧. （2020）. 中小学教师培训效果评估的改进策略研究——基于教师持续性专业发展的视角. 当代教育论坛， （6），77–85.
任友群， 冯晓英， & 何春. （2022）. 数字时代基础教育教师培训供给侧改革初探. 中国远程教育（08），1-8，78.
王超超. （2017）. 教师培训质量评价指标体系框架的构建. 教学与管理（30），55–57.
杨莹. （2021）. 中小学教师继续教育网络学习绩效评估研究——基于我国经济欠发达地区的案例. 广州广播电视大学学报，21（5）， 36-45，109.
张姝, & 邓淑予. （2020）. 论教师培训评估体系的网络结构与运行策略. 四川师范大学学报（社会科学版），47（3），103–109.
郑立海, & 石大维. （2014）. 教师培训项目的效果评估研究——以中国—UNICEF“灾区教师培训”项目为例. 电化教育研究，35（05）， 108–113.
朱旭东. （2022）. 加强高质量基础教育教师队伍建设的重大部署. 人民教育（10），15–17.
Kellaghan, T., & Greaney, V. (2001). Using assessment to improve the quality of education. Retrieved from https://unesdoc.unesco.org/ark:/48223/pf0000126231.
Posavac, E. J., & Carey, R. G. (2007). Program evaluation: Methods and case studies. Pearson Pretice Hall.
Reiser, R. A., & Dempsey, J. V. (2012). Trends and issues in instructional design and technology. Pearson Boston.
Rossi, P. H., Lipsey, M., & Freeman, H. (2004). Evaluation: A systematic approach(7e). Sage.
Construction and Application of Teacher Training Five-Domain Evaluation Framework：Taking 2022 “National SummerTeacher Training” as An Example
Xiaoying Feng， Chun He， Luwen Guo， Shiyuan Lin and Hongtao Sun
Abstract： The education system is experiencing a digital transformation， which requires active exploration of reform and innovation in the teacher training mode and continuous innovation in the evaluation theoretical system and method system compatible with local development characteristics. This study draws on the ideas of evaluation theory in sociology. It combines the current situation of domestic teacher training development and local characteristics to build a teacher training evaluation framework. In addition， the study comprehensively applies diverse research methods of quantitative， qualitative， and big data analysis to systematically evaluate “Summer Teacher Training” from the five domains of need， theory， process， impact， and efficiency. The study believes that “National Summer Teacher Training” is an innovative model of educational application based on the Smart Education of China Platform. As a typical successful case， it will provide valuable experience for more innovative practices in the future.
Keywords： teacher training；online teacher training；evaluation；innovative model；Smart Education of China Platform；teacher capability development；teacher professional development
作者简介
冯晓英，北京师范大学学习设计与学习分析重点实验室教授。
何春，北京师范大学学习设计与学习分析重点实验室博士研究生。
郭璐文，北京师范大学学习设计与学习分析重点实验室硕士研究生。
林世员，北京教育科学研究院终身学习与可持续发展教育研究所助理研究员。
孙洪涛，北京师范大学校务数据管理中心高级工程师。
基金项目：本文系教育部教师工作司委托课题“教师培训监测评估”的研究成果。
责任编辑：单玲
2023年第1期目次