檀慧玲 孙一帆 | 大型教育质量监测项目报告制度要素的比较研究
作者简介
檀慧玲
北京师范大学中国基础教育质量监测协同创新中心副教授
孙一帆
北京师范大学中国基础教育质量监测协同创新中心
摘 要
加强教育质量监测报告的制度化建设是保障报告质量的重要手段。当前我国教育质量监测报告由于制度性引导与规范的不足，一定程度上存在质量不佳、出口不畅、应用阻滞等问题。基于制度构成要素理论，本研究形成由规制性、规范性、文化–认知性及实施–反馈性四要素构成的报告制度要素分析框架。依此框架对国内外大型教育质量监测项目报告制度的构成要素进行比较分析，发现具有通过制定政策或标准规制报告各环节工作、大力拓宽报告类型并据此设计与组织报告内容、注重引导受众对象对监测报告的理解与认同、重视监测数据和结果报告的应用及其影响力的传播等特点。推动完善我国教育质量监测报告的制度化建设，促进报告质量提升和结果应用，需加强针对监测报告的政策规划设计与供给，逐步构建覆盖报告研制全过程的质量保障体系，努力丰富报告类型和持续优化其受众性，结合教育实践需求不断探索和创新监测数据和结果报告的多种应用途径与机制。
关键词： 教育质量监测；报告制度；制度要素
建立健全教育质量监测制度是新时代落实立德树人根本任务、扎实推进教育高质量发展的重要抓手，也是扭转不科学的教育评价导向，系统推进教育评价改革，形成富有时代特点、彰显中国特色、体现世界水平的教育评价体系的重要组成部分。经过多年探索，我国已经建立起了包括监测指标研制、监测工具研发、监测抽样与数据采集、监测数据评分与清理、数据库管理与分析、监测报告研制以及报告结果反馈七大环节与流程在内的国家义务教育质量监测体系。其中，监测报告既是教育质量监测工作的最终出口，也是监测结果应用的关键要素，其质量水平至关重要，而加强制度建设则是保障报告质量的重要手段。
一、问题提出与研究综述
目前已有关于教育质量监测报告的论述或分析主要散见于教育评价、质量监测等相关著作、学术论文和政策文本中，聚焦报告建设的作用及问题两大主题。一方面，部分研究从报告制度建设、报告作用价值、教育政策制定和结果反馈应用四个角度分析和梳理报告建设的重要性及作用。第一，就报告制度建设和完善而言，认为监测报告是基础教育质量监测的核心和重点内容，是建设基础教育质量监测的需要和政策性要求。定期发布监测结果报告标志着我国基础教育质量监测建立起了从“监测”到“改进”的制度闭环。第二，从报告作用价值来看，肯定监测报告的发布能够促进监测数据及结果有效使用，保障利害相关者对学业质量状况的知情权，为区域教育决策提供依据，提升学校或区域教育质量。此外，监测报告还具有宣传科学的教育质量观，树立正确舆论导向等作用。第三，在教育政策制定方面，研究认为采取不同方式对PISA等监测项目的数据进行分析、使用和报告，会对相关教育政策和标准的制定产生影响。第四，从结果反馈应用角度出发，提出监测报告的形式和内容决定了用户对监测数据的理解程度，利用监测报告对监测数据进行展示和反馈是公众获取有效信息的关键。另一方面，已有研究认为由于教育质量监测报告的撰写规范、发布流程安排、质量监督体系、结果应用机制建设欠缺，导致报告还存在表述、图片有明显错误，结果数据错位混淆，专业化名词过多影响公众对报告内容的理解，监测结果难以促进教育质量改进等质量不佳、出口不畅、应用阻滞的问题。当前我国国家义务教育质量监测基本形成了“国家—省—区县”三级监测结果报告与专题研究报告相结合的报告体系，但囿于报告的制度化建设程度不高，制度性规范与引导不足，一定程度上导致了监测报告在组织、研制等各环节欠缺规约性、报告出口不畅、监测结果应用效果乏力。本研究尝试基于制度构成要素理论构建监测报告制度构成要素的分析框架，进而利用该分析框架对国内外大型教育质量监测项目的报告制度构成要素进行剖析和比较研究，以期为我国教育质量监测报告的制度化建设提供参考，促进监测结果应用及其作用价值的有效发挥，推动教育质量监测的高质量可持续发展。
二、报告制度要素分析：从现实问题到分析框架
新制度主义普遍认为可以将制度划分为正式规则，即正式的程序、规范、规则等和非正式规则，即认知、道德、理性等。在此基础上，道格拉斯·诺斯（Douglass Cecil North）和W·理查德·斯科特（W. Richard Scott）进一步对制度要素作出了系统界定和说明。诺斯从经济学角度将制度解构为三种基本要素，包括正式的规则，非正式的惯例、约束以及制度的实施过程。斯科特则从社会学角度将“规制性要素、规范性要素和文化–认知性要素”提炼为支撑制度的三个核心要素，并认为三种制度要素相互支撑、相互作用，共同为制度或活动提供具有弹性的框架。同时，斯科特进一步将“状态”的制度内涵扩展为“过程”的、“动态化”的制度化内涵，强调制度发生作用的动态过程。以经典制度要素理论为基础，结合教育质量监测报告作为监测工作最后一环、结果应用反馈第一环所体现出的鲜明实践性、滞后性和可反馈性特点，将教育质量监测报告制度要素解构为规制性要素、规范性要素、文化–认知性要素及实施–反馈性要素。由此，构建起包括教育质量监测报告相关的政策、制度等规制性要素建设，完善的配套标准、规范体系等规范性要素供给，引导公众对监测报告形成共同理解与一致行动意向的文化–认知性要素凝练，以及注重监测数据、报告的应用、传播与影响力的实践–反馈性要素驱动四个方面的监测报告制度构成要素分析框架（见图1）。
图1 教育质量监测报告制度构成要素分析框架图
资料来源：根据诺斯制度要素理论、斯科特制度要素理论提炼整理。
三、大型教育质量监测项目报告制度特征：基于制度构成要素分析框架
国内外大型教育质量监测项目在报告制度建设方面积累了较为丰富的经验，有效保障了监测报告的质量，极大促进了监测结果的应用和功能发挥。根据前述构建的分析框架，对我国国家义务教育质量监测、国家教育进展评估（National Assessment of Educational Progress，NAEP）、国际学生评估项目（Programme for International Student Assessment，PISA）及国际数学和科学教育趋势评估（Trends in International Mathematics and Science Study，TIMSS）等国内外大型教育质量监测项目的报告制度构成要素进行比较分析，从中探寻下一阶段我国教育质量监测报告制度需加强和完善的着力点。
（一）规制性要素：通过制定强制性政策或标准规约报告各环节工作
规制性要素强调外在的、清晰的规制过程，主要通过法律、政策、规范、制度的权威性及强制性对行为加以明文规定和制约，同时强调对遵守规则的监督及奖惩系统，从而建立起较为稳定的互动结构模式，增强事件或行为的有序性。某一制度的合法性及其制度化过程需要具有强制性的规制性要素予以保障。分析发现，各大型教育质量监测项目主要采用政府颁布强制性政策及通过制定相应操作标准两种方式来指导和规制监测报告的撰写、发布等环节。
第一，政府相关部门颁布强制性政策文本规制报告各环节工作。如NAEP的政策制定机构美国国家评价管理委员会（National Assessment Governing Board，NAGB）负责制定结果报告的撰写和发布细则，对报告使用的语言、发布时间、发布途径及报告卡的设计等进行详细规定。教育部印发的《国家义务教育质量监测方案（2021年修订版）》（以下简称《监测方案》），明确规定我国国家义务教育质量监测要分级分类研制形成国家监测报告、分省监测报告、区县监测诊断报告、政策咨询报告四类，并对各类报告的目的及内容进行简要说明。NAEP及中国国家教育质量监测项目充分发挥政府组织、监督实施的突出特征，利用强制性政策工具为监测报告制度化建设提供了具有较强约束力的规制性依据。第二，通过制定相应的操作标准为报告各环节提供规制性指导。如PISA历经数年发展，形成了一套报告质量保障标准，要求各参与国尽量按固定流程和标准进行监测抽样、数据采集工作，方便后续统一进行数据分析、结果呈现等工作。TIMSS也通过国际质量保证计划（International Quality Assurance Program，IQAP）制定和不断调整数据收集、报告发布的标准化程序，并派出国际质量控制监察员（International Quality Control Monitors，IQCMs）深入样本学校进行实地考察，以确保数据收集、报告形成及发布等环节的标准化。但相较于NAEP、PISA注重从微观层面制定政策，并对报告设计、报告发布时间、方式、语言等方面进行详细规定以最大限度保证报告的规范性而言，我国国家义务教育质量监测则更多偏向从宏观层面提出要求，为报告研制的标准、责任主体、类型、发布方式、渠道和对象等方面提供方向性指导，但缺乏贯穿监测报告形成全过程、各环节、具有较强针对性和操作性的政策制度牵引和规范。从央–地政策协同的角度来看，省级层面也暂未针对地方教育质量监测报告撰写、发布等出台具体的执行、落实和操作要求及细则等，在一定程度上限制了政策的规制力和有效性。
（二）规范性要素：大力拓宽报告类型并根据不同报告类型设计和组织报告内容
规范性要素强调制度中说明性、评价性、义务性的维度，既能够确定目标，同时又确定追求目标的适当方式。规范性要素是一套包括价值观和规范在内的集合系统，其中，价值观界定人们比较和评价现存结构或行为的各种标准，凸显社会价值追求，规范则规定事情应如何完成，并为人们提供追求价值目标的合法方式或手段，如制定相应行为规范等。在教育质量监测报告制度建设中，规范性要素主要表现为设计和明确具有引导性的行动目标和操作规范，如根据报告的面向对象、突出特征及主要目的等确定报告类型，并根据不同的报告类型设计报告内容，保证报告的规范性。总的来说，各大型教育质量监测项目均形成了分层分类的多种报告类型（见表1），并根据各类报告的主要目的与内容，有针对性地设计和组织相关报告内容。
以社会公众、教育研究人员、政策制定者等不同阅读对象的需求为基础，结合监测框架设计、监测结果展示、监测结果影响因素探讨等目的，大致可将国内外大型教育质量监测项目发布的报告分为结果分析报告、专项研究报告及其他配套报告三种类型。一是结果分析报告。该类报告一般面向社会公众公开发布，主要呈现测评结果、影响学生发展及学生学业成就的相关因素等内容。如《PISA 2018结果报告第一卷：学生掌握的知识和技能》中详细报告了各参测国学生阅读素养的发展水平，并对学生的阅读素养得分进行国家间横向比较以及国家内时间维度上的纵向比较。同时，该报告还对“社会经济背景”因素如何影响学生的学业成就进行了深入分析与评估。二是专项研究报告。该类报告一般将研究人员作为主要阅读对象，针对监测中发现的某一问题或现象，就其原因、影响因素、可能后果、改进措施等进行深入论证分析。如《NAEP 2021学校和教师问卷特别研究》以新冠疫情背景下的远程教学为对象，详细调查了新冠疫情对学生和教育工作者的影响，深入了解学校管理人员、教师是如何开展并支持在线教学活动的。三是其他配套报告。该类报告涵盖技术报告、监测框架设计报告等多种类型，主要面向研究人员，详细介绍监测工具、方法、手段及相关技术标准，具有较强专业性。如《TIMSS 2019测评框架报告》详细说明了TIMSS测评的总体框架设计、数学及科学科目的测评框架设计和背景调查问卷的设计主题等内容。与PISA、NAEP、TIMSS注重面向社会公众、教育研究者公开报告内容不同的是，我国义务教育质量监测更侧重于面向各级各类教育行政管理部门及相关人员提交报告，如分省监测报告、区县监测诊断报告、专题报告及技术报告仅面向政府及教育行政管理部门而不对社会公众发布，具有较强的“对上意味”。此外，报告内容设计标准、报告质量评价标准等监督与保障机制的建立也需进一步完善和加强，特别是缺乏针对报告撰写质量的保障和监督标准及依据等。
（三）文化–认知性要素：注重引导不同受众对象对监测报告的理解与认同
“文化–认知性”要素聚焦和强调制度的文化认知层面，考虑行动者对行动的主观理解与认知状况。“文化–认知性”要素是制度体系中最深层次的构成要素，旨在寻求共同理解、共同意义，强调人们对某一新兴制度产生的内生性认同支撑、共同信念和意义框架，进而产生共同行动逻辑。文化提供了思考、情感和行动的模式，制约着个体与组织的角色选择与行动构建，是制度化行为背后最重要的驱动力。就教育质量监测报告的制度化建设而言，公众是否对监测报告形成自觉的理解认同和一致的行动意向，对监测报告的制度化建设及监测结果的应用转化至关重要。
目前国内外大型教育质量监测项目主要采取优化报告内容和提供交互式阅读体验来提升公众对报告内容的兴趣与理解程度，进而促进公众形成对监测报告的理解与认同。如NAEP的政策制定机构美国国家评价管理委员会（NAGB），会采取各种方式向社会公众宣传NAEP结果报告，以此来激发公众对结果报告的关注和兴趣。同时，在编写结果报告过程中，NAGB会根据报告阅读者的意见定期向执行机构美国国家教育统计中心（National Center for Education Statistics，NCES）提供反馈，并要求相关机构对报告内容进行优化和完善，提升报告的受众性。经过数十年的发展，与早期的报告相比，当前的NAEP报告卡架构清晰、内容翔实，摒弃了晦涩难懂的测量公式与专业术语，更多采用直白易懂的语言并辅以彩色图片、表格等形式来展现测评结果，最大程度减少读者的阅读困难，促进读者对报告内容的理解。此外，NAEP开发和采用了数据可视化工具，利用动画、图片、视频等形式动态、直观地呈现监测数据和报告内容。读者可借助智能终端“交互式阅读”结果数据，与数据进行“互动”，直观了解报告内容，进而充分调动读者对监测报告的阅读兴趣，增强公众对监测报告的理解和认可程度。
我国苏州市教育质量监测中心针对监测结果公开发布社会版结果报告，采用非专业化的语言详细剖析监测数据背后隐藏的信息，并以家长、学校等为阅读对象，深入解读影响学生发展及学业成就的相关因素，引导公众关注监测结果，并达成一致认识。相较而言，我国国家义务教育质量监测公开发布的结果报告种类较少、开放程度较低，报告的“对上意味”及学术性较强。这在一定程度上使得学生、家长、教师等“非专业人士”在阅读监测报告时存在困难，无法准确理解和把握报告内容，较难形成对报告的认可。同时，部分地方政府关于评估监测的理念认识还存在偏差，在面对监测报告和结果数据时依旧无法摒弃“根据监测结果对学校排名排队”的错误思想，无法将监测结果转化为用于指导改进教育教学实践的行动策略，制约了教育质量监测作用的充分有效发挥。
（四）实施–反馈性要素：重视监测数据及报告的应用及其传播和影响
“实施–反馈性”要素着眼于监测报告的鲜明实践性、应用性及增值性特点，重视监测数据的开放性和应用性，同时注重监测报告的传播和应用。第一，在监测数据的开放与使用方面，NAEP、PISA、TIMSS都直接面向社会公众开放原始数据，并在其官网上设计交互性数据检索系统，方便相关使用者根据自身需求检索和分析不同数据，提高了数据使用的灵活性和效率。同时，不同使用者基于监测数据形成的各类研究成果的发表和传播也大大提升了相应测评项目的影响力。相较而言，如何基于我国国家义务教育质量监测的特点及需要，逐步实现其数据库的相应权限开放，提高监测数据使用的广度与深度，充分发挥教育质量监测对引导全党全社会树立科学的教育发展观、人才成长观等方面的价值导向作用，全方位发挥监测影响力，有待进一步的探索与思考。第二，在监测报告的应用和传播方面，部分国际大型教育质量监测项目监测报告的影响力非常大，甚至能够对全球的教育政策制定及教育教学实践产生深刻影响。如PISA的结果分析报告能够帮助各参测国评估判断本国的国际排名、发展趋势，促使各参测国知晓本国教育体系存在的问题，为本国教育政策革新提供指引和实证依据。德国、日本、瑞士、丹麦等国家和地区就曾根据PISA结果报告分析自身教育系统存在的弱点，对标PISA标准对本国的课程体系、学制年限及评估体系等进行了改革。我国国家义务教育质量监测形成了“书面反馈与现场报告反馈相结合”的报告反馈模式，由上级督导部门、监测机构专业人员基于监测结果报告向下级相关单位进行专业解读。
四、加强和完善我国教育质量监测报告制度的进路与突破
进一步完善我国教育质量监测报告制度，必须强化规制性、规范性、文化–认知、实践–反馈四方面要素，并大力促进各要素之间的相互作用、互动互构，以制度建设保障监测报告的科学化、标准化和高质量。
（一）加强规制：完善政策规划设计与供给，规制监测报告全流程各环节
加强国家层面的政策规划引领和地方层面的配套政策设计，积极发挥央–地政策协同影响，进一步增加教育质量监测报告的政策供给，改善宏观政策与制度环境，在为报告制度建设提供规制性基础支撑的同时保障其他要素作用的发挥。一方面，国家层面需进一步完善政策规划设计，加强统筹协调。通过国家公共权力的强制手段，针对监测报告撰写、发布、审核等环节缺乏具体要求的政策薄弱点，在现行《监测方案》基础上继续健全和完善具有指导性、适应性和针对性的相关政策规划，织紧织密监测报告质量保障的政策网。加强对相关政策制度实施情况的监督检查，实现全局性、全方位、全过程的监督管理和规制引导。另一方面，各级地方政府应以国家政策为导向，结合区域实际情况，制定和落实具有区域特色的具体制度和政策细则，建立起央–地协同的政策体系。可针对报告撰写、报告发布、报告审核等环节，以地方政策规章形式，结合区域实际和区域特色，从“人财物”三方面制定政策细则，实现对监测报告质量的政策保障。同时，各级地方政府需探索建立各部门合作共建的配套体制机制，明确相关实施及管理部门的责任和义务，进一步规制监测报告管理体系，为实现监测报告的高质量产出和有序管理提供政策合力。
（二）建立规范：逐步构建覆盖报告全过程的规范性质量保障体系，提升报告质量水平
建立并完善监测报告质量监督与保障体系，能够保障监测报告全链条各环节的专业性、科学性，为报告制度建设提供规范性工具。一方面，制定一套客观、科学的标准体系。针对监测报告的内容设计、出口质量标准等制定规范、标准、指南类文件，规范报告在设计、撰写、审核、发布等各环节的工作程序和方法，提升监测报告标准化水平，提升其可信度和说服力。另一方面，建立多元主体协同参与的监测报告质量监督体系，加强监测报告质量文化建设。积极构建以报告撰写单位质量保证为基础，教育行政和督导部门监管为引导，专业第三方机构、学校、教师、家长积极参与的内部质量保证和外部质量监督相结合的质量保障体系，明确各主体在其中的责权利分配。在此基础上，逐步建立起多元主体共同参与的过程前准备、过程中监管、过程后负责的全流程保障机制。同时，通过质量保障体系的建设，进一步明确提升监测报告规范性的重要意义，引导相关单位及主体增强监测报告质量意识，提升监测报告质量保障能力。
（三）增强文化–认知：丰富报告类型、提高报告可读性，激发公众对教育质量的共同认知
引导公众认识到教育质量监测及其结果的价值内涵与意义所在，提升监测报告的社会共识和认同度，能够为报告制度建设提供“文化–认知”保障。第一，丰富报告类型。准确定位报告对象，开发针对不同层级、不同主体的多种类型报告。比如，在已有报告类型基础上，以县域为单位，开发针对一线教师及校长的校级监测结果报告，结合区域定位及特色深入解读结果数据，剖析学生发展水平及存在的问题，为县域内学校调整教育教学内容和手段提供实证性证据，提升教师及校长对监测结果的认同感和重视程度。第二，优化报告内容。在撰写报告时注意符合公众的认知水平和阅读习惯，提升报告可读性。一方面，基于监测结果反映的教育热点、难点问题，采用非专业、通俗性的语言进一步深入分析该问题的成因、影响因素、可能后果和改进措施等，促进公众对报告内容的理解和认同，引导公众树立正确的教育发展观与质量观。另一方面，借助新媒体等手段，适当采取动画、交互阅读等形式动态、直观地呈现报告内容，促进监测数据动态可视化，最大程度扫清公众的阅读障碍，激发公众对监测报告的阅读兴趣，促进公众对报告内容的理解，引导全社会树立科学的教育发展观和人才成长观。
（四）促进实践–反馈：结合实践需求积极探索和创新监测结果数据及报告的多种应用途径与机制
作为监测结果的载体之一，监测报告并不能完全替代监测数据来全面反应监测结果。仅通过监测报告对结果进行反馈，不仅削弱了监测结果的内涵，同时也限制了监测结果的应用范围和程度。因此，有必要对监测数据进行深入挖掘与分析，并对监测结果进行全面把握与解读。在监测数据的开放与应用方面，以保障数据安全为基础，以教育教学实践需求为导向，分步适度开放监测数据。首先，进一步完善数据管理制度，保障数据安全。坚持“谁使用，谁负责”原则，将数据使用与管理责任落实到人，保障数据安全。同时，综合数据的使用及反馈情况明确并及时调整数据开放领域、数据更新类型与频率等，分步骤适当向用户开放内容更多样、应用价值更高的监测数据资料。其次，在对监测数据进行筛选、清洗、脱敏处理后，可适度授权给部分教育决策与管理人员、研究人员等访问和使用开放数据库，方便用户根据需求基于监测数据进行专题分析与学术研究等，促进监测数据使用向广、深拓展。在提升监测结果的应用方面，以数据的深入挖掘与分析为基础，提供更加精准和更具个性化的结果报告，促进结果应用。第一，积极回应教育实践一线的个性化需求，开发包括专题分析报告、亮点及问题分析报告、跨年度及跨学科比较报告等在内的具有针对性、精准性的监测结果报告，实现对地方教育发展状况深入全面细致的诊断和“深描”，提升区域和地方监测的“获得感”。第二，创新报告应用途径和形式，探索构建基于监测结果的调研反馈及改进机制。如组建由监测评价、教育研究、督学等多领域专业人员构成的调研团队，就监测结果反映的状况及问题，深入省市、区县、学校等进行实地调研，紧密结合教育实践所处的真实情境，深度挖掘和分析问题成因，形成基于监测结果的教育质量改进策略，促进教育质量的提升。
（公众号排版限制，参考文献请见纸刊。）
● 引用本文
檀慧玲,孙一帆.大型教育质量监测项目报告制度要素的比较研究[J].比较教育学报,2024(01):44-55.