杨文登 | 美国课后服务循证评估研究
✦杨文登，男，广州大学教育学院博士，教授，副院长。
美国课后服务是一项儿童福利，具有完善的法律法规、政府强有力的资金支持、成熟的监督评价体系等特点。[1]据美国课后服务联盟（Afterschool Alliance）的调查，2014年，美国已有近1/3的家庭、约1020万儿童参与了课后服务；如果课后服务项目的资源足够，尚有1940万儿童希望参与。[2]2018年10月，美国进行的另一项全国性调查也发现，不分性别、种族、年龄、地区和党派，89%的受访者认为课后服务对他们的社区非常重要。[3]如何规范课后服务行业，评估各类服务项目的有效性，让学生与家长能有最大获益，是美国社会大众、各级政府、资本市场及学术界共同关注的问题。文章从课后服务循证评估(evidence-based evaluation)的角度切入，探讨美国课后服务循证评估的历史、类别、实施、重要结论及平台资源，并简要分析其存在的问题以及未来的发展方向。
一、美国课后服务循证评估的兴起
（一）课后服务行业发展的内在要求
美国课后服务的历史悠久。最早可以追溯到1881年玛丽亚·洛芙（Maria Love）创建的日托机构“菲奇托儿所”（Fitch Creche），其初衷是协助工作的父母解决学生放学后的托管问题。但早年的美国总体上更关注提升托管学生的数量，对托管质量的关注度相对低一些。到20世纪末期，美国母亲就业比率直线上升，从1955年的38%增加到1995年的76%；[4]得不到家庭照管的儿童，不得不暴露于美国城镇化所带来的更不稳定、更为复杂的社区环境。因此，课后服务的需求激增，1991年，全美仍只有320万儿童参加各类课后服务项目，到1997年，这一数字翻了一番，达到670万。[5]
参与课后服务学生人数的激增引发了全美对服务质量的高度关注。事实上，美国课后服务项目的确鱼龙混杂，质量良莠不齐。既有源于1860年的“男孩女孩俱乐部”(Boys & Girls Clubs)、建于1902年的“4-H”(Head, Heart, Hands, and Health)青少年组织等规模超大、投入超多的老牌课后服务项目，也有体量较小、创建时间不长但为数不少的私营机构。政府与社会大众均希望能对这些项目进行循证评估，通过科学的方式、以严谨的研究证据来检视课后服务项目的效果，指导相关政策的制定，决定财政资助的数量，最终协助家长与儿童选择并接受最好的课后服务。
（二）时代精神与社会需求的外部推动
循证评估不仅是美国课后服务行业自身发展的需要，也是整个时代精神与社会需求的产物。20世纪60年代，美国政府将老人、小孩及贫穷人口纳入医疗保险，通过了“联邦医疗保险计划”和“医疗补助计划”。这些计划的实施使美国的税负陡然加重，社会各界希望纳税人的每一分钱都能得到有效的利用，问责制、去专业化与循证实践理念应运而生。政府和社会大众对专家进行监督与问责，要求他们基于严格的证据进行实践：医生必须遵循证据治病，避免经验医疗与过度治疗；教师必须遵循证据进行有效教学，避免学生低效学习甚至受到源自教学的伤害。2002年，布什政府通过《不让一个孩子掉队法》（No Child Left Behind Act，NCLB），强调教育一定要基于研究证据；2015年，奥巴马政府对NCLB进行了修订，颁布了《每个学生成功法案》（Every Student Succeed Act, ESSA），强调推动循证教育（evidence-based education），要求各州各地教育机构所进行的活动、策略或干预措施，都应在一定程度上遵循已被研究证实能有效促进学生发展的证据。[6]
课后服务作为广义教育的一种类型，同样受到循证教育理念的影响。值得一提的是，美国联邦政府唯一赞助的课后服务项目——21世纪社区学习中心项目（21stCentury Community Learning Centers, 21stCCLC），就是由重视循证教育的ESSA所授权的。政府每年会投入大量资金，近20年来基本上稳定在每年10亿美元左右，2019年资助的金额为12.22亿美元，高投入必然要求高产出，要对产出的成果进行科学评估。这在客观上带动了整个课后服务行业对质量评估的关注，政府与相关机构纷纷要求对课后服务项目进行循证评估，确保资金的有限投入能获得最大收益。
因此，从21世纪初至今，美国课后服务项目评估的数量迅速增多、类型逐渐细化、方法不断成熟，已经获得了一批较为一致的结论，建设了几个大型的循证评估平台。尽管与主流的学校教育相比，美国课后服务循证评估的数量与质量均有巨大的提升空间，但它确实进行了一系列颇具启发意义的探索。
二、课后服务循证评估的类型与实施
（一）循证评估的类型
课后服务的循证评估按照不同的分类标准，可以分成不同的类型。从评估进行的时机及目的来分，循证评估一般可分为形成性评估(formative evaluation)和影响性评估(impact evaluation)两种。形成性评估是过程性的，主要收集即时的反馈信息，查看项目在教师培训、人员配备、场所建设、材料准备、活动实施等方面的执行情况，评估项目的哪些内容可以做出改变；目标主要是评估与监控项目的执行情况，帮助实施者更好地开展项目，让参与的学生能最大地获益。影响评估是总结性的，主要是对课后服务项目实施一段时间后的效果进行综合性评估，重点关注学生在参与项目后，在营养与健康、学业成绩、毕业率与辍学率、犯罪与问题行为、社会情感学习技能、教育公平等方面发生的改变；目标主要是对项目实施进行全面考评，决定是否继续提供财政资助或进行重大调整。
从评估的对象来看，课后服务的循证评估一般分为两种：一是针对项目机构的绩效评估，通过数据的收集，了解机构是否按预定计划开展了活动、在出勤率和人员配备方面表现如何、项目开展的环境是否合适等；二是针对学生发展的成果评估，了解课后服务对参与服务的学生、家长及整个社区的影响，把握学生在哪些方面取得了何等程度的进展。
从执行评估的主体来看，课后服务循证评估可分为三类。一是以机构为主体的自我评估，主要是了解参与课后服务各方（包括家长、学生、资助者、政府官员及合作企业等）的需求是否得到了满足，以便规划机构的未来方向与发展重点。二是资金提供者委托的第三方评估。资金提供者一般包括联邦与各州政府以及莫特基金会（Charles Stewart Mott Foundation）、开放社会基金会（Open Society Foundation）等基金会，它们委托第三方评估机构进行比自评更严格、更独立、更专业的评估，目的是全面呈现评估机构的现状，查找可能存在的问题，并决定接下来继续资助的金额。三是学者进行的学术评估。主要是学者出于学术目标，为了解课后服务的相关情况而进行的评估。其评估方式既可能是对已有文献的元分析综述，也可能是出于学术兴趣而对机构进行严谨的原始评估研究。
（二）循证评估的实施
2019年7月，美国课后服务联盟以博客的形式连续推出了三期《评估课后服务项目：评估基础》，对课后服务项目的评估过程与方法进行了简要说明。下文以此为基础，结合其他文献，分五个步骤总结了循证评估的实施过程。
第一步，筹措评估资金、形成评估小组并确定评估目标。一般来说，评估的资金来源有学术研究基金、项目的自评基金及政府与其他管理机构的委托评估资金。评估小组成员可以是学术研究者、评估机构的专业人员或其他相关人员。评估的目标不尽相同，包括了解学生的获益情况、项目执行的现状与问题、促进项目的发展或决定是否进行后续资助等。
第二步，确定评估问题。根据评估目标，将其具体化为能进行实证研究的评估问题。例如：项目的硬件设施是否达标，生师比是否足够，服务实施过程是否规范，学生的学习动机是否增强，学业成绩是否提高，问题行为是否减少，一般能力是否提升，等等。
第三步，选择合适的评估类型与评估方法。如果评估目标是监控与改进项目的进展，可以采取形成性评估的方式，使用调查法调查员工的态度，利用《实施过程检查表》了解员工的具体表现，采用焦点小组讨论法了解学生参与项目的体验；如果评估目标是终结性、考核性的，可以采取影响评估的方式，使用问卷调查、访谈、随机对照实验等方法来了解学生在身体、认知、社会技能等方面的进展，把握项目执行与感兴趣的变量之间存在的联系。
第四步，具体实施。按照上述确定的评估类型与方法，评估小组开展具体评估。在评估过程中，评估小组可以与当地的教育行政部门、州立大学与社区大学等合作，利用相关的行政与学术资源，深入项目开展调研、访谈或实验研究，收集数据并进行统计分析。
第五步，撰写并提交评估报告。围绕评估目标及设定的评估问题，评估小组分析数据并撰写报告，向社会大众或委托方提交最终评估结果。让报告阅读者了解参与学生有何体验、有何发展；掌握家长、项目执行者、资助者各方对项目的认知、意愿与态度，以便更好地促进学生身体、知识与技能的发展。
美国还专门建立了课后服务循证评估的数据库，比较完善的有以下两个：一是课后服务项目效果数据库（Afterschool Impacts Database），由美国课后服务联盟创建，收集了约100个课后服务有效性评估的证据；二是课后服务研究与评估数据库（Out-of-School Time Program Research and Evaluation Database），由全球家庭研究项目（Global Family Research Project）主管，收录了数十个课后服务项目的评估数据。此外，坎贝尔协作网与其他平台也提供相关资源，如课后服务的专业期刊《扩展学习机会杂志》（Journal of Expanded Learning Opportunities）与《课后服务事项》（Afterschool Matters），以及美国各州对21stCCLC撰写的年度评估报告等，均是循证评估的重要资源平台。
三、美国课后服务循证评估的重要结论
（一）提高学业表现
课后服务项目能提升学生的学科成绩。对华盛顿21st CCLC的一项评估研究发现，定期参加项目的学生比没有参加项目的学生阅读成绩与数学成绩更好、平均学分绩点更高。[7]另一项纳入了35项研究的元分析发现，课后服务能提升学生的阅读成绩（尤其是小学与高中阶段）与数学成绩（尤其是初中与高中阶段）。[8]在两年的时间里，与没有参加课后服务项目的学生相比，定期参与高质量课后服务项目的学生的数学成绩提高了20%。[9]对于英语学习者来说，参与课后服务项目25天，他们被评定为英语流利的可能性增加了25%；参与100天增加了40%的可能性；参与100天或更长时间的学生，在英语测试中取得更好成绩的可能性，比那些不经常参加课后服务的学生高出约20%。[10]对美国3～6年级学生进行的调查发现，在控制了学年初的成绩、社会经济地位、性别和年龄等因素之后，参与课后服务项目的学生在学年末的数学、科学、阅读和语言成绩上均有明显提高，且参与项目时间更长的学生提高更多。[11]
（二）增加学校出勤率
2016年，对得克萨斯州21stCCLC的评估发现，高质量的课后服务项目能提高出勤率，参加60天或60天以上时间的学生出勤率比没有参加项目的学生高19%。[12]定期参加新泽西21stCCLC的学生与不参加的同龄人相比，出勤率显著增加；在课后服务项目中出勤率更高的学生（参加该项目70天或更长时间），在学校学习时旷课率更低。[13] 加州奥克兰课后服务项目评估组的研究发现，2010—2011年度，参加项目的学生在出勤率方面有了显著提高，长期缺勤率有所下降，20,329名学生在校天数共增加了35,343天。[14]对68项课后服务项目的研究进行元分析研究发现，参加循证课后服务项目的学生的出勤率显著提高。[15]美国课后服务联盟的一项研究也发现，课后服务项目对学生的自我概念和决策产生积极影响，更好地保护了学生的安全与健康，有效地减少了旷课率，提升了学生的出勤率及学习参与度。[16]
（三）改善课堂参与度
一项对美国8个州近3000名来自城市和农村社区低收入家庭的中小学生进行的研究发现，经常参加高质量课后活动的学生改善了课堂学习习惯及对困难任务的坚持性。[17]对北达科他州21stCCLC的评估发现，约75%的家长认为，参与课后服务项目的学生对学校的态度显著改善；教师也报告60%的学生提高了项目参与度，超过一半（51%）的学生上学积极性明显提高。[18]在对新罕布什尔州21stCCLC的评估中（2013—2016年），校长报告在定期参加项目的学生中，平均约75%的学生对学校的态度有明显改善。[19]对西弗吉尼亚州21st CCLC进行的评估中，教师报告在参与项目的学生中，近70%的学生完成了家庭作业，课堂参与度也有一定的提高。[20]
（四）降低问题行为
课后服务能减少辍学的可能性。对洛杉矶课后服务项目的一项研究发现，参加该项目两年的9年级学生的辍学率明显低于未参与者，且至少参加3年项目的学生与未参与者的差异最大；对该项目长期效果的研究还发现，参与该项目对降低低收入家庭学生的辍学率有显著影响。[21]对得克萨斯州21st CCLC的评估发现，定期参加项目的学生违纪行为明显较少，且达到统计学显著水平，参加项目60天或以上的高中生在校违纪行为比未参加该项目的学生低23%。[22]另一项研究评估了33名高风险青少年参与者（如逃学、被开除、严重行为不良、高度贫穷或学业水平落后同龄人两年），在参与项目期间对其进行学业辅导、团体咨询及社会活动等综合干预，这些学生两年后的基本技能水平至少提高了两个年级，出勤率明显提高，没有一个学生停学或被开除。[23]一项纳入了68个研究的元分析发现，课后服务项目能显著增进积极社会行为，减少药物使用和问题行为。[24]
（五）提升社会情感学习技能
课外服务项目能为学生提供获得社会情感学习技能（social-emotional learning skills）的机会，这些技能包括主动、合作、创造性地解决问题及培养责任感等。[25]2005年，一项研究分析了之前20年关于“男孩女孩俱乐部”的研究，认为该项目可以增进学生的职业规划，改善他们对待学校的态度，形成更为积极的人际关系。[26]2011年，一项针对芝加哥课后服务项目的评估发现，参与项目的学生报告自我调节能力显著提高，问题行为少于没有参与项目的同龄人，原因是这些青少年更能控制自己的注意力，更懂得管理自己的情绪，更少参与吸毒及帮派活动。[27]在内华达州21st CCLC的评估中，教师报告有61%定期参加项目的学生与其他学生相处更好，60%的学生改善了他们的课堂行为；99%的家长认为参与项目对自己及孩子的生活有积极的影响。[28]
（六）其他影响
2015年，一项纳入31项研究的元分析显示，放学后久坐不动的行为与学生的年龄呈正相关，年龄越大久坐不动的行为越多；[29]另一项纳入6项研究的元分析也发现，课后服务的体育活动能显著减轻肥胖与超重男孩的体重[30]。还有一些研究认为，由于课后服务项目具有一定的福利属性，无须支付太多金钱就可以参与，因此它有利于促进教育公平，让低收入家庭的学生享受更公平、更优质的教育资源。[31]
四、课后服务评估研究存在的问题
（一）组间混淆变量难以控制
由于学生参与课后服务项目的形式是自愿的，选择是否允许孩子参加课后服务的父母之间本身就存在不同，自愿参加课后服务的学生与不愿且没有参加的学生之间也可能存在系统性差异。即使对比研究得出了显著差异的结论，仍然不能确定效果的差异是由样本本身的差异导致的，还是由于参加了课后服务而导致的。比如，积极参加课后活动的学生的学业成绩更好，这可能是参与课后服务的学生主观上更为努力，更有意愿改善自身的学业成绩。参与课后服务项目的学生更少出现犯罪或违纪等问题行为，有可能与参与课后服务的学生本身有更高的亲社会意愿和行为相关。将开设与未开设课后服务项目的学校进行对比研究，即使发现参与课后服务学校的学生整体成绩更好，也不能排除这是否由两所学校原本水平的差异所导致。
（二）组内难以保证同质性
当前，课后服务的研究大多是调查研究，少有实验或干预研究。即使有实验或干预研究，也绝大部分都是真实世界的研究(real word study)，而不是随机对照研究(randomized controlled trial)。因此，在进行实验或干预分组的时候，更多是按真实情境进行方便取样，很难保证分组的同质性。比如，由于课后服务没有强制要求，参加实验或干预的学生最终参与课后服务项目的频率、时长、投入程度均不一样，这样的实验组本身就是不同质的。2004年一项对四个21stCCLC的评估研究发现，项目每周会运营4～5天，但小学生平均每周只参加1.9天的课程，中学生平均每周只参加0.9天。[32]很明显，参与服务时长的不同会导致学生获益的不同，但这些学生在许多研究中被归入同一实验组。如果将实验组学生与完全没有参与课后服务项目的学生进行比较，即使结果存在差异，也难以判定此差异是实验或干预组与对照组的组间差异，还是实验组内本身存在的差异。
（三）其他问题
第一，部分评估研究存在被试脱落问题。由于课后服务的非强制性，在评估研究的过程中，一些被试因某些原因（如搬家、经济状况或家庭监管不严等）不再参与研究，导致实验（或干预）被试数量下降，进而严重威胁到研究结论的可靠性。比如，有研究发现，可能最需要参与课后服务的学生反而最容易脱落[33]，这会潜在地对研究结果产生重大影响。第二，部分评估研究的生态学效度存在问题。比如，美国大部分课后服务评估研究考察的是中产阶层的白人学生，其研究结果很难推广到贫困阶层、有色人群或其他少数族裔儿童。第三，由于研究角度及研究设计的不同，有些研究的结果相互矛盾，同一项目从不同维度采取不同的研究设计会得出不同的研究结论。
五、结语
课后服务是政府、中小学校、社区活动中心、校外托管机构多个部门通力协作，促进学生全面、健康发展的教育方式，也是解放家长、帮助家长解决中小学生放学后难以监管的现实难题，进一步增进国民幸福感的民生工程。美国联邦与各州政府每年投入数十亿的资金，对各类课后服务项目进行循证评估，这既是行业发展的必然要求，也是对问责、专业等时代精神的积极回应。
过去数十年间，美国政府与“课后服务联盟”等机构对各类课后服务项目进行了大量评估研究，得出了课后服务能提高学生的学业成绩、增加学校出勤率、改善课堂参与度、降低问题行为、提升社会情感学习技能、促进营养与健康等评估结论，建立了“课后服务项目效果数据库”“课后服务研究与评估数据库”等可供网络检索的循证评估资源平台。总体来说，课后服务的循证评估取得了不俗的成绩，但当前调查类的原始评估研究偏多，实验与干预研究偏少，存在着组间变量容易混淆、组内难以保证同质性、被试脱落率高、可推广性不强及研究设计不严谨等问题。
未来，政府管理部门推行循证决策是大势所趋。[34]课后服务的循证评估将显得更为重要，它将继续以追求“最有效的课后服务”为目标，以“遵循最佳研究”为手段，促进课后服务的内容、形式与过程的不断变化。首先，课后服务的内容将不断“精细化”。课后服务将协调与家庭教育、学校教育的关系，谋求“错位发展”，教会学生在学校或家庭“没有教”或“没教好”的内容，如学习策略、时间管理、情绪管理、生命意义、劳动意识、创新思维、问题解决、传统文化、体育艺术、社会责任、国家认同、国际视野、自我发展、价值观与世界观等。其次，课后服务的形式将不断“项目化”。它们将选择某个具体的课后服务领域，以“项目”(program)形式进行推广，专项促进学生某一领域的能力发展，并进行必要的效果评估。最后，课后服务的过程将不断“标准化”。它们将有着严格的操作程序，能被其他课后服务者所复制，既能对其他服务者进行大力推广，又能方便研究者进行循证评估研究。总之，课后服务循证评估的最终目标是通过效果评估，尽力促进学生的全面发展，让学生能够获得更高质量的课后服务。
（因篇幅限制，详细参考文献信息见纸刊）
▼往期精彩回顾▼徐辉 | 改革开放以来我国教育援助的政治理念与实践策略
刘宝存，王婷钰 | 人类命运共同体理念下的比较教育：可为、应为与何为
滕珺，吴诗琪 | 党领导下的中国对全球教育治理的三大贡献
本文刊登于《比较教育研究》2021年08期，若转载请注明出处。
总发行处：北京报刊发行局
订购：全国各地邮局
邮发代号：2-466
海外发行：中国国际图书贸易总公司（北京399信箱）
海外发行代码：ZW023
编辑部地址：北京市新街口外大街19号
邮政编码：100875
电话：010-58808310
Email：bjb@bnu.edu.cn
网址：http://bjjy.cbpt.cnki.net