查看原文
其他

教科文摘|武向荣:大数据时代教育 PPP 项目 “按效付费”预算管理模式研究

教育是民族振兴、社会进步的重要基石,功在当代、利在千秋。作为国家领导人,习近平在全国教育大会讲话指出,新时代新形势,改革开放和社会主义现代化建设对教育提出了新的更高的要求,要坚持教育改革创新,建设教育强国。为此,非物质文化遗产、书法等优秀传统文化也势在必行地纷纷进入校园和课堂。而且,也有了将体育艺术纳入中考必考科目和高考的地方实践与政策预期。为实施系列重大改革,服务经济社会发展的新需求,中央政府印发《中共中央 国务院关于全面实施预算绩效管理的意见》,要求全面实施预算绩效管理,推动财政资金聚力增效。进一步印发《政府和社会资本合作( PPP) 项目绩效管理操作指引》等文件,在公共服务领域推广政府和社会资本合作模式,要求政府和社会资本合作项目的绩效目标以结果为导向,物有所值,按效付费。在此语境下,跨政府部门、市场和社会组织的合作,日益成为解决当今教育领域面临的最紧迫问题和预期前景的路径之一。然而,社会资本、社会组织参与教育、参与教育公共服务供给的管理与评估,在我国尚处于探索起步阶段。大数据时代,在教育部门实行“按效付费”模式,推动结果导向PPP 项目预算绩效管理改革创新成为趋势,将在促进教育项目信息透明化、公正化的同时,也提高教育公共服务供给质量,进而增强政府公信力和执行力。

在卫生部门取得成功之后,按效付费( results- based financing,简称 RBF) 迅速在教育领域兴起。发达国家、发展中国家以及国际组织,均在探索实现按效付费的方法与策略。在过去十年,RBF 项目处于增长高峰期。世行、亚行等多边机构,已实施 RBF 项目试验数年。美国国际开发署,比尔和梅琳达·盖茨基金会,英国、美国、加拿大、澳大利亚、日本、以色列等发达国家,印度、秘鲁、墨西哥等发展中国家以及民间团体,都在积极探索将“按效付费”的筹资及管理模式应用于教育领域。目前,美国在学前教育、职业教育等领域正实施一种相对较新的模型,即“为成功付费”( pay for success,简称 PFS) ,并有了若干成功实践。然而,与卫生部门等其他公共服务部门相比,教育领域对 RBF 模式的定性和定量研究较少。


按效付费概念阐释与理论基础


按效付费是一个总括性术语,指对任何项目或干预措施的结果进行可信、独立验证后提供奖励或资助的策略; 通过预先或事后有条件地支付,实现项目可衡量的结果目标并提高结果透明度。关于什么是真正的“按效付费”存在不同的看法,很多争论集中在什么是“结果”。例如,世行RBF 项目将结果定义为: 产出( output) ,中间结果( intermediate) ,最终结果( outcome) ,或者可能是混合结果。比较而言,美国 PFS 项目视产出和结果为不同级别问责变量。以教师培训为例,产出指教师培训数量、课程完成数量及参加培训教师数; 结果是输出的成效,即教师经过培训所授课班级的学生成绩有所提高等。不同于世行项目,美国 PFS 项目对结果控制更加严格,只关注最终结果变量。

RBF 宏观策略主要指按绩效进行财政转移支付、有条件拨款等。微观策略包括多种干预模式,如绩效 奖 励 ( bonus) 、绩 效 合 约 ( performance -based contracts 简称 PBC) 、结果合约( outcome -based contracts 简称 OBC) 。PBC、OBC 在美国有较长的探索历史,“30 多年来一直是政府采购的一部分”。通过签约的形式,政府将公共服务供给委托于社会服务商,根据合约签订结果予以拨款,资助金额取决于项目实现成果的程度。宏观财政策略可促使整体教育系统的各个利益相关者保持行动一致。例如,美国联邦政府根据学生成绩进行财政转移支付。微观干预能够强化某个政策领域。比如,实施教师绩效奖励以加强教师政策。宏观、微观政策都可以对教育成果产生影响,而且大规模实施微观干预能够产生预期系统性效果。RBF 主要是从经济学理论中获取精髓,诸如问责制、合同、激励、动机等相关研究。委托 - 代理模型主导了 RBF 的分析基础。根据该模型,“委托者”是投资者,“代理者”是受助者。有学者将这一理论描述为,由于委托人与代理人之间的目标存在差异,委托人通过提供合同以使代理人与自身目标一致 。代理人可通过实现委托人的目标得到奖励,或代理人继续追求自己的目标,从而超越奖励。还有学者提倡“拱手相让”( hands - off) 的原则,即投资者对项目设计和实施干扰越少,代理者拥有的酌处权和责任就越多,重点在于将权利转让给代理者。


RBF 策略产生背景


(一) 从传统以“产出”为主的预算绩效管理模式转向到注重长期“结果”

在传统的预算管理模式里,政府与社会服务组织签订的合同或委托的项目侧重于项目活动、产出和成本。以职业培训为例,主要基于计划参加学生数予以资助,或根据毕业学生数,即短期产出予以资助,而不考虑项目是否产生预期的影响或结果。也即,传统的预算管理模式很少将付款与实现预期成果联系起来,也没有要求社会服务组织证明其服务引起了相应的变化。这就容易造成利益相关者想要达到的目标与社会服务组织合同中体现的内容之间脱节。RBF 项目追求的目标直接指向“结果”,诸如职业培训参加者能够找到工作、没有离职现象且收入增加等。政府是否拨款,取决于预先达成协议的结果。因此,利益相关者不会将重点放在提供一定数量的服务上,而注重参加者由服务带来的长久变化。由此可见,注重结果而不仅是产出的 RBF 模式,可以使政府、服务提供者和公众关注的内容与项目或合同的激励方式尽可能保持一致。

(二) 从传统以政府单一主体为主转向到跨政府部门、市场、社会合力解决教育系统中的复杂问题

RBF 干预是系统、合力解决教育复杂问题的有效途径。教育系统和系统变革理论很复杂,涉及多个参与者,必须对其行动进行协调才能解决教育中的根本问题。以“结果”为纽带的 RBF 干预策略,可促进跨政府部门、市场、社会组织之间的合作。许多公共服务项目在政府内部是“孤立的”。换句话说,诸如各自为政的职业培训课程或扶贫项目,各个机构独立设计、预算和实施项目,少有交集。实际上,集成的方法更有效。这些项目的联合、协调,有助于更好地解决弱势群体的问题。以服务结果为导向的 RBF 项目,由特定机构负责,将多个政府机构、市场、社会部门召集在一起,共同寻找解决难题的方法。也即,RBF 有助于打破孤岛,召集多个机构共同解决重要的社会问题。

(三) 从传统被动接受问责转向到主动追求“积极的绩效管理”

RBF 项目将公共资金与可验证的结果相关联,通过向公众公布结果及相关信息,以求提高资金使用透明度及问责效果。较早明确将财政拨款与教育成果挂钩的是美国《不让一个孩子掉队法案》( No Child Left Behind Act of 2001) 。该法案为将学校拨款与考试成绩挂钩提供了框架。尽管广受诟病,对推动了绩效管理理念而言,该法案功莫大焉。延续以上改革思路,RBF 模式代表一种财务工具。它试图将教育部门问责制度化,以确保所有相关者遵守标准,并为当局提供实现标准的强大反馈机制,激励目标柱不断前移,从而将系统置于理想的改进周期。评价体系和数据监测可促进“主动绩效管理”。通过可证明的结果为导向进行资金分配,实施过程性数据监测、反馈、校正或第三方监督、评估,不断完善干预绩效,能够积极进行项目问责且提高资金使用效率。对于政府,这些尤其具有吸引力。RBF 呈现出潜在溢出效应,通过建立监督和评估体系,增加了服务提供者对投资者和受益者的责任,与旨在提高公共绩效和公共服务质量的改革保持一致。世界银行经过多年探索发现,支出与成果之间的联系加强了对借款方交付成果的问责与激励。

(四) 从传统政府经验型决策转向到基于数据证据的精准决策与施策

RBF 策略帮助政府系统内更广泛地推进基于数据证据的决策和战略思考。大多数 RBF 项目都有共同的目标,即力图运用大数据,推动政府在决策过程中使用证据的方式,帮助政府建立根据证据决策的能力。RBF 通过在前端项目设计中使用已有证据,或事前评估,并在后端进行评估来建立更多证据,有助于增加政府内部证据的需求和供给。RBF 策略旨在促进持久的变化。由于其根源于证据,即使没有达成任何 RBF 协议,RBF 仍有助于形成注重结果、数据决策以及评估监测的文化。随着 RBF 项目的发展,各级政府领导人的看法和态度得以改变。有证据显示,比起传统资助方式,持久性更强的是政府内部对绩效目标的讨论引起的态度变化。不仅如此,政府对提供和评估教育公共服务的看法也有所改变,如越来越重视收集数据并监测学生的工作。因为收集数据并监测学生对于评估至关重要,且使教育系统容易跟踪学生。 


RBF 实践模式: 以美国 PFS 教育项目及世行 RBF 教育项目为例


( 一) 项目资助模式: 预先资助与偿还资助

1.美国 PFS 教育项目实行先资助后验证的资助模式

PFS 是美国联邦教育部设立的竞争性项目,成功获得项目的州、地方政府与社会投资者就“结果”达成协议,由投资者预先( up - front) 提供资金,中介机构持有合约并委托社会服务组织实施干预措施; 经过第三方严格评估,证明干预达到了预先协议的结果,政府则向投资者支付项目费用及投资回报,从而将投资风险从政府转移到社会投资者。PFS 是一种创新的投资策略,创建了政府、市场、社会三方合作的新型伙伴关系。运作模式如图 1 所示。


2. 世行 RBF 教育项目实行先验证后偿还的资助模式

区别于美国 PFS 模式,世行实行先贷款后偿还( reimbursed) 的资助模式。可以卢旺达政府借款为例描述世行 RBF 项目运行模式。其中,资助者是世行,合作者是卢旺达政府。资助者世行和合作者政府事先就干预的预期结果、衡量结果的指标以及指标价格达成共识,政府努力工作从而实现指标,一旦验证了指标结果,资助者随即支付资金。2014 - 2018 年,世行、亚行分别批准 76. 9亿美元、11. 1 亿美元用于 RBF 教育项目。世行RBF 项目实践模式如图 2 所示。


( 二) 项目目标与指标设计: 结果可衡量且指标与支出挂钩

在 RBF 项目中,设计是最关键步骤。RBF 项目要求建立清晰、可衡量的结果目标,从而可以跟踪成果进度和实现情况。项目遵循了变革理论( theory of change),即如何通过活动和产出产生预期的结果。强有力的变革理论的显著特征是项目的结果目标明确且可测量。世行调查显示,大多数实践者认为,RBF 项目设计的两大挑战是选择指标和验证结果。

美国 PFS 教育项目旨在解决社区面临的重大社会问题,或满足特定群体需求,并且有潜在的干预措施能够解决该问题。该项目通常涉及低收入家庭学前教育、基础教育教学创新改革、高中教育完成、职业和技术教育等领域。以提升社会效益为目标,经过大量前期研究、证据论证、数据分析,项目瞄准目标人群的需求,确定能够实现预期结果的基于证据的干预措施,确认一项或多项明确规定、可衡量的成果,全面进行成本收益计算。其设计核心是,通过事前评估论证立项证据的充足性,依据“证据”确定干预措施及可测量结果,沿着结果可获取的路径进行项目设计。

世行 RBF 教育项目从教师、学生与家庭、学校、政府四个层面实施激励干预,资金与绩效挂钩。项目设计核心是选择“与支出挂钩的指标”( disbursement linked indicators,简称 DLIs) 。该项目依据“聚焦结果、可控制、资金激励、可测量并可验证及意外后果”五方面标准选择 DLIs 指标,形成由产出、过程、中间结果及结果共同构成的结果链( results chain) 。进而,对结果链进行分析,确立结果链的因果关系,将激励机制延伸到链条各个层面。指标选择具体依据是,是否确保聚焦结果?干预多大程度控制结果产生? 资金激励可以最大化预期的效果吗? 结果是否可信,随时间推移保持一致并可独立验证? 可以将意外结果的影响降到最低吗? 如表 1 所示。


2019 年,世行对已实施的 RBF 教育项目的DLIs 指标进行调查,涵盖了 2008 - 2018 年 51 个RBF 项目的 352 个 DLIs 指标。结果显示,大部分( 75% ) DLIs 为中间结果指标,最终结果指标仅占4. 3% 。大多数实践者认为,激励混合结果是最有效的设计。因为最终结果指标难以衡量且不好控制。DLIs 涵盖最多的主题是教师及培训、学校质量保障等( 见图 3) 。有较多证据表明,在教师政策领域提供绩效激励措施,例如向教师提供奖金,将能够激励教师积极努力工作,从而提高了学生的成绩。 


区别于传统的投资项目,RBF 项目指标有更大的权重,因为实现指标意味着资金支出。世行从物有所值、杠杆效应、合作伙伴额外风险三个标准为指标定价,且结果链不同位置的指标有不同定价。实践者认为,“好的项目往往为结果链中的不同步骤提供资金,而不仅仅是最终结果。”调查显示,每个项目平均有 6. 9 个 DLIs,每个 DLIs均价约为 18. 8 百万美元。其中,过程 DLIs 价格最低,为 12. 7 百万美元; 其次为中间结果 DLIs 的价格,为 18. 5 百万美元,最终结果 DLIs 价格最高,为39. 5 百万美元。

(三) 项目管理和监控: 大数据信息化管理及反馈机制

RBF 项目成功运行高度依赖高质量数据对结果的监控,包括财务管理和教育信息管理两大关键系统。其中,教育信息管理系统支撑所有教育监测和评估工作,是 RBF 干预的关键工具。世行建立了“为了更好教育成果的测评系统( systems approach for better education results,简称 SABER) ”。该系统包含教师培训、学生评估、教育管理信息系统( education management information system, 简 称EMIS) 、学校财务、学校自治和问责等教育领域主题。EMIS 具备准确监测和验证指标的能力,确保RBF 项目资金的支出。这对于 RBF 投资至关重要。因此,RBF 付诸实践之前,必须建立这些系统。

RBF 使用 EMIS 数据系统监测项目实施结果,即学校支出结果,并反馈给财政部、教育部等利益相关者,从而将资金支出与结果联系在一起,能够更好地问责结果。EMIS 系统实时监测项目执行、资金使用过程,反馈、校正存在问题,并提供技术援助,保障结果目标不偏离且高质量完成( 如图 4所示) 。相反,如果缺乏教育信息管理系统,资金仅在组织者、执行者、投资者之间单向流动,难以监控并问责结果( 如图 5 所示) 。大多数实践者认为,在 RBF 项目中,使用 EMIS 的最佳方法是将其视为一种反馈机制。



同样,美国 PFS 项目依赖高质量数据进行目标人群基线分析、项目评估和成本收益计算。美国教育部及其他部委、州或地方政府提供了丰富的数据资源。第一类,教育及学生数据资源。教育部国家教育统计中心提供有关美国教育状况的完整统计数据; 教育部及各州建立了从幼儿园到中学追踪调查数据库,跟踪儿童或学生在上学期间和完成学业后的就业经历,对于确定特定人群和目标结果的基线研究很有用。第二类,干预证据资源。社会创新基金证据交流网与有效教育策略交流网储存了丰富的、成功的干预证据案例,为PFS 立项提供主要依据。第三类,评估资源。美国教育部规定教育项目评估标准,城市研究所提供评估方法,RCT - YES 提供免费随机实验评估工具,便于项目相关者使用。第四类,基线数据资源。人口普查局、劳工统计局等长期收集各种横向、纵向数据,可用于基线研究( 如表 2 所示)。


(四) 项目绩效评价: 事前 - 事中 - 事后评估

RBF 的本质取决于结果的评估、验证。虽然事前已设立预算评估,事中具备良好的监测和信息系统进行过程评估,但事后的评估结果才决定项目的成败。如果没有可靠系统用以评估项目是否达到预期目标或结果,RBF 将行之无效。世界各国广泛使用 RBF 策略的原因之一就是,该方法能够促使委托人和代理人的利益保持一致。因此,如果缺乏双方都可以达成一致、可验证的数据结果,这种理论关系随即被打破。代理人无法将所获结果传递给委托人,并且委托人也无法知道所获任何信息是否可靠。

美国 PFS 教育项目与世行 RBF 教育项目都要求项目实施者委托独立第三方进行评估验证。区别于传统项目,即主要开展事后评估,RBF 项目评估由事前、事中、事后评估构成。RBF 从资助方式着手形成一个闭合绩效评估环: 项目实施前,进行可行性与成本 -收益评估; 项目实施中,跟踪、监控项目进展并提供技术援助; 项目实施后,进行整体效果评估。亦即,数据监测一直贯穿于整体运行中,形成了以结果支付方式为杠杆,事前事中事后评估的完整绩效评估链,确保资金准确、高效的运用于该花钱的人与事上。项目评估还能够为其他项目提供立项依据,有助于扩大项目结果的可推广性。

项目评估设计不仅能够显示干预措施是否达到预期结果,而且最佳评估设计有助于区分干预结果是由干预措施还是其他因素引起的。因此,资助者要求评估设计提供不参加干预,但在尽可能多的方面与干预组相似的对照组,以显示没有实施干预的结果。美国 PFS 项目通常要求选择最严格的评估设计,即随机对照实验评估。世行对评估要求比较宽松,可以使用准实验评估等多种评估方式。项目评估及验证成本很高,为了减少验证成本,最新开发的验证系统拟通过自动化手段进行监测、评估。其中,使用机器学习和算法技术检查数据可能存在的问题。


RBF 模式对我国教育部门 PPP 项目预算绩效管理的启示


教育兴,则民族强。随着教育强国的大政方针的确定,书法等优秀传统文化等逐渐深入到校园、课堂的学习中,体育、艺术将要纳入中考必考科目和高考序列,以及由此引发的国内外社会资本、社会组织广泛参与教育公共服务项目的现实,在大数据时代全面来临背景下,我国教育管理的改革创新势在必行。显然,RBF 模式基于结果绩效问责推动 PPP 项目预算管理创新,对于提高我国教育财政绩效管理及公共服务供给质量具有重要借鉴意义。然而,在借鉴之前需要客观分析RBF 模式存在的挑战和风险。

第一,结果选错的风险。应谨慎选择结果,如果选择了“错误”的结果,则可能无意中造成危害。例如,许多对美国《不让一个孩子掉队法案》的批评者认为,明确强调将财务奖励措施与提高考试成绩挂钩的做法破坏了真实学习,导致“教为了考”的后果。坎贝尔定律表明: “越多的定量社会指标用于社会决策,越容易受到腐败压力的影响,并且越容易扭曲和破坏理想中欲监测的社会过程”。RBF 干预如果在立项之初选错了结果,将对整体项目效益大打折扣,甚至带来负面效应。

第二,不正当激励的风险。RBF 可能激发利益相关者采取不正当行为,不惜牺牲项目参加者的福利以获取结果最大化,通常称为“筛选行为”( cherry pick) ,或“分层风险”( creaming risk) 。比如,干预实施者专注于最容易实现的成果,导致最需要、最难服务的对象可能得到较少服务或关注。如果发现此类问题,政府可能会终止付款。例如,在美国伊利诺伊州儿童和家庭部的一个儿童福利计划中,提供者在能力充足的情况下,故意忽视有复杂病例史的儿童,偏向于安置容易安置的儿童。再如,一项世行 RBF 项目欲为所教学生考试成绩高的老师提供奖励,于是教师有意降低出题难度,以获取高分,或出现“为考而教”的行为。

为了避免上述陷阱,RBF 利益相关者应该注重运用分阶段战略规划过程 ( Strategic Planning Process) 模式仔细分析实际所需结果以及如何很好地衡量。在预防不利风险的前提下,依然可从以下方面借鉴 RBF 经验:

(一) 以结果资助为契机重构政府、市场、社会协同合作创新模式

RBF 策略旨在促进政府、市场、社会合作对话,为三方合力解决改革难题提供了最佳模式。面临我国学前教育、职业教育、教育扶贫、教师激励、教学创新等改革难题,时值市场、社会参与教育公共服务供给处于探索阶段,RBF 的参照价值不言而喻。RBF 是一项政策干预,其实施离不开特定的政策环境和运作条件。借鉴美国及世行经验,我国需要出台政策支持 RBF 项目,还需要有强大的市场、社会支持,包括有意愿的投资者,有经验的中介机构,成熟的服务提供者,客观公正的独立评估人或机构。我国政府购买服务不成熟,社会资本投入教育及社会组织提供服务的政策环境与文化氛围还不够。但是,即使政策条件不充分,仍可借鉴 RBF 理念,重构政府、市场、社会关系,探索社会资本融入教育的运行机制和管理模式,合力解决教育改革中的难题。

( 二) 以结果目标为导向推动教育部门实施PPP 项目预算绩效管理

我国已出台的政府和社会资本合作项目绩效管理政策,在绩效目标和指标管理、绩效监控、绩效评价及结果应用等方面做了规定,但要求过于原则化,项目管理标准缺乏,指标缺乏标准规范与操作性,结果达成度不明晰。为此,需要不断探索“结果导向”教育 PPP 项目绩效管理实践,重视基于已有“证据结果”论证项目并予以拨款,通过事前评估项目的经济效益,避免项目投入风险或低效投入; 建立清晰、可衡量的项目结果目标,确定投入、产出与结果等因果关联的指标链; 提供数据监测与技术援助,追踪项目结果进展过程,确保资金使用适当、项目进程有效; 委托第三方进行严格评估,保障项目效果,从而实现物有所值。

( 三) 以数据信息管理系统为支撑开展教育部门 PPP 项目监测与评估

评估是决定 RBF 干预措施是否成功的关键,数据资源是开展评估的必要基础。我国开展 RBF教育干预项目,还需打造高质量的教育数据监测信息系统,以增强教育监督与测评的能力。首先,亟待建立健全政府教育财务管理系统,提高全面性与透明性,用于 RBF 项目的预算、报告、监控和审计。其次,完善教育数据信息管理系统,提供制定教育项目计划所需关键信息,例如学生性别,学生家庭背景,特别是社会和经济上处于边缘地位或能力不同的学生,学生的地域分布以及教育部门培训等,健全教育质量监测数据库,收集学校财务、课程教材、学生成就、教师培训、学校质量等发展过程及结果的纵向数据,用于监测项目进展、提供反馈机制,并用于追踪项目产出和成果指标。最后,运用数据信息管理系统进行教育部门 PPP项目评估,根据项目评估结果实施年度预算、绩效管理等重要决策活动。 


来源|《西南民族大学学报》2021年第2期

作者|武向荣(中国教科院教育督导评估研究所副研究员)


往期回顾






教科文摘|张男星等:我国在线高等教育发展的国际比较及推进策略崔保师:以科学精神治学兴校关于转发《教育部办公厅关于开展第六届全国教育科学研究优秀成果评选奖励活动的通知》的通知教育时评|《本科层次职业教育专业设置管理办法(试行)》将本科层次职业教育往前推进了一大步新思想指引新征程|孟万金等:新时代德智体美劳 “ 五育” 并举学校课程建设研究



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存