【实录】公益项目的“系统”评估视角——億方公益沙龙实录第四期
★ 时间:2017年5月6日
★ 坐标:北京億方公益基金会
★ 主讲:白钰 [菁莪一期伙伴、陕西师范大学教育实验经济研究所/农村教育行动计划(REAP)] 卢玮静 [菁莪一期伙伴、清华大学公益慈善研究院博士后、北京七悦公益服务中心主任]
★ 参会嘉宾:Scott Rozelle [斯坦福大学/农村教育行动计划(REAP)]、袁瑞军 [北京大学政府管理学院]、王婴 [北京社会管理职业学院]、蔡扬眉 [北京工业大学]、李强 [江西省南昌市社会组织评估中心]、韦丹丹 [中国扶贫基金会]、易昕 [灵析] 等40余位公益伙伴。
沙龙概要
◆ 影响评估可以识别公共政策、公益项目是否有效、探寻影响产生的原因并提出进一步的完善和推广的方案。
◆ 除评估方案,影响评估的另一个重要应用是在项目设计阶段,发现真实社会问题和需求,明确项目的目标和项目产生影响的因果链,确保最终可以回应问题,产生影响(Impacts on Outcomes),解决问题,而非仅停留在项目的产出层面(Outputs)。
◆ 中国能否成功跨越中等收入陷阱,与农村0-3儿童早期相关。当前农村家庭的早期养育缺失,影响个人和社会经济长期发展。通过影响评估,REAP发现对0-3岁儿童早期发展进行养育干预可以有效促进农村儿童早期发展,并形成了可推广的整体方案。
◆ 公益项目评估是深入项目的发展脉络梳理其运作逻辑,在对公益项目本身是什么的基础上,形成一套包含公益性、社会意义、专业性、社会资源投入产出等公益绩效框架。
◆ 公益项目评估的目的即专业性的解读该项目,提供了解项目的不同视角并嵌入其所在的社会体系中。
◆ 在公益项目评估分为质、量两位维度。质的维度回应项目所要解决的社会问题是什么,如何发生作用的,据此才有测量的意义;量的维度回应效果的程度,即为社会带来多少效应。
◆ 袁瑞军 [北京大学政府管理学院]:社会效益的评估是测不可测又必须测的行动。这种情况下可以先将可测量部分完成,同时增加利益相关方集体影响的考量,然后在形成约定俗成指标基础上增加对标分析,最大限度接近真实的影响。
◆ 王婴 [北京社会管理职业学院]:在政府购买服务项目的评估中,可以在申报项目时嵌入评估元素,指导目标界定和服务对象的选取,避免在最初项目选择上就发生了错误。同时,评估者应参与机构的服务过程,发挥类似督导的角色,为机构服务改善提供客观的评估建议。
—— 本期沙龙前半部分主讲人:白钰 ——
中等收入陷阱的人力资本根源
——影响评估,从问题出发
今天我们通过对中等收入陷阱的人力资本根源的分析,来了解影响评估如何从问题出发促进城乡均衡发展的。农村教育行动计划(REAP)是由陕西师范大学教育实验经济研究所、中国科学院农业政策研究中心、斯坦福大学、北京大学现代农学院等研究机构组成的学术联合体。REAP的目标是要减少中国城乡的不平等,具体方式是通过行动研究来识别当前农村城乡发展差距及其原因,提出问题的解决方案,并验证其可行性,最后将成功的方案推广到全国,缩小城乡差距,促进贫困农村地区的人力资本提高和社会经济的可持续发展。
REAP开展影响评估的核心是四个字母—POAR。即问题(Problem)、目标(Objective)、解决路径(Approach)和结论(Result)。通过这样的过程回应问题,分析问题是否得到了有效的解决、是否可以推广。
1、中国的问题是什么(Problem)
在全球部分国家经济分布图中,呈现了他们相对美国的人均收入在过去五十多年的比较情况:非洲的不发达国家一直处于低收入阶段;OECD国家则一直处于高收入水平;另外,还有一些国家(地区)在二战时期经济相对落后,但进过五十多年的发展,他们也进入高收入俱乐部,如新加坡、中国香港、中国台湾等。自1993年韩国最后一个跨入高收入国家后,再也没出现一个国家走出中等收入陷阱,巴西、墨西哥等国家一直处于中等收入水平。
▼ 图1 世界主要国家相对美国的人均收入变化情况
资料来源:农村教育行动计划(REAP)
是什么造成了这样的差距?我们认为人力资本是根本原因。如果以一个国家高中毕业生的比例来衡量一个国家的人力资本情况,OECD国家这一数字是74%;中国台湾、韩国的高中毕业生占72%。一个国家从中等收入到高收入,可能需要20年的时间,而人力资本储备则需要四、五十年甚至更长的周期,这些在过去五十年中跨入高等收入的国家,他们之前已经有了充足的人力资本储备。在土耳其、巴西、南非这些国家中,高中毕业生占比为20%~40%。如果一个国家大部分劳动力无法适应从“低工资、低技能”到“高工资、高技能”的转变,则可能产生贫富分化严重、生产力下降、失业率、犯罪了增高,社会动荡不安,经济停滞甚至下滑。所以一个国家要成功的实现经济转型,跨越中等收入陷阱,高中及以上学历的比例至关重要。
中国在未来的20年能否实现经济的腾飞是我们当前面临的最主要问题。根据2016年统计局人口调查的数据显示,中国人口47%来自贫困农村。中国的人力资本现状是怎样的呢?2010年人口普查中,高中及以上学历的仅占24%,这一数字低于南非的28%,在中等收入国家中也是最低的。中国现在是世界上人力资本储备最差的国家之一。当前,在城市18岁人口中,拥有高中学历比例达到90%,而在农村仅为37%(包括12%的职业高中),说明我国人力资本问题主要是农村的问题。这一情况与80年代的墨西哥很相似。
▼ 图2 中国18岁人口拥有高中学历比例与八十年代韩国、墨西哥对比
资料来源:农村教育行动计划(REAP)
我们进一步研究发现,这一问题在高中之前就已经显现了。REAP在陕西和河北175个农村的初中调研发现,在初中一年级学生中,47%的孩子表示初中毕业要上普高;29%的工作;13%的上职业中学。换句话说,在学生刚上初中时,已有一半的孩子没有进入高中的规划。对这些学生进行IRT标准测试(衡量一个学生成绩的绝对水平)发现,将来计划上普通高中的学生刚入初中时的成绩已经高于其他学生2个学年。一年后的第二次测试显示,表示将来不计划读普通高中的农村学生成绩比之前更差了,而将来计划读普通高中的农村学生成绩越来越好。
▼ 图3 陕西、河北部分初中一年级学生标准化测试成绩年度对比
这些学生中,七年级辍学率是11%;八年级辍学率是23%;九年级辍学率达31%。我们可以想象当2030年,他们26岁时,中国大量劳动密集型工厂外迁,他们很有可能找不到工作,成为社会的负担。
这些学生为什么辍学?REAP在2016年的研究中,对陕西和甘肃两地区初中学生进行韦氏智力测试和瑞文测试,结果表明陕西有46%的孩子IQ低于90分,甘肃有66%。这样的结果表明,约一半农村学生(IQ低于90的)受到智力的限制,这些孩子很难读高中、大学,甚至初中学习也有难度。如果他们放弃继续读书选择打工,每月还有2000元的收入——上初中的机会成本。一方面他们可能学不懂,另一方面上学有成本,这也许解释了如此高的辍学率。
继续深入分析,我国人力资本问题的根源是什么?REAP团队研究发现,这是由两个阶段的问题共同造成的:一是小学阶段;二是早期发育阶段。
在小学阶段,当前农村小学已有相对完善的基础设置,但是他们的营养和健康仍没得到很好的保障。REAP团队对中国十个省130000多名农村学生健康筛查中发现,60%~65%的孩子或患有贫血或体内有寄生虫或患有近视(其中大部分未矫正)。这表明,目前大部分中国农村孩子处于生病或营业不良的状况下,这将对学业有负面的影响。对此,REAP团队采取的方案是为农村学生提供维生素片、寄生虫药、免费发放眼镜等,有效解决孩子们的健康问题——只有在识别出问题的原因后,才能针对性的解决。
然而即使提高了农村小学的健康水平,他们的学业仍然可能存在问题,其根源可能在他们成长的更早期。在儿童早期投资是投资回报率最高的,然而,目前我国政府教育投入恰恰相反,在大学教育投入的资金最多,在0-3岁投入的资金几乎为零!诺贝尔经济学奖获得者赫克曼(James Heckman)的研究表明,0-3岁儿童的投资回报率是17倍,即社会在这个阶段孩子身上每投入1元,未来他会为社会贡献17元;4-6岁的回报率是8倍,之后将会越来越低。
我们认为,中国农村教育的根本问题在于婴幼儿时期不当的养育方式导致的儿童认知能力滞后。根据调查显示,中国城市儿童认知能力发育情况与发达国家并没有明显区别,而对农村儿童的信息则缺乏相关研究。
2、预期研究目标(Objective)
研究目标包括四个层面内容:
① 中国农村地区认知儿童早期发展现状如何;
② 问题产生的根源:营养问题?缺乏好的养育行为?
③ 什么样的干预可以改善现状?
④ 对中国未来劳动力和中等收入陷阱的影响?
3、问题解决路径——随机干预实验(Approach)
影响评估的黄金标准是随机干预实验,分为三个步骤:第一步,基线调查,得到摸底的数据;第二步,随机干预,把调查对象随机分成干预组和对照组,干预组会实施问题解决的措施,对照组什么都不做;第三步,评估调查,在样本量足够大的情况下,两组的差距仅为干预行动,以此评估干预是否有效,识别影响。
▼ 图4 随机干预实验“三部曲”
资料来源:农村教育行动计划(REAP)
目前已有的研究表明,儿童早期发展由三个原因造成:一是基因,这是我们目前无法干预的,而且我们的研究证明,城市、农村孩子刚出生时的认知能力发展几乎没有差别;二是孩子的营养;三是科学的养育。
REAP团队在陕西西部174个乡镇1800个家庭开展调查,对6-12个月的孩子进行每半年一次的追踪,直到他们3岁。在调查过程中,根据随机实验分为营养组、养育组和控制组(各58个镇),分别给孩子提供营养包、养育方式培训和无任何外界干预。跟踪调查显示,在营养组中,营养包对孩子营养和认知改善的影响主要发生在18个月之前,18~30个月时尽管微量元素缺乏情况减少,但智力发展和社会情感发展的问题仍不断恶化。因此,我们认为营养是影响儿童认知发育的因素之一,但并不是主要原因,影响农村儿童认知发育最主要的因素在于养育方式。
REAP在做基线调查时发现,家长都很爱他们的孩子,也愿意为孩子的未来投资,但是他们却不知道如何做。被调查家庭中只有15%的家长给孩子讲故事;70%的家庭没有或只有一本故事书。孩子在3岁时,认知能力滞后的比例达53%。
▼ 图5 贝利测试低于85分的婴幼儿比例
资料来源:农村教育行动计划(REAP)
对此,REAP团队开发一套教程、提供相应的玩具并培训计生专干科学的养育方式,由计生专干每周一次深入农户家庭,培训家长们怎么养育孩子,分别从运动、认知、语言、社会情感四个方面发展孩子的认知能力。
4、对行动的结果检验(Result)
通过2年的跟踪调查,REAP团队研究证明,在计生专干教家长如何养育孩子的干预组中,孩子们的IQ平均值是93分,而在没有干预的控制组中,孩子们的IQ平均值是88分。这表明农村儿童在3岁之前完全可以通过科学养育方式的干预,达到正常的智力水平。
同时,我们还发现当孩子由奶奶照顾和由妈妈照顾时,也是存在差别的,妈妈养育时,孩子的智力水平有明显提升——可以提高到99.5分;而当奶奶养育时,孩子智力水平没有显著变化。
▼ 图6 不同养育者对贝利情感发展的影响
资料来源:农村教育行动计划(REAP)
在农村儿童0-3岁期间,他们的母亲逐渐由照顾者变为外出务工者,当孩子3岁时,40%的孩子已经由奶奶照顾了。我们的研究发现,奶奶照顾者36%的抑郁比例,在这种状态下她们可能无法接受科学养育的干预。
▼ 图7 6-30月婴幼儿主要照料者变化情况
资料来源:农村教育行动计划(REAP)
另一方面,大量农户家庭分散,计生专干入户教育方式效率低。对此,REAP进一步改进解决方案,在农村建立养育中心,每个乡镇选一个村,覆盖10-12名孩子,提供上课、公共活动服务,每周由计生专干教全村的孩子,大大提升了服务效率。目前已在陕西建立了50个养育中心,未来还将在河南、安徽等地的搬迁村、移民安置区等地建立更多的中心。如果这一模式评估有效,未来希望通过政府提供公共服务或社会企业来推广,服务更多农村儿童。
未来的中国是继续在中等收入国家还是成功跨越中等收入陷阱,这是我们最为关注的问题。
评估并不是目标,而是对真实问题的回应,结果也并非停留在项目的资金、覆盖人数的产出层面,更多是通过影响评估项目影响、为何产生影响/没有影响、对不同群体的异质性影响以及如何推广。影响评估的一个核心是在项目设计阶段发现真实社会问题和需求,明确项目目标和影响产生的因果链,确保影响是在回应、解决社会问题和需求。
—— 后半部分主讲人:卢玮静 ——
公益项目评估的非营利管理视角
1、评估的难题
七悦团队在过去一年里评估了150多家社会组织、近300个政府购买项目, 在这里,我们面对的难题类似于:
l 如何评估乡村图书角的项目,如何判断它是否嵌入到当地体系之中?
l 面对类似于景行计划、创绿家的资助类项目时,对每家受资助机构用一样指标合适,该如何整体评价项目的效果?
l 类似心目影院等盲人来看电影的项目,该如何为其定位,仅仅是看一次电影吗?
l 如何在一之内完成二十多个公益项目的评审把脉?
# 案例 #
假设某项目3年培训1500人次医疗社工,其中40%人员到相关领域就业,20%人员做相关的志愿服务,整个行业医疗社工数量增加20%。
这是在政府购买服务项目设计书中常见情景,然而从现实出发,会发现这样的指标设定可能存在问题。40%人员到相关领域就业并不是仅靠项目方一己之力可以达成的,还涉及到医疗体系的整体容纳率。因此首先需要了解医疗社工行业的发展状况,吸纳社工人才应该从理念、方法还是机制方面入手?如果是理念问题,那培训对象可能要界定为医院院长、科室主任、护士长等人。
上述情况只是众多评估案例的一个缩影,许多人把测量作为评估的重点。但在测量之前,需要确定:测量的内容是否合适,其代表什么含义,测量结果意味着什么。把评估简化为测量使得评估损耗了大量关键性信息,进而测量数据不知如何使用,量是附着在质上才是有效果。项目评估面临的是整体质的把握,项目书中的测量也并不一定符合项目的根本内容,甚至把项目引致偏离体系。
公益项目的运作就像一个黑匣子。我们不仅仅要知道黑匣子的投入、产出、影响。更需要知道黑匣子是生产什么的,其本身是如何运作的。
例如我们去年为景行项目评估,面对的是14家各领域的社会组织,我们如何测量项目的绩效?如何评价机构的社会效应?我们提出了五种方法:
方法一:将每一家组织在接受资助之后所产生的社会效果全部测量。但这样的思路并不可行,因为每家机构的效果测量都将构成一个单独的话题;并且其结果到底如何,仅用数据难以阐述清楚,最终结果只能是数据堆积,但并不清楚其背后的意义。
方法二:将资助前后组织本身的数据作对比,分析期间的变化。这种测量只能说明组织量的变化,很难呈现质的改变;即使从量的角度来看,也因缺乏控制其他影响因素的手段,难以区分哪些是源于景行资助带来的变化。
方法三:让组织自我陈述对景行资助是否满意。这种方法无论询问多少问题,都逃脱不了“太浅”的层次。
方法四:评估方为每家组织作出主观判断的绩效分数,或依据几个特定的层面评分。但这种方法会使评估失去客观性,并且缺乏技术含量。
方法五:对每一家组织进行结构式的深度的访谈,沿特定的方向进入,循着特定的脉络展开,获得一整套的组织运作事实。后期通过专业化的分析,发现组织所发生的变化、能力的提升以及对此如何评价等。最终,形成每家组织绩效的事实证据与理论依据、机构定位的专门报告,以此评估方的专业性。
▼ 图1 景行计划系统评估框架
资料来源:北京七悦社会公益服务中心
在这个框架中,每个社会组织在公益绩效、绩效、资金不可替代性、组织发展关键期、引领效果、资金需求等方面形成多个二维的谱系并处于不同位置。甚至可以与行业其他类似资助项目对比,呈现景行的绩效和社会贡献。
2、公益项目的类型及评估策略
现实中的公益项目并非都与景行计划类似,大致可分为以下三类:
第一类,组织发展、社区发展型项目。这类项目需要系统视角了解项目的输入、输出、对被资助方内部结构、运作机制产生的变化,如景行计划等。
第二类,“黑匣子”类项目,即执行相关“动作”,但不确定其服务的效果。例如,为失独老人提供服务,有时候项目执行可能没有效果,甚至加剧伤害。此外,在这样的项目中需要了解项目指标升降的具体含义,如儿童阅读项目帮助孩子的社会适应能力提高10%,我们需要了解10%代表怎样的含义,理想的效果是5%还是20%?
第三类,提供直接清晰的服务类项目。即一旦动作完成,就基本能够保障效果,如协助盲人就医等,这类项目可通过完成情况来测量其效果。
另外,在评估中会有普遍面临的问题:
有的项目受益对象难以接触。如红丝带健康项目给农民工发放健康包,而防艾话题的敏感性和农民工群体流动性大,受益对象多数无法联系。
评估的时间节点选择也非常重要。社会影响就像湖水涟漪一样,会随着时间持续向外延伸,有的项目效果需要一定的时间周期才能准确呈现,此时选择在怎样的时间节点开展评估也很重要。
评估时间有限、经费不足也是公益项目评估中常面临的问题,这就导致大部分项目没有足够的经费支持开展大规模科学严谨的评估。
3、公益项目评估的本质
在专业视角解读评估的本质时,会从定性和定量两个维度考量,最终进入项目本身的因果逻辑层面,即社会结构或社会系统发生关联的因果逻辑体系。公益项目评估的目的即专业性的解读该项目,提供了解项目的不同视角并嵌入其所在的社会体系中。专业性的解读可以让外界明白项目的本质并能够操作出来,即复盘,“让花再开放一次”,项目官员可以依此了解项目未来的发展方向和改进方案。如失独老人项目,其核心是如何让他们走出家门,再度融入社会,只有做到这一点,才会说是一个有效的项目。
在公益项目评估时,可以分为质、量两位维度,质的维度回应项目所要解决的社会问题是什么,如何发生作用的,据此才有测量的意义;量的维度回应效果的程度,即为社会带来多少效应。
4、公益项目评估方法
基于此,得到公益项目的评估的绩效公式:公益绩效=公益性×社会意义×专业性×社会资源投入产出。这并不是简单的计算公式,而是逻辑公式,其核心是评估过程中必须同时考虑到四个维度,且这四个维度是相互依存、缺一不可的。
A、公益性。考虑公共利益原则、提供公共利益方式的合理性(与收费服务、社会企业、CSR、互益边界等)、提供公共服务的范围是否选择最广泛和最佳的受益对象等内容。例如儿童早期教育项目,如果在城市执行公益性会存在问题,因为城市已有足够的市场提供方,而在农村则可能需要公益组织介入。
B、社会意义。需要在时空乃至更大范围考量项目的价值和意义。社会意义的界定决定了对项目的界定。因此需要有行业格局视角,才能明确哪些事情是项目要做的,哪些是不必要做的。
# 案例 #
在新阳光基金会病房学校项目中,基础教育的社会意义是最容易识别的。这些孩子长期住院,与九年义务教育脱节,病房学校项目弥补了这一空白。但同时该项目还具有特殊教育的功能,白血病孩子长期接受各种治疗,身心遭受挫折很容易导致社会交往能力问题,此时阳光病房项目的特殊教育意义也显现出来。同时,每个孩子都是独特的个体,他们除了接受传统教育外,也需要发掘个体的独特潜力,这也是项目的第三个社会意义。最后,有的白血病儿童会面对死亡,这就需要阳光病房项目对生命教育的回应,至此才能将项目的社会意义发挥到最大。
▼ 图2 北京新阳光慈善基金会病房学校项目社会意义解析
资料来源:北京七悦社会公益服务中心
在判断公益项目的社会意义时,通常会用到不同的视角:
◆ 项目在社会发展格局中的重要性,这一点可以在特定的时间、地域、行业中考察。
◆ 独特性。即项目的非替代程度,如阳光病房项目,覆盖23所学校、十几个省份,是国内最大的体系,这就发挥了项目独一无二的作用。
◆ 社会创新性。包括主题、手法、模式的创新。
C、专业性。这是评估中最重要的维度,因为项目所涉及的专业各不相同,所以在评估时要对系统有清楚的认识。七悦基于实践总结出横向-形式化过程、形式化结果,纵向-实质化过程、实质化结果的四维框架。
① 横向的形式化结果。常见于政府购买服务项目,如产出获得的奖项、媒体报道的次数、满意度调查等。
② 横向的形式化过程,与形式化结果相对应,即是否执行某个动作,如签到表、财务保障等或制度与规范,如是否有财务报销制度、项目管理制度等信息。
③ 纵向实质化结果,如影响评估的量化结果,明确影响和改变的具体内容或在项目书中承诺的信息。
④ 纵向实质化过程,包括项目的思路、核心技术、流程模式与格局化、与另外三个分支关联与核正。思路是整个项目的指导思想;核心技术包括专业的技术方法,如影响评估的计量经济学测量技术;流程模式和格局化,是在项目开始前就需要了解项目地当前的情况、现状,从宏观层面掌握全面的信息后,再考虑采取怎样的行动措施,识别关键节点,形成整体的项目方案;与另外三个分支关联与核正,在结构、流程、因果关系上清晰后,将整个体系放在社会发展的背景下,分析其行业内、时间、地域以及社会发展前沿的独特性影响。
我们在这个框架中强调的是纵向(实质化)部分。尤其要规避的是只有横轴(形式化)的内容而没有实质化考量的情况。而评估则主要在过程的实质化解读中来深挖其专业性。
▼ 图3 专业性评估的逻辑框架
资料来源:北京七悦社会公益服务中心
在这个体系之内,我们形成了KPS(key-pattern-skill)的评估模式。即梳理项目的节点性问题、模式和对应的技术,向外界清晰呈现项目的核心专业性、需要考虑的内容、如何运作等。例如,最常见的紧急救援物资递送项目,其节点性问题如下:
▼ 图4 紧急救援物资投递类项目节点问题(部分)
资料来源:北京七悦社会公益服务中心
D、社会资源投入产出。从项目要解决的问题、 活动、产出、目标以及整个闭环综合分析。
补充发言:刘程程(北京师范大学社会发展与公共政策学院)
基于模式的项目评估方法(KPS评估方法)包括三方面内容:一是节点性问题的的选取及相互之间的逻辑结构;二是对问题的回应和解决方案,包括行动及行动间的因果逻辑和结构;三是方案中内涵的三类相关技术的水平,这决定了实际运做能达到怎样的水平。
公益项目评估的两个视角 Q&A
Q:汪婷(菁莪一期 埃森哲战略咨询 / ABC公益研究院)
既然已经有科学研究证明0-3岁儿童养育非常重要,为什么还需要花费大量资金开展影响评估而不是直接在农村进行实践?
白钰:
影响评估的Result部分,有三个成分,一是是否有效;二是为什么有效,以及如果没有效果,应如何改进;三是能否推广?在中国农村儿童养育中,如果不开展影响评估,我们无法知道如果干预对象是奶奶,项目效果会打折扣;我们也无法知道妈妈作为养育着能使农村儿童达到正常的智力水平;也同样不会知道为什么不同照养人项目影响的差别和原因。这些都需要通过影响评估来发现、检验。
在REAP过去十多年的尝试中发现,改变对方的行为,最主要的方法是将他们投入到某一模式的使用场景中,明确告诉对方行动方法,当他们切实看到行动带来的变化,发生理念上的转变时,行动才可能真的产生影响。
在项目设计上,会遵循以下几个原则:
简单易复制。影响评估的对象不是个体而是某一类群体,因此项目设计的内容要能对群体问题带来改变,这就要求设计的内容是标准流程化可操作的,这样政府才可以大范围推广。
多学科的专业合作。REAP项目涉及医疗、心理等多个领域,如视力保护项目与眼科专家合作,寄生虫防治项目与上海疾控中心寄生虫所合作等。多方可做可以增强团队的专业性、解决问题的能力。
渐进性改革。对于农村问题的整体解决方案,要根据不同阶段,开展不同干预,一个项目是无法解决所有问题的。
卢玮静:
评估最重要的信息是做策略选择的原因、框架和同行比较。例如由目前照料的农村儿童,他们智力提升到99.5分,如果仅以此呈现,外界并不知道其真正含义,只有当与奶奶照料后智力的分数做比较,才能真正体现母亲照料的价值。
另外,评估呈现的是不同路径下的价值选择、所产生的结果及路径背后的依据,这是项目专业性的体现。
Q:张铮(安利公益基金会)
在落后的农村,家长是否愿意在孩子0-3岁时付费去养育中心?
白钰:
对于养育中心的推广,核心问题是最终由谁来接手。农村幼儿园的入园率已经从2008年的不足20%到现在的90%以上,公办幼儿园每月只需四五百元。乡镇的超级养育中心(SuperCenter)每个孩子的费用是133元,未来随着人们对儿童早期养育的不断重视,养育中心有可能像幼儿园一样引起政府重视,成为公共服务一部分,和市场一起共同解决问题。
至于家长们的支付能力,我们曾做过调查,农村孩子在2-3岁期间的奶粉花费为400-600元/月,而养育中心只需要133元/月。另一方面,奶粉并不能提供儿童成长所需要的营养,6个月开始添加辅食,2岁以后孩子们逐渐进入成人饮食系统,家长们完全可以将这部分钱用于孩子去养育中心,孩子在那里可以开展早教、书籍、玩具和上课等服务。
Q:孙叶竹(深圳国际公益学院)
在影响评估中,如何确定要测试孩子的认知水平、母亲抑郁程度等指标?
白钰:
影响评估的目标有三个,即是否有影响、为什么有影响、如何推广影响。其核心是评估过程的因果链监测,了解每一环节中影响是如何产生的。由于干预组和对照组是随机分配的,因此可以分别探索不同的干预会产生怎样的影响。具体的干预影响指标时,是基于前期大量的理论研究、文献研究和专家咨询而设定的。
Q:陈虹(南昌市社会组织评估中心)
对于特殊人群的评估,如女子监狱项目,按照司法体系规定,在服务过程中不能留存照片、记录,这一类项目如何设定评估标准?
卢玮静:
这个问题恰好说明项目在实际操作过程中,有很多不可及、不可测量、不可了解的因素,更加需要系统的视角来评价项目的作用。我们每进入到一个项目种,都需要嵌入其所在的社会格局,如政府就是很重要的利益相关方,在项目设计和评估标准中都要做利益相关方分析,具体指标可以让项目进入其所在的社会格局中加以界定。
专家点评
袁瑞军(北京大学政府管理学院)
评估是人类的干预行为所导致的客观外在结果之间的因果关系。因为采取了某项干预行为而产生了客观结果,因而观察结果与因果间是否有对应性。对于社会评估的测量,是一个长期的链条,即测量那些不可测的内容。国际上有变革理论,即通过逻辑链测量项目的投入(In Put)、产出(Out Put)和成果(Out Come),成果的测量周期比产出略长。同时,英国有SROI的评估方法,尽管使用辅助,但其逻辑和做法,也是我们可以借鉴的。
对于国内公益项目的评估,在评估完成后还可以增加对标分析,通过理念、操作方法的比较对项目有更明确的认识。英国政府在公共项目成本对标上有诸多实践,其做法是将公共服务换算为单位成本。例如社会福利院,算入土地、人员、工资等因素后,计算国家每年在这里的孩子们投入多少钱,然后公益组织列出他们执行项目的单位成本,项目优劣通过对标分析就非常简单了。
任何公益项目,都是有成本的。其中包括可以测量的成本和不可测量的成果及影响。现实中,我们无法明确某一行为可能产生哪些蝴蝶效应,社会影响力也难以准确测量,因此可以先完成可测量部分,对于不可测量部分通过约定俗成的指标体系,最大限度的接近事实影响。
在影响力评估中,利益相关方是要考量的,他们对项目受益对象会产生互动和影响。由此,美国提出集体影响力指数,即测量利益相关方对受益对象的影响。这在全球也处于起步阶段,未来的影响力评估会由不限领域的共有指标和达成一致的行业性指标两部分组成,评估结果可以不同地域开展对标比较。
王婴(北京社会管理职业学院)
公益项目评估与政府购买服务评估是有区别的,前者属于服务评估,后者为行政评估。服务评估一定会涉及到目标和受益对象界定的选择,而行政评估则会要求痕迹留存,如之前提到的女子监狱服务项目,就会遇到无法满足痕迹留存要求的困难,这也是现在形成评估需要改进的地方。未来可以在政府购买服务项目的评估中增加保证服务质量的指导,在申报项目时嵌入评估元素,指导目标界定和服务对象的选取,避免在最初项目选择上就产生了偏误。
另外,评估者应参与机构的服务过程,发挥类似督导的角色,也逐渐培养服务对象诚信反馈项目效果的机制,为机构服务改善提供客观的评估建议。
----- 本期沙龙内容完 -----
億方公益沙龙往期回顾:
2月期 | 公益咨询“从0到1” 点击查看【上】 、点击查看【下】
3月期 | 公益市场的“两个顾客” 点击查看完整版实录
4月期 | 规模化解决社会问题的意义 点击查看完整版实录
关于億方公益沙龙
億方公益沙龙是億方基金会主办的研究性沙龙活动。秉承億方公益基金会“激发民间智慧行动,创建公平美好社会”的愿景,致力于链接公益研究者与实践者,搭建公益研究输出与落地的畅通渠道。沙龙每月一期,每期由菁莪伙伴主办、公益研究与实践者参与,分享成果,交流沟通,打造公益思想的交流平台、研究的实践阵地。億方公益沙龙希望凝聚更多有识之士,共同推动公益行业与社会发展!
关于菁莪计划
“菁莪计划”是由北京億方公益基金会发起的支持公益青年行动研究人才项目,该项目倡导“知行合一,止于至善”的理念,支持具有务实、专业、前瞻的有意愿或正在做行动研究的青年人提高其研究能力,进而提升公益界的研究水平。研究者通过对某一关键社会问题进行行动研究,寻求有效解决途径,最终推动公益行业发展及社会的积极变革。
菁莪一期伙伴遴选8位成员,分别来自北京、西安、云南、香港及美国等地。在未来的三年中,菁莪一期伙伴将通过专家导师的指导,开展议题研究,进行国内外交流学习。不断开拓视野,积累经验,实现自我提升与突破,成为有积极影响的公益研究者。
了解億方:
億方公益基金会官方网站 www.yifangfoundation.org
☆★ ---------------------------- ☆★
欢迎关注億方公益基金会 微信公众号:亿方公益
添加小贴士:手指长按上方二维码图片,
选择“识别图中二维码”,就可以添加关注我们啦!!!