公益项目评估:请为受益群体代言
在公益项目评估中,“评估方受资方委托,代表资方来评估项目”是一种常见的场景。但是在当下的实践中,资方和项目方的诉求有时并不相同。例如,资方觉得目标A最重要,但是项目方觉得目标B才是。理想的情况当然是资方和项目方能就项目目标充分沟通,先达成一致,然后评估才介入;但是在实际操作中,限于种种条件这并不一定会发生。第二种情况则是“资方和项目方对于项目的目标没有非常明确的目标,还在摸索的过程中”。那么在这样的情况下,评估方应该如何做(代表资方还是项目方;亦或如何确定评估指标),这就成为了一个问题。
对于第一种情况,我个人认为“评估代表资方”在理论上没有什么问题。因为资方是服务购买方,当然对服务可以有要求;好比你给自己买东西,对于东西的好坏自然有要求有判断。在公益场景中,因为资方往往不是服务的消费者或者不是唯一的消费者,所以需要有第三方评估来“告诉”TA:项目是不是达到了资方的要求,即项目目标。不过,悖论也在于此,正因为资方不是消费者,所以资方的需求往往不能完美的代表消费者(公益的服务对象)的需求,因此要求资方清楚准确地给出项目的目标,也是很难的;项目方同理。这好比你给人送礼物,你不是礼物接受人,不可能完全了解对方的需求,也就无法完美地选择礼物或者评价礼物的效果,这就需要礼物接受人自己或者有可以代表礼物接受人的第三方(例如礼物接受人的挚友、监护人等)给你有关礼物的需求或者反馈。
以上的分析也回应了第一段中提出问题时的第二种情况,即“资方和项目方对于项目的目标也没有那么明确,还在摸索和的过程中”。由此,以下的讨论中我不再区分这两种情况。
按照这样的分析,评估方的角色应该是项目受益人的代表,告诉项目的买方(资方)和卖方(项目方),项目是不是满足了受益人的需求。可是,项目受益人需要被代表么?自己说不行么?很多情况下,需要,因为:第一,公益项目的受益人往往很多,以效率计,需要有代表;第二,受益人或者每个人对于“自己的需求或者项目对自己的影响”有时无法做出真实或者完整的判断,那么增加一个评估方,可以帮助减少这样的影响。
那么,评估方如何更好地为项目受益人代言呢?我觉得有方法和伦理两个层面。先说方法。首先,抽样。受益人很多,需要被代表,但是评估方也没法一一去和所有的受益人沟通,那么就需要有一个代表性的样本。是不是可以得到代表性的样本,是需要一定的运气的,但是以下两条增加“运势”。第一,随机抽样,保证了受益人群中的每个个体都有几率(一般情况下是相同的几率)被抽中,通俗的讲就是人人都有可能是代表,这样的样本有代表性的概率就高。第二,样本量,光有随机抽样也不行,一万个人随机抽几个,这代表性不会好到哪里去,得有一定的量才行;具体是多少,一得考虑受益群体的差异性,差异性越大,样本量就得越大;二得考虑采集什么样的数据和后面用的分析方法,是定性分析还是定量分析,定量分析是有多少变量,用的什么样的统计方法等。
其次,测量和数据收集。人是理性和感性的结合。受益人对于项目目标的判断,是很重要的维度,但是也会受到情绪、记忆、权力关系、社会/集体偏好甚至访员等众多因素的影响。在评估中,评估方需要对此有清醒的认识。要根据这些可能影响数据的因素来判定:什么样的指标适合用结构化问卷,应该是当面一对一,还是当面一对多,还是利用微信或者邮件等网络工具收集;什么样的指标适合用观察;什么样的指标适合用深度访谈;什么样的指标适合使用二手数据(例如档案、日志、图片等等)。或者换个分类方式说,是定性测量和数据,还是定量测量和数据,还是定性和定量相结合。
最后,实验设计也是很重要的一方面,虽然这个不直接涉及代表受益群体的问题,但是它是验证项目和效果因果关系中很关键的一步。不管是随机试验(真实验设计)还是准实验设计,都可以通过在样本中制造两组(或者更多组)条件类似的双胞胎(或者多胞胎),一组给干预,其他组不给干预(或者给其他类型的干预),来验证项目是否和观测到的“效果”之间有因果关系。相关的阐释和例子,我在“影响力评估中的测量和因果验证:从KickStart案例说起”一文中也有涉及,感兴趣的伙伴也可以看看那个文章。
说完方法,再说说伦理。“代言”这个词,本身在一定程度上就暗示了“评估方”和“受益方”的不同,那么在评估中,评估方需要和受益方建立信任,需要设身处地地为受益方考虑,需要和受益方共情,等等等等。这些说起来是大白话,但是做的很是不易。例如,数据收集和受益方利益产生冲突的时候,如何解决/甚至取舍?在面对受益方有紧急需求的时候,你作为评估方,应该怎么做?这都是对评估方实实在在的考验,需要评估方在这样的经历中不断反思和总结,才能守好伦理。
以上是只是做好评估的一个方面,与之相关的还有很多。不过,最终,作为跨越和连接研究和实践的评估,其发展离不开社会科学理论和研究方法论的进步,也离不开公益实践“质”和“量”的提升。