组织如何推动数据和证据被纳入政策制定议程
步入信息时代，数据成了人们开展研究、助力决策的巨大宝库。本文带领我们了解J-PAL，一个使用数据、引入实验方法以缓解全球贫困的组织。它是诺贝尔经济学奖得主的主要项目。J-PAL在解决贫困问题中创新研究，自我迭代，与证据决策社群合作，致力于推动使用数据和证据的使用；识别问题，将核心点瞄准于政策问题上，并总结了三条重要的经验教训。在如何有效利用数据、创新研究方法，如何推动研究结果被利益相关方考虑和采纳，以及如何进行组织自身的发展和迭代方面，J-PAL都为我们提供了重要的启示。面对贫困、公平、气候等不断发展和变化的全球性问题和挑战，希望这篇文章能引发出读者们新的思考。
2019年，阿比吉特·巴纳吉（Abhijit Banerjee）、埃丝特·迪弗洛（Esther Duflo）和迈克尔·克雷默（Michael Kremer）荣膺诺贝尔经济学奖，以表彰他们 “引入实验方法以缓解全球贫困"所做出的贡献。这证明了他们在过去二十年中在发展经济学（development economics）中激发的创新。但获奖者一再强调，在发展经济学中使用随机对照试验（RCTs）是将创新和证据纳入社会政策和实践的更广泛运动的一部分。对这项研究同样重要的是创建一个基于证据决策的（E2P）社群，正如颁奖委员会所说，这已经、并将在未来持续有助于获奖者的研究，“极大地提高了我们在实践中与贫困作斗争的能力。”
阿卜杜勒·拉蒂夫·贾米尔反贫困行动实验室（下文简称J-PAL）是由阿比吉特·巴纳吉和和埃丝特·迪弗洛在2003年共同创立的，迈克尔·克雷默长期隶属于该实验室。如今，该实验室包括遍布多国的近500名研究人员和400多名工作人员，是证据决策组织和个人网络的关键枢纽之一，致力于推动使用数据和证据的使用，从而更好地了解潜在政策挑战，并为这些问题设计、试点、评估和推广创新解决方案。J-PAL与创新扶贫行动（IPA）等伙伴组织共同搭建了基础架构，以资助并实施随机对照试验，并根据研究见解进行政策宣传，培养利益相关者将证据应用于决策的能力。通过利用包括全球30多个J-PAL和IPA办事处在内的研究基础设施，一个庞大且不断增长的附属研究人员网络与非政府组织和政府的社会创新者合作，通过近1000项随机对照实验，严格评估有前景的扶贫项目的影响。这些项目分布在50多个国家，几乎覆盖所有发展部门，包括农业、气候、教育、公司、性别、治理和劳工。
这些项目被J-PAL网络研究人员证明有效，又因我们合作组织的加入而扩大了规模，目前已覆盖了超过4亿人。由J-PAL工作人员组成的独立政策推广团队分布在十几个国家，不仅将研究证据总结并综合成可操作的政策经验，还与地方政府和非政府组织建立长期合作伙伴关系，以扩大有效项目的规模。如今，全世界数以千计的研究人员和政策制定者借助随机对照试验或根据试验产生的证据来影响其决策。这需要专门的培训团队，他们创建了一套面授课程并逐步加入了在线课程，旨在培养政府、非政府组织、基金会和其他发展组织中成千上万的决策者进行随机对照试验并解释其结果的能力。
J-PAL的三个基本支柱，即实地研究、政策宣传和能力建设，都需要灵活性、对当地情况的深刻理解以及密切的合作。最重要的是，不仅是随机对照试验背后的方法论和计量经济学需要一系列的创新，在以下方面也需要创新：实地数据收集（例如，通过创新调查的设计以获取精准的信息并最大化响应率），实验设计（如何最小化溢出效应和损耗），透明性（试验注册、实验可复制性和数据发布），可扩展性（证据综合、可复制性、通用框架、监测系统和累计成本），以及能力建设（使用定制化培训和在线课程）。
遗憾的是，基于实证依据的决策依旧是例外，而不是一种普遍规则。在贫困、公平和气候变化方面，严峻的挑战依然存在。在本文中，我们将深入探讨J-PAL成功背后的关键创新、启示，以及面对挑战所需的创新核心。当然，我们也清楚还有许多证据决策组织正夜以继日在许多其他维度上工作和创新。
▍研究创新
J-PAL在证据决策社群中扮演着一个独特的角色，我们专注于方法论。正如诺贝尔奖委员会所指出的，随机对照试验是一种十分严谨的、衡量社会事业影响的方法。该方法可以确定因果机制，解释政策为何以及如何发挥作用。但该领域的相关研究不仅包括随机对照试验。定性工作对于设计良好的随机评估至关重要，描述性研究、行政数据和参与者的持续反馈对于解释和应用随机对照试验的洞察都是必不可少的。在过去的二十年里，J-PAL做出了一系列努力以帮助开发一个强健的研究基础架构，这些努力包括在世界各地建立区域办事处，支持数百个大规模的实地实验，以及提高研究的透明度和质量。
例如，社会科学中存在着发表偏倚的挑战，呈现积极结果的研究会更可能被发表。为应对这个挑战，J-PAL帮助建立了一套准则，新的随机对照试验必须在美国经济协会的随机对照试验登记处进行记录。J-PAL于2012年帮助推出了该准则且仍在持续支持。在研究设计阶段，J-PAL鼓励研究人员设计研究，以确保他们收集的数据是可靠和准确的：通过选择最优的随机样本（例如，在整个学校层面而不是在教室层面）来减少溢出效应，并通过分层将损耗降到最低。为了在研究实施期间提高数据质量，J-PAL和IPA帮助制定了频繁重查数据的标准，由对家庭样本进行重新调查的“回溯”调查员进行。提高数据质量的其他创新包括将调查本身从纸质表格转移到使用平板电脑收集更高质量的数字数据，以及跳出调查本身，通过游戏、实验小故事和现场的内隐联想测验进行复杂结果的测量。在数据收集后，J-PAL和IPA还制定了完整的流程，确保参与者的保密性和数据的透明并及时发布。此外，J-PAL还为附属机构提供复制服务，研究助理会使用原始数据，重写用于分析的代码以确认结果。
除了帮助制定如何进行随机评估的标准外，J-PAL还制定了特别资助计划来确认待研究的棘手政策领域，并鼓励制定连贯的研究议程。在包括农业技术采用、犯罪和暴力、教育技术和中等教育、就业、金融包容性、医疗保健服务、治理、就业和社会包容等领域，J-PAL与政策制定者和研究人员共同合作识别知识缺口，并通过竞争性资金开展具有前景的创新测试，以帮助填补这些缺口。
▍J-PAL 2.0
J-PAL并不是唯一认可行政数据重要性的机构。在美国，诸如“社会政策行动情报（Actionable Intelligence for Social Policy Initiative）”和华盛顿特区实验室（The Lab at D.C.）等团体正使用州和地方政府层面的行政数据来更好地了解政策对他们所服务社区的影响。在国际上，“发展门户（Development Gateway）”和“可持续发展数据全球伙伴关系（Global Partnership for Sustainable Development Data）”等组织正在与政府机构合作，帮助改善他们的行政数据的获取和使用，从而实现基于证据的决策。此外，即使是那些历来不进行随机评估的组织如国际货币基金组织（International Monetary Fund），也认识到利用行政数据提高统计质量和帮助政府机构决策的重要作用。
J-PAL以及更广泛的影响评估和证据决策社群，在研究创新方面的第二大领域是在特定的部门范围建立更广泛和更雄心勃勃的研究方案。在所有的新研究中最迫切的领域之一是气候变化，因为它有可能使得数十年取得的进展化为乌有，并且其后果已经在与高温死亡/热死亡、食品安全恶化和极端天气事件中显现。生活贫困的人最易受到气温剧烈变化对其农业生计的影响，因海平面变化、自然灾害和极端气温影响的生活会变得更加困难、难以负担甚至危及生命。如果不解决气候变化问题，在解决许多其他问题方面取得进展的效果将大大降低——例如，如果里约热内卢的大部分地区因海平面上升而被淹没，如果德里的空气质量太差而让人无法上学，如果大火摧毁了澳大利亚的交通和基础设施，亦或者沙特阿拉伯天气过于炎热而让人们无法工作。
证据决策社群一边涉足研究一边涉足政策，完全有能力解决这个问题。首先，研究人员必须将实验室的技术进行实地测试。衡量新技术的现实影响对于理解其外部效应和影响其规模的政治经济因素来说至关重要。其次，研究人员需要测试提高气候政策和监管有效性的策略，因为一些受气候变化后果打击最严重的国家也在努力应对有限的国家设计和执行监管能力。最后，研究人员必须测试影响行为的干预措施，从而减轻个人负担并鼓励特定行为。
这项工作的一个实践案例来自印度古吉拉特邦，在那里，环境审计员更加独立，提高了污染审计报告的准确性，进而减少了工业污染。根据J-PAL附属机构的随机评估结果，古吉拉特邦污染控制委员会（GPCB）于2015年改革了其环境审计系统，发布了新的指导方针，要求随机分配环境审计人员。如今，研究小组成员继续与古吉拉特邦和其他印度邦的官员密切合作，共同制定和评估环境政策。
难民和移民是实验研究创新并为决策提供信息的另一个重要领域。据联合国估计，目前全球有超过7000万人被迫背井离乡，这是历史上难民、寻求庇护者和境内流离失所者的最高记录。许多难民的处境更加脆弱：全球一半以上的难民是儿童，数百万人因无国籍而无法受到法律保护，且许多人来自或生活在具有严重安全问题的国家。
至关重要的是，证据决策社群需加倍努力，学习如何应对教育、安全和就业方面的挑战，因为这些人往往会流离失所数十年。例如，在J-PAL，我们的欧洲社会包容倡议（European Social Inclusion Initiative）评估了促进欧洲移民和难民社会包容的方案和政策。第一轮资助项目包括对一些项目的评估，例如，促进瑞典移民融入社会的社会联系，建立土耳其和叙利亚学童之间的社会凝聚力，以及消除芬兰对移民的社会排斥。IPA最近还发起了一项人道主义和被迫流离失所倡议（Forced Displacement Initiative），通过政策相关研究，改善被迫流离失所者及其所在社区的生活。
目前正在提出创新研究问题的其他领域包括性别、私营部门、税收和城市基础设施。发展经济学不再仅仅通过分类数据研究性别问题，而是更进一步地提问：我们如何最有效地解决规模化的性别差异和不平等，现有的发展项目是否正在缩小人类发展中的性别差距，家庭和社会中的性别动态如何影响这些项目的结果，以及我们如何最好地衡量机构和赋权等领域的变化。萝莉·比曼（Lori Beaman）、帕斯卡林·杜帕斯（Pascaline Dupas）、埃里卡·菲尔德（Erica Field）、西马·贾亚钱德兰（Seema Jayachandran)、罗希尼·潘德（Rohini Pande）、西蒙·沙纳（Simone Schaner）等研究人员目前正在设计创新研究来回答这些问题。
尽管私营部门似乎超出了贫困研究的范畴，但仍有实验研究的余地。例如，国家之间的收入差异主要可以由企业生产率的差异来解释，因此，确定刺激生产率增长或提高企业生产力的政策可以对扶贫和社会流动产生重要影响。此外，
在如何提升企业发展并由此如何影响工人及其家庭甚至更广泛的经济方面寻求严谨的证据，将有助于为决策提供信息并加以改进。致力于解决这些问题的研究人员包括大卫·阿特金（David Atkin）、尼古拉斯·布鲁姆（Nicholas Bloom）、迪恩·卡兰（Dean Karlan）和安托瓦内特·肖尔（Antoinette Schoar）等。认识到这些领域新兴研究的重要性，J-PAL于2019年正式成立了“性别和企业（Gender and Firms）”的新部门。
新数据允许我们提出新问题，然而全球贫困人群所面临的挑战也在不断地变化。研究人员和证据决策组织必须灵活地处理这些新问题，并合力寻求新的解决方案。
▍政策创新
随机评估在精确衡量某个社会项目在特定时间、地点产生的效果方面极具价值，但仅凭因果推断并不足以改善政策，改变生活。项目和政策不应仅仅因它们在某些方面有效就扩大其规模。基于证据的决策，尤其是将依循证据支持的社会项目从一种情境调整到另一种情境时，需要对全球证据的深刻理解、对当地背景和当地系统的了解、机会窗口、变革的政治意愿、资金和足够的执行能力。
政策制定者在使用证据为决策提供信息方面面临多重限制。在“证据供应”方面，这些挑战包括获取相关研究的挑战，开展影响评估时很少涉及详细的项目成本数据（预算约束对决策者来说与项目结果一样重要），以及当类似项目的评估显示出不同的结果时，很难确定最终的结论。此外，在一个地方取得成功的项目是否会在一个全新的背景下产生类似的影响？除了潜在用户的“证据需求”，我们还需要意识到，决策者需要在短时间内做出决定，并且必须考虑一系列政治、行政和预算因素。证据充其量只是决策过程的一部分。在努力将实验证据转化为行动的过程中，我们学到的一个关键教训是要对供需双方统筹兼顾。
也许J-PAL最重要的学习核心是如何有效地与政府建立伙伴关系，以扩大经过测试的创新。对许多人来说，政府，特别是发展中国家政府，似乎效率低下、腐败或创新缓慢。然而，各国政府是全球贫困和发展的杰出参与者，对社会项目负有无与伦比的责任，其影响力和规模无与伦比，通过明智的伙伴关系可以促进福利的巨大增长。在过去的20年里，通过J-PAL研究人员的评估被证明有效的项目扩大了规模，全球有4亿人参与了这些项目。这些规模的扩大绝大多数是由政府主导的。
在如何与政府建立伙伴关系以扩大证据支持的创新方面，我们学到了三个关键经验教训：
1.“放眼全球，立足本地”的政策人员可以识别和利用政策机遇。设在区域和国家办事处或嵌入政府部门的J-PAL政策工作人员在确定证据窗口以为决策提供信息方面发挥了关键作用，并在政府内部找到了能够帮助实现这一目标的“证据拥护者”。例如，在赞比亚，J-PAL非洲政策人员通过经常访问的方式了解教育部的工作重点，从而有机会将“适当水平的教学（Teaching at the Right Level，简称TaRL）”纳入其中并加以推广。这一教学项目由印度非政府组织布拉罕教育基金会（Pratham）首创，并通过巴纳吉和迪弗洛领导的多个J-PAL评估反复改进。通过这些互动，J-PAL的工作人员了解到赞比亚正在努力解决小学学习水平低的问题，并正在寻找帮助落后学生迎头赶上的方法。
J-PAL将如何应用过去十年间的催化证据来推进政策行动的经验？首先，我们正在加倍努力，通过竞争性基金与政府建立多方利益相关者伙伴关系，扩大规模。J-PAL的“政府创新计划（IGI）”与政府合作，适应、试点并推广基于证据的创新，这些创新很有可能改善低收入和中等收入国家数百万贫困人口的生活。我们将“政府创新计划”作为一个竞争性基金来运营，旨在为基于证据的创新规模化培育种子，而J-PAL地区办事处和合作伙伴可以与政府和研究人员合作申请该基金。特别是，该倡议正在促进使用技术和数据赋能系统来降低项目交付和监测的成本，科学地在大规模推广前对不同的模型做调整、进行压力测试，以及系统地收集成本数据。
“J-PAL 2.0”的第二个重大政策主题将是更好地利用政策窗口，即合作伙伴更愿意基于证据进行决策的窗口。J-PAL计划通过分享证据、在不同情境下经试验后最有效的政策和计划、发挥作用的关键机制和细节，以及策划研究人员和实施者之间的讨论，优先考虑为合作伙伴和战略组织提供更灵活、变通和快速的支持。我们设想，这些机会可能出现在组织重新审视其战略或进入新的多年规划周期的特定时期。例如，J-PAL联合董事本·奥尔肯及其政策工作人员与威廉和弗洛拉·休利特基金会（William and Flora Hewlett Foundation）分享了关于如何利用慈善改善治理的全球证据和框架，帮助该基金会进行战略规划。4月16日，阿比吉特在世界银行（World Bank）春季会议期间向50位财政部长进行了演说，分享了通过教育、卫生和社会保护提高人力资本的想法，而这些想法均经过了验证。
最后，J-PAL未来十年政策推进的第三个主题是将与最有前景的政策制定者的合作转化为持久、长期的伙伴关系。与IPA类似的其他证据决策组织、秘鲁教育部和印度泰米尔纳德邦政府（Indian state government of Tamil Nadu）等政府组织、布拉罕教育基金会（United Kingdom Department for International Development）的非政府组织、以及英国国际发展部或比尔和梅林达·盖茨基金会（Bill & Melinda Gates Foundatio）等捐助者建立长期伙伴关系，对于推动基于证据的决策行动至关重要。上述许多规模化的例子都是通过长期伙伴关系产生的信任和相互理解而得以实现的。
▍能力建设和多元创新
为了让政策制定者和资助者有能力将证据纳入他们的工作，J-PAL和许多证据决策组织，如世界银行和有效全球行动中心（CEGA），都将能力建设工作列为优先事项。J-PAL有助于提高提供证据的研究人员以及使用证据的决策者和捐赠者的能力。我们进行了一系列活动，包括面授的培训项目和大学级别的在线公开课程等。
在过去的二十年里，除了对研究人员进行内部培训外，J-PAL还开设了一系列培训课程，包括我们的旗舰培训活动：评估社会项目（Evaluating Social Programs）。这是一个为期五天的高管教育项目，为政策制定者提供关于随机评估的实践培训，并培养他们成为更好的证据专员和使用者。这些开放注册课程还为欧洲委员会、印度行政和经济部门和联合国儿童基金会等合作伙伴提供了一系列定制的面授课程。自2003年以来，我们已有超过8,500名参与者。
▍下一步是什么？
展望未来，三个相互关联的领域将更有效地提高我们合作伙伴的能力，推动更多基于证据的决策。首先，我们将利用在线平台的潜力触达更多人；其次，我们将把这些课程纳入政府公务员培训中；最后，我们将通过与更多来自不同背景的研究人员合作，帮助改变这一领域。
在早期，J-PAL严重依赖于面授课程来培训员工和合作伙伴。然而，在线平台有可能极大地增加获取这些知识的机会，例如我们与麻省理工学院经济学系（MIT Economics）合作提供的数据、经济和发展政策的在线微硕士课程（MicroMasters）。虽然这不是第一个关于发展的独立在线课程，但该课程是同类课程中第一个提供全在线课程的课程，将一系列关于政策和贫困的课程组合在一起，使参与者有机会获得正式的微硕士证书：通过五个在线课程和线下考试，该项目为学习者提供了应对社会政策中紧迫挑战所需的实践技能和理论知识。为了增加入学机会，该课程的费用相对低廉：费用取决于学习者的家庭年收入，每门课程从100美元到1000美元不等，如果学习者不想参加证书考试，则可以免费旁听。这些课程每年提供几次，学习者可以在任何地方一次参加1至5门课程。课程的定价结构、时间和节奏的灵活性、质量和远程教学使其在全球范围内具有很高参与度。迄今为止，来自180个国家的10,000多名学习者报名参加了该课程，其中1,500多人获得了正式的课程结业证书。
J-PAL未来的第二个优先事项是为公务员和政府官员提供终身的、定制化的学习。遗憾的是，许多国家的公务员要么很少接受培训（主要集中在受聘时），要么在职业生涯中接受非常分散的培训（例如，每五年一次）。目前我们正利用开发的在线学习模块，优先考虑与政府公务员项目的长期的、机构层面的合作，而不是与政府部门进行一系列单次的定制培训。例如，在与J-PAL南亚地区办事处的合作下，印度人事和培训部正在为符合条件的工作人员报销完成微硕士课程学习的费用。67名公务员报名参加了试点阶段的课程，其中38人已经完成了一门课程并通过了考试。我们预计在未来几年将有数千人加入。在比尔和梅琳达·盖茨基金会的支持下，我们正在努力将课程数量扩增至数十种选择，触及更多政府部门。
J-PAL的第三个重要优先事项则与能力建设有关，即与发展中国家的研究人员合作并提升他们的能力，这也是推进全球研究人员队伍多元化所需的努力之一。经济学研究人员往往来自发达国家和精英机构，在J-PAL附属的网络组织中情况也是如此。除了公平和机会问题外，这也不利于我们进行证据决策和消除贫困，因为当地研究人员基于对当地环境的了解，对贫困相关问题的挑战和潜在解决方案提供了独特的见解和观点。
在J-PAL，极易获得的微硕士课程是推进研究网络多元化和培育地方能力的重要组成部分。另一个例子是由J-PAL非洲主办的J-PAL数字识别和金融倡议。该倡议的负责人坦夫内特·苏里（Tanvneet Suri）及其工作人员已经为非洲研究人员设立了试点资金，正在将当地研究人员作为牵头研究人员和共同作者纳入该倡议，并提供我们网络中高级附属研究人员的有针对性的指导。其他旨在更好地整合来自发展中国家的研究人员的举措还包括博士奖学金项目、学术会议奖学金，以及通过其他研究方式为当地研究人员与评估机会之间“牵线搭桥”。
此外，经济学领域的性别多样性也是一个优先事项，因为妇女在该领域的许多方面仍然缺乏代表性。J-PAL最近成立了一个性别问题工作组，以审查与性别有关的内部问题，还对工作人员进行了隐性偏见培训，并正在积极讨论如何将更多女性纳入我们的研究附属网络。
▍结论
随着贫困人口所面临的挑战不断增加，包括海平面和气温上升的新威胁、移民和流离失所的新规模以及人口稠密的城市中心的新现实，决策者和研究人员提出和回答问题的方式也必须做出改变。证据在改善社会政策方面的潜在作用从未如此重要。为了帮助应对这些挑战，J-PAL和更广泛的证据决策社群将继续推动研究、政策影响和能力建设方面的创新。诺贝尔奖对基于证据的决策工作的认可，对更广泛的运动来说是一大福音，将有助于我们更加雄心勃勃地推动变革，增强研究在减少贫困方面的作用。
伊克巴尔·达利瓦尔(Iqbal Dhaliwal)是J-PAL的全球执行董事。他在麻省理工学院经济系工作，与董事会共同制定该组织的战略愿景，并与地区办事处的领导层合作，协调全球范围内的研究、政策推广、能力建设和运营。他也是J-PAL南亚办事处的Esther Duflo以及政府创新倡议的Abhijit Banerjee的联席主任。
约翰·弗洛雷塔(John Floretta )是J-PAL的政策和公关总监。他与政策制定者、J-PAL附属研究人员以及J-PAL全球和地方工作人员合作，推广随机评估的经验教训，促进成功社会项目的证据知情决策和规模化。
萨姆·弗里德兰德(Sam Friedlander )是J-PAL执行董事的高级政策和通讯助理。
来源：《斯坦福社会创新评论》英文网站2020年7月27日
原标题：Beyond Randomized Controlled Trials