【文章精选】李晓倩 等｜实验方法在公共管理研究中应用的最新进展｜2022年第4期

实验方法在公共管理研究中应用的最新进展

——基于国际期刊发表 （2017—2021） 的系统性文献综述

◉ 李晓倩 戴乐融 刘小雨

【摘要】近五年来，实验研究在国际公共管理期刊的发表数量增长迅速，仅5年的发表总量已超过5年前历史发表总量的两倍。本文对这一时期（2017—2021）发表在17本公共管理SSCI期刊上的252篇实验研究文章以及其中的347个实验进行了系统分析，以期了解公共管理实验研究的最新进展和实验方法在公共管理研究中的应用动态，对应用实验方法解决公共管理研究问题的特征有更清晰的认知。对实验从发表特征（时间、期刊和作者）、实验特征（实验类型和实验设计）、被试特征以及数据特征四个维度进行编码，通过单项分析和交叉分析发现，过去五年有来自美国、荷兰、丹麦等31个国家的作者参与到公共管理实验研究中，Journal of Public Administration Research and Theory和Public Administration Review的发文量居首位；实验研究以单实验研究、考察单个因变量为主，调查实验是最常用的实验类型，被试间设计和多因素设计的使用率更高；被试类型呈现多样化，其中公共部门工作人员是最常用的被试，被试数量在不同研究间的差异极大；数据收集方式以线上为主，回归分析和方差分析是最常用的数据分析方法。通过与五年前（1978—2016）发表的实验研究特征进行对比，对未来公共管理研究中实验方法应用的可能性进行了展望。【关键词】实验方法, 系统性文献综述, 国际期刊, 公共管理实验研究, 2017—2021【作者介绍】李晓倩：华中科技大学公共管理学院副研究员，[e-mail]. 戴乐融: 华中科技大学公共管理学院硕士研究生；刘小雨: 华中科技大学公共管理学院硕士研究生。 【引用格式】李晓倩 戴乐融 刘小雨. 实验方法在公共管理研究中应用的最新进展 ——基于国际期刊发表（2017—2021）的系统性文献综述. 公共管理与政策评论, 2022, 11{4): 151-168.

—文章结构—

一、引言二、文献综述三、数据与方法（一）数据来源及筛选方法（二）分析变量的选取（三）分析方法四、分析与发现（一）发表特征（二）实验特征（三）被试特征（四）数据特征五、对比与讨论（一）公共管理实验研究的发表特征（二）公共管理实验研究的实验特征（三）公共管理实验研究的样本特征（四）公共管理实验研究的数据特征六、总结与展望

一、引言

过去10年间，实验方法在公共管理研究中的应用日益广泛，国际期刊上发表的公共管理实验研究数量持续增长（见图1）。作为一种新方法主导的研究类型，公共管理实验研究自兴起以来受到了国内外学者的积极关注。除了实验方法在公共管理研究中的直接应用外，学者们也对于已经开展的实验研究进行了及时地梳理和分析。这些梳理和分析有助于学界及时了解和掌握实验方法在公共管理研究中的应用动态，启发实验方法的应用场景，促进实验方法在公共管理研究领域的应用更加有效和规范，更好地解决公共管理研究领域的重要问题。

值得注意的是，目前国内外对于公共管理实验研究的系统文献分析还集中于2017年前。虽然近两年国内外有学者针对公共管理研究中的特定实验类型和特定研究主题以及由特定区域学者参与的实验研究进行了具体分析，但是对于近几年公共管理实验研究的整体发展现状尚缺系统地分析与讨论。相比之前的崛起期，近五年是公共管理实验研究的快速发展期，仅五年内实验研究的发表总量（252篇）已为2017年前（1978—2016）历史发表总量（98篇1）的两倍有余。这使得之前对于公共管理实验研究特征的分析已经不足以概括公共管理实验研究的最新进展，有必要对这一时期（2017—2021）的研究进行及时地梳理和分析，了解其与之前研究相比呈现出的新特点。掌握这些新特点一方面有助于我们对应用实验方法解决公共管理研究问题的范畴有更好的认知，另一方面有助于开展实验研究的学者更好地参考国际前沿研究动向。目前国内公共管理实验研究仍处在起步阶段，及时了解国际前沿研究动态对于国内开展实验研究的学者有积极的借鉴意义，对有兴趣应用实验方法开展研究的学者也可提供启发。鉴于此，本文对2017—2021年期间在国际期刊上发表的最新公共管理实验研究进行了系统文献分析。

研究发现，过去五年公共管理实验研究在国际期刊发表的总量（252篇）和增速（年均16%）可观，其中在Journal of Public Administration Research and Theory（JPART）和Public Administration Review（PAR）两本期刊上的发表占到总量的40%；作者分布最多的国家是美国、荷兰和丹麦。单实验研究居多，发表数量约为多实验研究的四倍，且五年间的发表数量和比例均呈上升趋势。应用最多的实验类型是调查实验（survey experiment）,其次是实地实验（field experiment），最少的是实验室实验（lab experiment）。被试间设计的应用占主导（95%），被试内设计和混合设计的应用在近两年略有增长，但趋势尚不明显。调查实验和实验室实验应用多因素设计多于单因素设计，实地实验应用单因素设计多于多因素设计。调查实验考察单个因变量的比例居多（63%）,实地实验和实验室实验考察单个因变量和多个因变量的比例相近。研究被试所属群体主要为公共部门工作人员和公众；被试数量在不同实验间差异明显（从30到1042303）,平均而言，实验室实验、调查实验和实地实验使用的被试量依次增大。90%的调查实验采用了线上数据收集方式，实地实验采用线上和线下数据收集方式的比例相当，实验室实验全部采用线下数据收集方式。回归分析是最常用的数据分析方法，其次是方差分析。与五年前的实验方法在公共管理研究中的应用情况相比，既有一致的特征，例如调查实验是最常用的实验类型；也有不一致的特征，例如公共部门工作人员取代公众成为了最常用的被试群体；同时可以观察到一些变化趋势，例如调查实验的应用更加频繁，而实验室实验的比例锐减。

与前人研究相比，本文的贡献和创新主要体现在以下几个方面：一是在分析对象上，本研究针对近五年（2017—2021）国际期刊发表的最新研究，目前国内外尚无对这部分研究的系统分析；二是在分析内容上，本研究针对实验研究的发表特征、实验特征、样本特征和数据特征四个维度下的九个项目，与以往研究相比更为全面、系统；三是在分析方法上，以往研究主要针对各项目进行单项分析，本研究在此基础上还进行了项目间的交叉分析，可以更为细致地了解实验方法的应用特征；四是在结果分析上，本研究不仅针对现有研究发现进行分析，还与以往研究发现进行系统对比，更有利于揭示实验方法在公共管理研究中应用特征的变化趋势。

下面本文将首先回顾以往有关公共管理实验研究的评述性论文，厘清本研究与先前研究的联系和区别，确立本研究的基础（第二部分），然后呈现本研究的数据来源和分析方法（第三部分），接着对分析结果进行分项呈现和讨论（第四部分），通过与先前研究的发现（1978—2016）对比，对分析结果分维度进行综合讨论（第五部分），最后对实验方法在公共管理研究领域的适用性问题进行了展望（第六部分）。

二、文献综述

根据其主要研究内容，国内外关于实验方法在公共管理研究中应用的评述性论文大致可以分为三类。第一类从方法论角度展开，主要是对（各类）实验方法在公共管理研究中的引介和评价。Blom-Hansen、Morton和Serritzlew对于实验方法解决内生性问题的特征和其设计属性进行了评述，介绍了实验室实验、调查实验、实地实验、自然实验（natural experiment）和准实验（quasi-experiment）五种实验类型的优劣势，并对实验方法的内部效度（internal validity）和外部效度（external validity）问题进行了评价。Baekgaard等学者对于在公共管理研究中应用实验室实验、调查实验和实地实验三类方法提供了实践指南，包括应用各类实验方法的注意事项。马亮对实验方法在公共管理研究中的应用现状进行了分析，对比了公共管理学科和其他学科、国外与国内在应用实验方法上的现状差异，尤其以中国视角分析了中国开展公共管理实验研究的进展、机遇和挑战。景怀斌在《公共行政评论》2015年的《实验研究方法》专栏导语中对于实验方法的基本逻辑与问题进行了讨论，并提出公共管理实验研究应该有自己的学科特征。代涛涛和陈志霞对于实验室实验、调查/问卷实验、现场/田野实验、自然实验的特征以及其在具体研究中应用选择进行了讨论。李晓倩针对在公共管理研究中的应用实验方法普遍存在的一些质疑，例如外部效度问题，进行了辨析。

第二类论文是对已经开展的公共管理实验研究进行的系统性文献综述，以反映公共管理实验研究发表的总体特征和进展。Bouwman和Grimmelikhuijsen对于1992—2014年发表在14本国际期刊上的42篇公共管理实验研究的实验设计、被试和外部效度等特征进行了系统分析。李晓倩等对于1978—2016年发表在16本国际期刊上的98篇实验研究从实验设计类型、研究对象、被试招募方式等方面进行了系统分析;基于同一数据库，李晓倩对于实验研究的研究领域、研究话题、研究思路和研究发现进行了分析与归纳,李晓倩和马亮对于实验研究论文中实验报告的情况进行了分析和评价。Li和Van Ryzin对1990—2015年发表在11本国际期刊上的72篇实验研究的实验类型、被试、研究主题等方面进行了分析。岳经纶和张虎平对于2010—2017年发表在JPART和PAR两本期刊上的43篇文献的研究主题、干预方式等内容进行了系统梳理和分析。Chen和合作者对于2012—2020年由亚太地区学者参与的30项实验研究从研究话题和研究设计等方面进行了系统分析。

第三类论文针对使用某一类实验方法或者使用实验方法考察某一主题的研究进行综述。Bozeman和Scott针对实验室实验，梳理并回应了实验室实验应用于公共管理研究的潜在问题和局限。Margetts结合实证研究在20年后重新回顾和评价了Bozeman和Scott文中指出的有关开展公共管理实验研究的障碍，并且指出使用不同类型实验（实地实验）对于开展公共管理实验研究的促进作用。Anderson和Edwards同样针对实验室实验，讨论了应用实验室实验的优势和挑战，对公共管理研究中使用实验方法提出了倡议。Hansen和Tummers针对实地实验，基于对2010—2019年发表在11本国际期刊上的42篇文章的分析，讨论了实地实验在公共管理研究中的发展趋势以及应用时的考虑事项。李文彬和陈晓绚对于运用实验方法开展公民满意度相关主题的研究进行了系统分析。

在时间关系上，早期的实验研究综述针对某一类实验方法（实验室实验）展开，主要受制于当时对于实验方法应用和认知的局限性；之后随着实验方法开始引起公共管理学界的关注，从方法论角度专门对实验方法进行介绍和讨论的文章开始出现；随着实验方法在公共管理研究领域的应用，学者们开始对于已经开展的实验研究进行梳理和分析，以期了解实验方法在公共管理研究中的应用特征；近期的实验研究综述开始关注公共管理实验研究的局部特征，包括再次聚焦到某一类实验方法（实地实验）、使用实验方法开展某一主题的研究以及某一区域内学者参与的实验研究。

本研究属于上述分类中的第二类，对于近五年（2017—2021）发表在国际期刊上的公共管理实验研究文章进行系统分析。选择这个时间段的原因在于：一方面，由前文综述可知目前对于公共管理实验研究发表的系统分析集中在2017年前，2017年后实验方法在公共管理研究中的应用情况尚不明晰；另一方面，最近几年公共管理实验研究的发表数量增长迅猛，仅五年的发表总量已经超过之前历史发表总量的两倍多，这使得及时对这一阶段研究的情况进行梳理更有必要。具体而言，本研究的文献筛选标准和过程主要参考借鉴李晓倩等,文献的分析内容同时参考和借鉴了李晓倩等以及李晓倩和马亮中的分析项目，包括发表特征、实验特征、被试特征和数据特征几个方面。文献的分析方法包括单项分析和交叉分析，其中单项分析在之前的系统性文献综述中有普遍的应用，本研究在此基础上还进行了各项目间的交叉分析，可以更加细致地了解实验的应用特征。除此之外，鉴于本研究的文献筛选标准与李晓倩等以及李晓倩和马亮一致，本研究的发现（2017—2021）还进一步与上述两篇文章中相同的分析内容（1978—2016）进行对比，以期更好地了解实验方法在公共管理研究应用中的变化。

三、数据与方法

（一）数据来源及筛选方法

首先，从ISI-web of science数据库中筛选出公共管理类（category=public administration）的期刊，共计48本。从中剔除非英文期刊（n=4）,剔除所有公共政策、社会政策以及非营利组织方向的期刊（n=21）,剩余共计23本。

其次，从23本公共管理期刊在2017—2021年见刊的论文中筛选出使用实验室实验、调查实验和实地实验的研究，共计252篇文章，发表于17本期刊。各期刊的筛选结果如表1所示。

（二）分析变量的选取

分析变量主要分为四个维度：发表特征、实验特征、被试特征和数据特征（见表2）。发表特征又进一步从文章发表时间、话题分布、期刊分布、作者背景和跨国合作情况几个方面进行分析，实验特征从实验类型和实验设计两个方面进行分析，被试特征从被试类型和被试数量两个方面进行分析，数据特征从数据收集和数据分析两个方面进行分析。

（三）分析方法

分析方法分为单项分析和交叉分析。单项分析针对各分析维度的单项内容进行，交叉分析主要对实验特征、样本特征和数据特征中的部分分析内容在期刊分布以及实验类型上的分布做进一步考察。

四、分析与方法

（一）发表特征

1.发表时间和话题分布。2017—2021年间国际期刊发表的实验研究论文总数为252篇。从历年发表数量的趋势来看（见图1）,过去五年国际期刊发表的实验研究增速和增量均较为显著，五年内发表量为之前历史发表总量的2.6倍，五年间的论文发表数量年均增长率大约为16%。

通过VOS viewer对252篇文章的标题和摘要进行主题词分析发现（见图2）,过去五年公共管理实验研究的研究内容主要涉及绩效信息（performance information）、公共服务动机（public service motivation）、决策（decision making）、信任（trust）、性别（gender）、歧视（discrimination）、问责（accountability）、公共服务（public service）、服务（service）、项目（program）和努力（effort）等话题，其中绩效信息、公共服务动机、决策和信任是公共管理实验研究中的经典研究问题，性别、歧视和问责是过去五年涌现的新的关注点，总体来说对于公共服务和公共项目的关注是公共管理实验研究的特点之一。研究对象同时涉及个体层面的公共部门管理人员（public manager; manager）、政客（politician）、官员（bureaucrat）和雇员（employee）以及组织层面的公共部门（public organization; public sector）。

此外，主题词分析也揭示了过去五年公共管理实验研究的普遍特征。例如，调查实验（survey experiment）和实地实验（field experiment）是主要的研究方法，研究主要围绕个体（individual; person）、群体（group）和关系（relationship）展开，考察感知（perception）、行为（behavior）、偏好（preference）、意愿（willingness）和动机（incentive）等指标，关注对机制（mechanism）、知识理解（knowledge; understanding）和实践（practice）的贡献。

2.发表期刊分布。从发表文章在各期刊的分布来看（见图3）,2017—2021年期间发表实验研究数量排名前三的期刊是PAR、JPART和Public Administration （PA）,合计发表文章数量共132篇，占五年内实验研究文章发表总量的一半（52%）。其中，PAR和JPART五年内各发表了51篇实验研究论文，领先优势较为明显，两本期刊的发表总量（102篇）占所有期刊发表总量的40%,且年均发表量与其他期刊相比也更为稳定。PAR和JPART作为公共管理研究领域的一流期刊，可见其对于公共管理研究方法创新的重视，以及对实验研究的开放和支持态度。相比之下，PA的发表总量虽然有30篇，但是历年的发表数量波动较大，最少的为2篇（2019年）,最多的为10篇（2017年）。

其次，International Public Management Journal（IPMJ）、Public Management Review（PMR）、Journal of Policy Analysis and Management（JPAM）、Public Performance and Management Review（PPMR）五年累计发表量18～22篇，合计发表78篇，约占发表总量的三成（31%）。在这些期刊中，IPMJ和PPMR发表实验研究的数量呈逐年增长的趋势。此外，Review of Public Personnel Administration（RPPA,9篇）和American Review of Public Administration（ARPA,8篇）两本期刊虽然总体发表量相对较低，但每年均有1～2篇实验研究的文章发表。

3.发表作者分布。近五年发表文章的作者共计464名，来自31个国家,其中作者分布最多的前三个国家分别是美国（195名）、荷兰（58名）和丹麦（55名）。与1978—2016年相比，荷兰超过丹麦成为作者分布第二多的国家，荷兰学者所占比例也有所上升（从8%到12%）,美国学者比例有所下降（从52%到42%）,丹麦学者所占比例基本维持稳定（从10%到11%）。除此之外，英国有28名作者（6%）参与了过去5年的实验研究，比利时、德国和意大利的学者数量为17～19名。

来自不同国别机构的作者参与到同一项研究（跨国研究）的文章有90篇，占比36%,其中以两国合作的情况为主，有75篇（83%）,三国合作的有13篇（14%）。对比1978—2016年的跨国研究（20篇，20%）,这5年的跨国合作研究数量进一步增长，说明实验方法的应用越来越受到国际间合作研究的青睐。在非跨国研究中，作者人数排名前三的是美国（142名）、丹麦（41名）和荷兰（37名）,人均发文量排名靠前的是威尔士（1.5篇）、澳大利亚（1.5篇）、加拿大（1.1篇）和丹麦（1.1篇）。

在国家合作网络（见图4）中，美国处于合作网络的中心位置，与丹麦、英国、荷兰、意大利、比利时等多个国家合作。其中，美国与丹麦、荷兰和英国的合作最为频繁；坦桑尼亚、法国、日本、爱尔兰和加拿大只与美国有过合作；比利时、丹麦、德国、荷兰、意大利、英国和美国的作者则广泛参与跨国研究，与五个以上的国家进行过合作。

（二）实验特征

1.实验类型

（1） 单实验研究与多实验研究。2017—2021年发表的252篇实验研究文章中的实验总数为347个，其中单实验研究203篇（81%）,多实验研究49篇（19%）。从发表数量来看（见图5）,单实验研究前三年数量较为稳定，后两年数量有了明显增长；多实验研究数量五年间呈小幅波动整体平稳态势。从发表比例来看，单实验研究占比发展总体呈上升趋势，从2017年的76%波动上升至2021年的86%;多实验研究占比发展总体呈下降趋势，从2017年的24%下降到2021年的14%。

从单实验研究和多实验研究在各期刊的分布来看（见图6）,单实验研究是各个期刊发表的实验研究的主体，其中一些发表量较少的期刊，如Public Personnel Management（PPM）、Regulation and Governance（R&G）、Governance发表的实验研究均为单实验研究，在发表总量最多的PAR（78%）和JPART（84%）的单实验研究占比均超过3/4。在发表总量居中的几本期刊（发表总量在18～30篇）中，多实验研究的占比要相对高一些（PA:27%,IPMJ:23%,PMR:30%,PPMR:22%）;这部分期刊中的一个特例是JPAM（发表总量18篇，多实验研究占比6%）,这与JPAM的发表以实地实验为主相关（见图9）,实地实验的现实操作性难度较大，故多以单实验研究为主。

多实验研究中以两个实验为主（30个，61%）,其次是三个实验（10个，20%）的研究（10个，20%）,还有少数研究使用了三个以上的实验（9个，18%）。图7呈现了使用不同实验个数的多实验研究在各期刊上的分布。

（2） 实验室实验、调查实验和实地实验。2017—2021年实验研究使用最多的是调查实验（260个，75%）,其次是实地实验（67个，19%）,最少的是实验室实验（20个，6%）。从三类实验在五年间的绝对数量及相对比例分布看（见图8）,调查实验一直处在优势地位，占比68%～82%。其次是实地实验，五年间的占比12%～29%。最后是实验室实验，占比4%～9%。

从发展趋势来看，调查实验和实地实验有一个此消彼长的趋势。调查实验在2017—2019年有一个下降的趋势，从2017年占82%下降至2019年的69%,在2020年恢复到80%后，又下降到了2021年的68%;与此同时，实地实验在2017—2019年整体呈上升态势，占比从2017年的12%到2019年27%,之后又下降到2020年的15%,并于2021年达到29%的新高。相比之下，除了2018年达到9%,实验室实验的占比一直相对较为稳定（4%～6%）。

从三类实验在各期刊上的分布来看（见图9）,调查实验是各个期刊发表的实验研究应用的主导方法，在一些五年发表实验总量较少（不足10个）的期刊上（例如PPM,ARPA,R&G,Canadian Public Administration）,调查实验是其发表的唯一实验研究类型。实验室实验和实地实验在各期刊发表的分布较不均匀。实验室实验发表于8本期刊（47%）,其中PAR（6个）的发表量高于其他期刊（1～3个）。实地实验发表于10本（59%）期刊，主要集中在PAR（19个）、JPART（10个）和JPAM（16个）三本期刊上。值得注意的是实地实验在JPAM发表的实验研究中占比最多，达到了80%,这与其他期刊呈现出较大的不同，但也符合JPAM同时作为政策领域重要期刊，对于现实性较强的实验类型的青睐。

对多实验研究中使用单类实验方法和同时使用多类实验方法的情况进行分析发现，目前的多实验研究以使用单类实验方法为主，少数实验研究同时采用了多类实验方法，主要分布在JPART、PPMR和RPPA三本期刊上，每本期刊各有一篇多实验研究采用多类实验类型。

值得注意的是，与1978—2016年期间相比，调查实验在最近五年的使用更加广泛，同时体现在绝对数量（从之前63个上升到现在260个）和占比（从之前的56%上升到现在的75%）上。实验室实验的使用却有较大收敛，也同时体现在绝对数量（从之前的26个到现在的20个）和占比（从之前的23%下降到6%）上。实地实验使用的数量有所上升（从之前的23个到现在的67个）,占比则相对稳定（之前为21%到现在的19%）。

从操作和设计上讲，调查实验难度较低，而实验室实验和实地实验难度较高，二者的区别在于实验室的控制更强，会牺牲一定的“现实性”,但是可以较好地进行理论探索；实地实验的“现实性”更强，但是实验控制较弱，会对研究的内部效度造成一定程度的威胁。目前公共管理学者对于实地实验更加青睐在一定程度上可以反映出公共管理学者对于研究“现实性”的重视，而对于严格控制下的实验室实验持一定的保守态度。

2.实验设计

（1）被试内设计、被试间设计和混合设计。2017—2021年的实验研究采用最多的是被试间设计（330个，95%）,少量研究采用的是被试内设计（9个，3%）和混合设计（8个，2%）。从2017—2021年三类实验设计的应用趋势可以看出，五年间应用被试间设计的实验数量在48～87个，所占比例均不低于90%;每年有1～4个实验应用被试内设计和混合设计，比例在1%～5%浮动。与1978—2016年三种设计的应用情况做对比，可以发现被试间设计的应用进一步广泛（从之前的91%到现在的95%）,而其他两种设计则仍呈现出被边缘化的趋势（混合设计之前占比7%,被试内设计之前占比2%）,这与被试间设计的难度最低、最便于学习和使用直接相关。

（2）单因素设计和多因素设计。2017—2021年使用单因素设计的实验（只使用1个自变量）有145个（42%）,使用多因素设计的实验（使用多个自变量）有202个（58%）。相比1978—2016年，近五年单因素设计的比例有所下降（从61%到42%）,多因素设计的比例有所上升（从34%到58%）。在多因素设计中，自变量的数量从2个到7个不等，以使用2个自变量（124个，61%）和3个自变量（47个，23%）的设计为主。此外，与使用了调节变量的实验（99个，29%）相比，使用了中介变量的实验的数量和比例都较低（30个，9%）。以上的变化趋势说明在过去五年间学者们在探索变量间关系时更加关注不同因素的同时作用，而相较于因果关系的形成机制，学者们更关注于因果关系的边界所在。

从2017—2021年单因素设计和多因素设计的使用趋势来看（见图10）,多因素设计的使用在2019—2020年有一个大的波动。使用多因素设计的实验数量在2019年处于低谷（20个，41%）,之后在2020年突增并达到新高（59个，63%）,这也反映在2017年、2018年、2020年和2021年使用多因素实验设计的数量和比例都高于单因素实验设计，而在2019年使用多因素实验设计的实验数量和比例都低于单因素实验设计。

观察单因素设计和多因素设计在不同类型实验中的分布可以发现，在实验室实验（单因素设计占30%;多因素设计占70%）和调查实验（单因素设计占37%;多因素设计占63%）中对于多因素设计的使用要多于单因素设计，而在实地实验中单因素设计（64%）的使用要多于多因素设计（36%）。这种分布符合实地实验的特征，即实地实验具有更复杂的现实操作性，从而导致其使用多因素的实验设计存在一定困难。

单因素设计和多因素设计在不同期刊上的分布情况（见图11）显示，除JPAM外，其他绝大多数期刊发表的实验研究以使用多因素设计为主。JPAM发表的实验研究使用单因素设计多于多因素设计，主要是由于JPAM上发表的实地实验数目较多（见图9）。

（3）因变量数量。从图12中可以看到，六成的实验考察了一个因变量，四成的实验考察了多个因变量。从各类实验中使用单个因变量的占比情况来看（见图13）,调查实验中使用单个因变量的比例最高（63%）,其次是实验室实验（50%）和实地实验（49%）。相应地，实地实验中使用多个因变量的比例最高，其次是实验室实验，最少的是调查实验。其中，调查实验和实验室实验使用1～2个因变量的比例达到了80%,实地实验中使用1～2个因变量的占比只有69%,相应地，其使用3个及以上因变量的比例（31%）高于调查实验（20%）和实验室实验（20%）。这个使用趋势与三类实验特征相符，调查实验和实验室实验通常探索的是有明确理论假设的因果机制，在一个理论建构中通常因变量不会太多，故其使用1～2个因变量的情况更加普遍；而实地实验通常是针对更为开放和探索性的问题（例如对于某项措施效果的考察）,这使得其在因变量数量的设定上也更为宽松。

（三）被试特征

1.被试类型。2017—2021年公共管理实验研究最常用的被试是公共部门工作人员，占被试总量的将近4成（38%）,其次是与公共部门工作人员占比相近的公众（34%）以及学生样本（16%）,还有一部分是包括教师、车主、成年人、父母、私人企业的工作人员等各种类型的其他样本（10%）以及少量公共组织（例如公立学校，2%）。在使用学生被试的情况中有约两成（22%）的实验其研究对象为公共部门工作人员，超三成（43%）的实验其研究对象为一般公众。在研究对象和被试都为学生的实验中，其研究目的主要包括：探究福利项目和培训等对学生成绩、大学升学率和毕业率的影响（59%）,将公共管理学科的学生视为未来的公职人员的情况（29%）和探究学生对针对性政策的感知（12%）。与1978—2016年相比，公众和学生作为被试的研究数量占比有所下降（公众：从50%到34%;学生：从29%到16%）,公共部门工作人员有所上升（从20%到38%）,以及出现一些特定职业及身份的群体。这个变化趋势说明公共管理实验研究的参与对象越来越多样化，同时实验方法已经逐步被纳入公共管理组织行为研究的工具箱，在针对专业机构和人士的研究中开始更广泛的应用。

分析2017—2021年的被试使用趋势（见图14）可以发现，2017年使用公众作为被试的实验研究数量（24个）和比例（47%）都是最高的，从2018年开始公共部门工作人员作为被试的实验研究数量和比例都超过了公众，并且增超幅度在2018年最大，随后逐渐缩小，到2020年和2021年，公共部门工作人员作为被试的研究和公众作为被试的研究数量和比例都较为接近。使用学生被试的实验研究的数量和比例从2017年（5个，10%）到2018年（20个，26%）有一个明显的增幅，之后开始逐渐回落。另外，使用其他一些特定职业身份被试的实验研究的数量和比例在过去几年一直稳中有升，到2021年与使用学生被试的实验研究比例相比已经有比较明显的超越。

2.被试数量。参与实验的被试数量差异较大，最小量为30,最大量为1 042 303,中位数为661（见表3）。其中实地实验的被试量差异最大（最小量为60,最大量为1 042 303）,其次是调查实验（最小量为30,最大量为785 752）,差异最小的是实验室实验（最小量为66,最大量为1 359）。结合均值和中位数可知，实验室实验、调查实验和实地实验使用的被试量依次增大，绝大部分实验室实验的被试量都在500以下，被试量在500～5 000的实验研究以调查实验为主，被试量5 000以上的实验研究以实地实验为主。随着样本量的增加，实地实验在三类实验中所占比例逐渐增大（见图15）。

（四）数据特征

1.数据收集。在2017—2021年发表的实验研究中，超过7成的实验（270个，78%）采用的是线上方式（包括使用链接、网站和MTurk等线上平台）进行数据收集，20%的实验采用线下的方式收集。有1%的实验是线上和线下相结合的，例如线下进行实验操纵，在后续跟踪的时候采用线上收集的方式。此外，还有1%的实验并未报告具体的数据收集方式。

从历年发展趋势来看，采用线上数据收集方式的实验比例在2017—2019年有一个下行趋势（2017年85%；2018年78%；2019年71%），经过2019年的拐点后在2019—2021年又开始上升（2020年79%；2021年89%）。相应地，线下收集数据的方式则呈现出逐渐上升又下降的趋势（2017年15%；2018年22%;2019年29%；2020年21%；2021年11%）。

进一步分析实验室、调查实验和实地实验三类实验收集数据的情况可以发现，实验室实验全部采用线下的方式收集数据，符合实验室实验的基本特征；调查实验主要采用线上的方式收集数据（235个，90.4%）,少量采用线下的方式（18个，6.9%）,极少数未报告具体的数据收集方式（6个，2.3%）或采用线上和线下相结合的方式（1个，0.4%）;实地实验中使用线下和线上的方式收集数据的实验个数和所占比例相近（线下：30个，45%;线上：35个，52%）。线下收集数据符合实地实验的特征，但同时使用线上方式的情况也占到了一半，这主要是因为一部分实地实验的实验设计需要通过线上的方式实现（例如网络求职信和咨询邮件）。

2.数据分析。2017—2021年发表的实验研究中使用最多的数据分析方法是回归分析（regression）,共有244个（70%）实验使用，其次是方差分析（ANOVA，96个，28%）、t检验（t-test, 64个，18%）以及卡方检验（Chi-square test, 29个，8%）。1978—2016年发表的实验研究中使用最多的前两类分析方法也是回归分析和方差分析,不同的是过去五年回归分析的使用率有所上升（从57%到70%）,方差分析的使用率有所下降（从42%到28%）。此外，约有34%的实验（119个）采用了两种以上的分析方法，相比1978—2016年（12%）有了一定程度的涨幅。

五、对比与讨论

由上述分析可知，随着近五年来国际期刊上发表实验研究论文数量的继续增长，实验方法在公共管理研究中的应用呈现出新特点，通过与先前实验研究（1978—2016）的特征进行对比，可以帮助我们更为清晰地了解实验方法在公共管理研究领域应用的变化趋势，进而更好地理解实验方法在公共管理研究中的适应性。

（一）公共管理实验研究的发表特征

过去五年实验研究发表的数量整体呈平稳上升趋势4。从发表角度来看，与1978—2016年相比，一方面，JPART和PAR这两本公共管理领域的旗舰期刊继续领跑，发表总量仍显著领先于其他期刊；另一方面，最近五年JPART和PAR发表的实验研究数量在各期刊发表总量中所占的比例有所下降（从之前的49%到现在的40%）,相应地，其他期刊实验研究的发表量逐渐增多，这也说明实验研究逐渐受到更多期刊的青睐。

从研究开展角度来看，持续增加的发表量说明越来越多的公共管理学者开始使用实验方法来开展研究。从作者分布来看，近五年来参与发表实验研究最多的学者来自美国、荷兰和丹麦，除荷兰超过丹麦成为发表第二多的国家外，近五年与1978—2016年基本一致，说明新方法应用的先发优势仍在持续体现。与此同时，我们发现过去五年研究的作者来源也更加多元，有累计来自31个国家机构的学者参与到实验研究的发表中，其中来自中国（包括香港地区）学术机构的学者数量相比1978—2016年也有了增长。另外值得关注的是，过去五年通过跨国机构合作开展的实验研究发表数量相比之前呈增长态势（从20%到36%）,这说明实验研究在国际合作方面有一定的吸引力和优势（见表4）。

（二）公共管理实验研究的实验特征

2017—2021年使用多实验研究的文章有大幅增长（从9个到49个）,比例增长了一倍（从9%到19%）。在一个文章中使用多个实验研究对于研究问题深度和广度的探索具有明显优势，在其他实验方法应用比较成熟的领域（例如心理学）已经是比较常见的设计。值得注意的是，虽然多实验研究在过去五年有了更多的应用，但是相比单实验研究，不论从总体数量和比例，还是在各期刊上的分布来看，多实验研究仍然处在弱势，且从发展趋势上来看有一定的下行趋势。除了受到客观条件限制的情况（例如实地实验的操作难度）,学者们可以更多地发挥多实验研究的优势，通过应用多实验研究更加深入、细致地解决相关研究问题。

在实验室实验、调查实验和实地实验三类实验的使用上，过去五年仍然以调查实验为主导，与1978—2016年一致，且相比于另外两类实验类型，调查实验的使用比例有进一步的上涨（从56%到75%）,相比之下，实验室实验的使用率有了一定幅度的下降（从23%到6%）,实地实验的使用率基本稳定（见表5）。这个变化趋势的主要原因可能是早期公共管理研究对于实验方法的认知和使用主要集中在经典的实验方法（即实验室实验）,例如早期呼吁在公共管理研究中引入实验方法的文章都是从实验室实验的角度展开讨论，而随着实验方法在公共管理领域的应用，调查实验由于其与一般调查研究的相似性以及操作的方便性，逐渐成为在公共管理领域开展实验研究的主要方法。虽然由于其控制性高和操作难度方面的限制，目前实验室实验在公共管理实验研究中的受欢迎和应用程度较低，但对于旨在解决理论和机制问题的研究，实验室实验仍然不失为最合适的选择。

在被试内设计、被试间设计和混合设计的使用上，过去五年间被试间设计的应用处于绝对主导地位（95%）,比1978—2016年（91%）的应用更加广泛，而相比之下其他两类设计的使用变得更加局限。被试间设计的广泛使用与其易操作性直接相关，在三类实验设计中，被试间设计的设计难度最低，对于研究者来说更容易掌握，这与公共管理研究领域处在刚刚开始引入实验方法的阶段相符。被试内设计和混合设计虽然在设计上对于研究者的要求更高，但是具有效率高、敏度高等优势，尤其在被试数量有限的情况下，使用被试内设计是比较理想地解决被试间设计单个条件被试量不足的方式。最近两年被试内设计和混合设计的应用略有增长，虽然趋势尚不明显，但是考虑到这两类实验设计的优势，我们有理由相信随着实验方法进一步广泛和深入的应用，被试内设计和混合设计会得到研究者更多的关注。

在使用单因素设计和多因素设计方面，过去五年实验研究使用单因素设计的比例有所下降（从61%到42%）,使用多因素设计的实验比例有所上涨（从34%到58%）,占据了主导。这个变化趋势说明实验研究对于研究问题的解决逐渐精细化，在探索因果关系时更加关注不同变量的共同作用以及相互影响，更加关注被考察效应的边界条件，这对于更加高效及有效地应用实验方法解决研究问题有积极意义。

在因变量数量的使用上，虽然过去五年的实验研究中使用单个因变量的情况占多数（60%）,但是使用多个因变量的研究也占到了相当比例（40%）,与1978—2016年的情况（单个因变量占58%,多个因变量占62%）基本相同。通常针对具体的研究问题和假设，使用单个因变量是比较常见的情况，公共管理实验研究中较大程度使用多个因变量的情况说明公共管理实验研究解决的问题具有多元性和开放性的特点。

（三）公共管理实验研究的样本特征

相较于1978—2016年，近五年公共部门工作人员作为被试的实验研究比例有了较大幅度的增长（从20%到38%）,公众（从50%到34%）和学生（从29%到16%）作为被试的研究比例有不同程度的下降（见表6）。相比公共部门的工作人员，在公众和学生群体中开展实验研究更为容易和便利，这也是公共管理实验研究崛起初期公众和学生成为主要被试群体的重要原因；而近几年以公共部门工作人员作为被试的研究的增长说明实验方法在公共管理研究中的接受度逐渐增加，正在被更广泛和深入地应用到公共管理研究的理论和现实问题的解决中。

在被试数量方面，2017—2021年实验研究的被试数量有较为明显的增长，同时体现在被试量的集中程度（均值和中位数）和离散程度上（最大值和最小值）。这一方面得益于网络平台和线上途径的便利性和高效性，为大样本的研究创造了条件，另一方面得益于相关实务部门的支持，使得一些省（州）级以及国家级的大型实验得以展开。

（四）公共管理实验研究的数据特征

在数据收集方面，线上方式扮演重要角色。2017—2021年78%的实验数据收集通过线上方式实现，其中90%的调查实验是线上研究，实地实验也有超过半数的实验是线上收集数据，可以看出线上平台是实验方法在公共管理研究中日益广泛应用的重要催化剂。目前一些更加精致地针对实验研究的线上平台正在兴起，可以在传统问卷之外实现其他经典实验任务的线上实施，可以预见这将对实验方法在公共管理研究领域的应用起到进一步的推动作用。相较于1978—2016年，数据收集方式不详的比例大幅下降（从13%到1%）,体现了公共管理实验方法应用的进一步规范（见表7）。在数据分析方面，同时使用两种及以上数据分析方法的文章比例有所提升（从12%到34%）,这一趋势体现了研究者对于实验数据更加规范和有效的利用。

六、总结与展望

通过回顾过去五年（2017—2021）国际期刊发表的公共管理实验研究，本文对于实验方法在公共管理研究领域的最新应用情况进行了分析，梳理出其在现阶段的特点。一方面，与2017年前相比，实验研究的数量增长明显，更多的学者参与到实验研究中，基于实验研究的跨国合作也更加丰富；多实验研究和多因素设计得到更多的应用；公共部门工作人员更多地作为被试参与到实验研究中。相信随着实验方法的进一步应用，这些方面的特点将会更加明显。另一方面，目前实验方法的应用以调查实验和被试间设计为主，二者在便利性上具有明显优势，初学者易于上手。相信随着更多实验研究的开展和研究经验的积累，其他类型的实验方法和实验设计的优势也将被学者们认识，实验类型和实验设计的应用也将更加多元。同时，在一项研究中采用多种研究方法的情况已经在过去五年中出现，约15%的研究同时采用了除实验方法以外的其他研究方法，多方法可以弥补单一方法的不足，形成优势互补，相信未来这一趋势将更为显著。

本研究希望可以帮助国内学者更加及时全面地了解国外公共管理实验研究开展的动态，对于实验方法应用于公共管理研究的可能性有更为清晰的认识，可以为正在开展或者有兴趣开展公共管理实验研究的学者提供借鉴和参考，期待实验方法在国内公共管理研究领域更为广泛和深入的应用。与其他任何研究方法一样，实验方法既有优势也有缺陷，且其优劣势往往相生相长，一个方法的最大优势也可能是其主要缺陷的来源，例如实验室实验可以实现更好的实验控制，但是其对于现实的抽象程度更高；调查实验操作简单、容易上手，但是对实验环境的控制较弱；实地实验可以帮助实现现实依赖性更强的实验设计，但是对实验的实际操控更有难度。学者在对（不同类型）实验方法进行选择时，要充分考虑到其特点和对不同研究目的和研究问题的适用性。

除此之外，实验方法的适用性还体现在至少两个方面，一是地域的适用性，二是情境的适用性，二者具有一定的关联性。地域的适用性主要体现在同一实验研究在不同地域的复制过程中。实验研究的可复制性是一个经典而重要的话题,实验方法的应用在公共管理研究领域崛起后，公共管理实验研究的可复制性也已经引起了学者的重视。例如关于公众对于公私部门偏见的研究目前已经在欧洲、美国和中国开展。对于国内学者而言，复制国外已经开展的实验研究具有显著的学术意义，然而在开展一个实验复制研究之前，需要首先考虑的问题是该研究问题本身是否在中国具有显著理论和现实意义，其次是实验方法是否是解决这个问题的较优方法，在这两个问题都得到积极的答案后，还应该考虑原研究的实验设计（尤其是实验情景）是否适合中国，如果答案是消极的，需要进一步设计本土化的研究情景。情境的适用性主要体现在实验方法对于现实情境问题的解决上。实验方法最大的优势在于对于因果关系的检验和对因果机制的揭示，但却无法保证被证实的因果机制是否以及在多大程度上可以适用于现实情境,如果希望通过实验方法解决现实问题需要格外谨慎。例如，近来有学者对于中国政策试点与随机实验之间的差异进行了比较和讨论，指出随机实验作为政策评估工具的局限性，以及政策试点作为中国国家治理的一种特色机制的适用性。著名行为经济学家John List在其新作《The Voltage Effect: How to Make Good Ideas Great and Great Ideas Scale》中也指出即便经过科学检验的项目也未必可以在现实应用中成功规模化。

总之，我们既不应该为“求新”而对（某类）实验方法滥用，也不应该因“避短”而对（某类）实验方法弃用。任何方法只有在不断地应用中才能得以优化，更加有效地发挥其优势，弥补其不足，发展出适合本研究领域的范式。实验方法在引入经济学领域后使得实地实验这一方法得以发扬光大，2019年诺贝尔经济学奖即是基于实地实验展开。随着实验方法在公共管理研究领域的逐步推广和应用，在公共管理学者的努力下也有可能发展出适合本领域的实验研究范式。

扫描二维码免费下载全文

本期目录

更多精彩 敬请关注

本期专稿

专题研讨：技术与治理研究

专题研讨：注意力分配研究

论文

研究综述

李晓倩、戴乐融、刘小雨丨实验方法在公共管理研究中应用的最新进展——基于国际期刊发表（2017—2021）的系统性文献综述

微信推送·2022年第77期

编辑：吕雯婧