政科前沿|臧雷振等:比较政治学研究选择性偏差及其规避探索
【摘 要】研究方法对任一学科发展均具有基础性影响。伴随比较政治学对其他学科研究方法的吸收借鉴和自身发展,在学者应用过程中,无论是理论构建环节的案例选择,还是因果推论中的变量或参数设定均存在低估“关联效应”或形成伪因果关系的风险,内置于研究方法的“选择性偏差”最终干扰研究结果的信度和效度。本文通过分析比较政治学不同研究方法使用中选择性偏差产生原因和具体来源,提出选择性偏差“被动型规避策略”和“主动型规避策略”两种不同的解决路径。具体而言:既基于研究实践经验,着重就代表性案例确定标准与选取策略,支持性案例(positive cases)与否决性案例(negative cases)检验,理论定位与案例选择关系,定量研究抽样设计与抽样过程,二手数据使用与筛选标准,模型类型与建模目标匹配等“被动型规避策略”进行讨论,亦从研究设计层面探讨主动型选择性偏差规避。实现为学者未来比较政治学研究提供基础性方法工具清单,最终促进学科研究方法进步和提升学者比较研究的方法论自觉。
【关键词】比较政治学;选择性偏差;案例选择;变量选择;规避策略;
一、导论
方法指导实践,研究方法更关乎研究过程的可行性和研究结果的科学性。比较政治学研究,通过将特定时期或国家的政治信息置于比较视野之中,实现了延展政治学知识广度、深化学科研究深度等目标,这也构成比较政治“既作为政治学研究分支又作为其研究方法”而独特存在。作为研究方法,“比较”成为这一学科的核心和关键词,诸如定性研究中的案例比较、定量分析中的国别实证比较以及新兴的(类)实验设计比较等。但此类研究方法指导下的学术结果,其研究方法与研究对象是否适用?与研究过程是否匹配?与研究目标是否契合?对以上问题的回答,关乎比较政治学研究的学术质量和未来学科发展。但现实中上述问题并未得到学者充分重视,这不但为当前比较政治学良莠不齐的研究成果和较低的学科准入门槛创造了条件,更反映出比较政治学方法应用的反思不足与发展危机。
在比较政治学研究方法发展历程中,虽然不同方法论秉持者(如定性和定量的分野),或出于维护自身学术影响力,或基于促进研究方法新突破的考虑,曾初步反思各自研究方法的不足及其未来提升空间,但由于不同研究方法的隔阂(如定量和定性研究者之间难以沟通的鸿沟),以及缺乏对学科不同研究方法基本逻辑的整体把握,容易忽略不同研究方法所存在的共通性问题。此时,各自研究方法共同体内部的方法改进,就如同“零敲碎打”或“盲人摸象”,无法实现学科研究方法全局性进步。
基于此,本文对比较政治学不同研究方法所存在的共通性问题———“选择性偏差”的引入,指出无论是“由果及因”研究设计中的案例选择,还是“由因及果”中的变量确定,都存在低估“关联效应”或伪因果关系的风险,进而还影响到“发表偏差”(publication bias)和“确认偏差”(confirmation bias)等。后文通过深入探讨不同研究方法中选择性偏差的来源,并结合案例分析如何在比较研究中有效规避选择性偏差,进而为促进比较政治学不同研究方法融合和推动学科发展进步搭建平台,亦为跳出传统研究方法发展过程中“零敲碎打”或“盲人摸象”的格局提供一学理上可能的分析视角,同时为中国政治学研究的方法论规范和完善提供知识积累。
二、不同研究方法演进与选择性偏差引入
就比较政治学案例比较方法而言,其思想渊源由来深远,早在古希腊时期,政治学先驱亚里士多德基于朴素的制度相似逻辑,在《雅典政制》一书中曾集中比较希腊地区158个城邦的政治法律制度;但对此研究方法的理论提炼直至19世纪后才逐渐成型,特别是从密尔《逻辑体系》一书延展出的“最大相似设计”(most similar systems design)和“最大差异设计”(most different systems design)的操作性步骤,实现了案例比较方法的理论固化。这对20世纪诸多重要的比较案例研究成果有着重要影响,如基于制度“相似性”的政治文化、基于国家起源“相似性”的发展型国家理论等;而20世纪末以来的全球化时代,由于不同政治体存在形式和相互关系变得更加多元,“全球化削弱了主权民族国家(特别是领土特征鲜明性被削弱)自主回应其公民的能力,降低了传统政治代理中介和国家权威的合法性,扩大了非国家行动者的跨边界活动,将政策回应转移到跨国界和准国家主体上”。此时,国别研究者越来越难以依靠传统的主权性质和国籍来识别同类研究单元,传统的研究策略也逐步从“最大相似设计”过渡到注重研究对象“最大差异”的比较方法。学者通过对差异化案例分析试图识别哪些案例存在自变量与因变量共变的可能,进而挖掘出潜在合理的自变量。
但是,随着研究方法拓展和研究对象复杂化,学者逐渐发现上述案例比较分析方法使用过程中难以避免案例选取的主观性和非随机性,这种不足也使学者对基于案例比较的理论建构成果持谨慎态度,并进而促使学者在计算机统计软件快速发展的今天,迅速转向基于定量统计的国别比较研究中。
就定量统计的国别比较方法而言:一方面,伴随世界范围内数据搜集不断丰富和共享机会增加,越来越多研究者将关注点转向亚国家单元,甚至个人层面;另一方面,学者通过吸收借鉴日臻专业化的社会科学领域各种概念和方法,提升了比较研究理论抽象(概念化)和实证测量能力,将假设、演绎及数学模型应用于比较政治学之中。此时,定量统计分析在一定程度上避免了案例选择的非随机性,却面临对来自政府部门或自身收集数据使用的新质疑,如:统计数据指标选择的主观性带来的研究结果偏差,是否将复杂政治现象过于简化成相应的指标集合?是否忽略了政治行为的关键细节?研究者对变量使用的情景偏好是否影响到论证的合理性等?已有文献表明:“定量研究中,由于忽略变量带来模型的错误设定,进而带来错误的统计显著性,难以发现真正的因果机制或相关性,特别是截面数据分析中很难建立解释变量发生次序的行为特征”,此外,还伴随循环论证及内生性的存在,隐藏于研究对象内部的因果关系如同“黑箱”(black box)并未被人所认知。这种浅尝辄止的研究手段已经饱受学者批评,尤其是统计回归分析过于关注变量间相互影响关系识别,却忽略这种影响关系产生的原因和机制。
伴随学科发展,学者也发起了探究研究对象因果关系“黑箱”的号召。传统定量统计研究也从截面数据分析逐渐转向面板数据分析和实验研究方法,希望能更好实现对社会科学因果机制的评定和挖掘。
近年来,新兴的实验方法在回应研究者对因果机制挖掘的强烈期望中逐渐兴起,其被认为是对面板数据分析的重要补充。其充分展现了以实证研究进而指导理论提炼的方法论价值。21世纪以来基于实验方法研究成果大量发表,也反映了比较政治学对“因果关系挖掘”价值取向的肯定。通过透明的实验程序与过程控制,尤其是对控制组与实验组任务的随机性分配,重新确认中间变量选择,避免了传统定量统计分析中因果机制识别仅依赖于不可验证或不恰当假设的问题,如实验对比中“通过控制研究假设数量,加强对特定研究结论的敏感性分析等路径来发现因果机制”。有助于推动因果推理和理论建构的发展,有助于发现其他研究方法中难以探索的“实验对象的偏好结构和其他环境因素对研究结果的影响”,此外,通过引入实验方法,能提高研究者和政策制定者对目标对象的全面认知,进而在实用性层面评估和改良既定的公共政策,如英国政府认为实验研究方法是评估检验政策建议的“黄金标准”。总之,实验法基于“人工制造的环境,方便实验控制,借助标准化程序、测量和分析减少选择性偏差的影响”,促进测量精确化和探索实验对象发生过程的细节,相对地接近研究对象代表性。但不可否认,实验方法也常受到有关其“以学生为主体的样本特征”、“人为制造的背景”造成的“外部效应局限”等方面的质疑。
上述比较研究方法的历史演进与学者认知演变,可发现无论是案例比较还是定量统计、实验方法,其案例或变量选择在不经意间总会影响到学者研究结论的合理性。在比较政治学对个体、群体或数据分析中,当所选取案例或变量样本无法体现出总体代表性时,我们统称此研究现象为比较政治学中“选择性偏差(selection bias)”,其又被称为选择效应(selection effect)。
早在1946年,学者在医疗领域对住院病人研究中,首次指出选择性偏差对研究结果的影响,其后该问题一直是人口学、公共卫生等领域研究焦点,并逐步在经济学、社会学研究中受到关注。由于政治学研究方法科学化起步较晚,且一直处于对经济学、社会学等学科方法的模仿之中,直到20世纪90年代末期,国外学者通过借鉴经济学相关研究成果,开始审视选择性偏差在政治学研究中的影响,亦反思和修正部分过往经典政治学研究的结论并引起若干争论。如哈佛大学研究者在《社会科学研究设计》一书中系统性评价比较政治学研究存在的选择性偏差问题,促进了政治学者对该议题的进一步关注,使得更多学者投入到对选择性偏差局限、不足及如何修正等方面的探索。
国内社会科学研究对该议题认知相对迟滞,直到近年来才有该方面零星文献出现。基于“中国知网(CNKI)”2015年1月文献数据查阅表明,社会科学领域中鲜有以“选择性偏差”作为研究主题的论文,与2000年以来初具规模的国内社会科学领域规范的定性或定量研究成果相比,只有不足50余篇定量研究论文中考虑到选择性偏差对研究结论影响,如围绕户内人口匹配数据选择性偏差对研究模型和结论影响的争论,部分学者还尝试通过选择性偏差的自我纠正改善研究结论。但这类成果多来自经济学和社会学,而来自政治学视野的分析则极为匮乏。
由于比较政治学研究者方法论驾驭能力不足,不但使读者怀疑其学术成果价值,即使研究者自身也总是对其研究结论充满担心,削弱了学科学术自信和学术张力,当前政治学界研究成果广泛被批驳或不受重视亦与此有关。下文基于方法论的学术关怀,具体探讨比较政治学研究方法中选择性偏差来源、影响及其规避策略,为相关研究者提供方法论指南。
三、不同研究方法与选择性偏差来源
虽然在1995年前后,国际比较政治学界诸多有着深厚方法论素养的学者率先指出政治学研究中的选择性偏差问题,但迄今为止,国内外很少有学者系统给出这一问题的解决方案,而给出解决方案的首要前提则是全面认知选择性偏差的来源。
面对政治生活中不同现象,人们自然会追问其发生的原因,因果关系探索作为近年来研究者普遍追求的目标,但比较政治学对因果机制不同的探索路径,存在不同类型的选择性偏差。这既体现在定性研究中“由果溯因分析路径”(cause-of-effects approach),也体现在定量研究中评估变量平均效应的“由因溯果分析路径”(effects-of-causes approach)。从研究方法使用过程来看,比较政治研究中的选择性偏差,通常表现在理论构建时的案例选择以及因果推论中的回归变量或参数选择层面。由于案例选择与研究目标的总体界定、定量分析中的数据搜集与数据结构等密切相关,因此,无论是案例研究和因果推断,或是变量间因果方向和相关程度的解读,基于“研究结果导向”的研究惯例却构成了选择性偏差,并进而影响到研究结论科学性。如案例研究依赖一个基本假设:该案例可代表同类更为广泛的样本群并达到特定研究目标。若这一假定是错误的,或存在质疑空间,案例研究的效用则受到影响。下文将详述不同研究路径对应的选择性偏差,进而为讨论选择性偏差规避奠定知识基础。
(一)“由果溯因”比较研究路径与选择性偏差
以案例比较研究方法为例,其属于“由果溯因”路径中常用的定性研究方法。虽然案例比较的学术成果在比较政治学文献中占据相当比例,但案例研究方法往往被轻视或忽略,其模糊的研究设计、失衡的案例优劣选择标准也常令学者所困惑,并造成案例研究方法门槛极低,可供任何不受严谨学术训练者使用的假象。传统认知多将案例比较归为以下两类:民族志式研究、基于过程追踪的历时性分析。但这种先入为主的惯常认知不仅限制了案例比较研究溢出效应的最大发挥,更限制了案例比较研究进一步的方法论拓展,如对选择性偏差的重视。
当代案例比较研究学术成果中,一重要过程即从庞大总体选取出具有代表性的案例样本,但一个真正具有代表性案例往往并不容易确认,所选取的案例还要考虑到其差异性及其背景。这意味着,有限样本的案例与案例所在总体之间的差异,难以像典型大样本分析(large N analysis)那样明晰。同时,当前的主要案例研究中,学者选取案例多依赖于务实性策略,如时间、金钱、专业知识可及性及可获取性。这种策略虽可理解,但并没有给出方法论依据以说明“为什么所选择的案例A会优于案例B”。
此外,由于比较政治学研究者大多基于“研究结果导向”选取案例,更偏向聚焦于支持性案例(positive cases),而忽略否决性案例(negative cases)对研究结论的检验。例如,案例比较分析中,我们假定研究者通过控制案例中四种可能的自变量取值组合,然后观察对因变量变化影响(见表1)。此时,学者操作路径通常是选取因变量取值为1的案例,即选取一般较少出现的支持性案例(Y=1的样本,如战争、革命、经济增长奇迹),而几乎是无穷多的否决性案例(如无战争、无革命、无经济增长奇迹)被“适当”地忽略。
除“研究结果导向”影响到案例选取外,案例选择还始终面临着可比性和代表性的折衷,这也是跨单元案例比较的一般特征。即对不同案例比较分析时,从不同研究单元中抽离出来的案例,研究者常需就所选择案例的可比性和代表性做出极端(Heroic)假设。在早期诸多知名案例比较研究的成果中,如国内学者较为熟悉的普沃斯基(Przeworski)和图恩(Teune)(1970)对比较策略认知,李普哈特(Lijphart)(1975)对荷兰民主制的研究等成果均存在类似的问题。
案例选择中这种模糊和极端倾向,不仅会降低研究结论可信度,也进一步放大选择性偏差负面影响。案例比较分析方法存在的上述问题,也使得部分学者认为其更多是艺术(craft),而非科学(science)。虽然案例研究学术成果中有许多发人深省的观点和结论,但这些结论却难以给出明确的分析过程并用其它案例重复检验。以上案例比较研究方法特征带来相应的选择性偏差,但一些案例选取策略导致的问题也同样存在于其他研究方法中,如偏向“支持性案例”选取策略也适用于针对“罕见事件的实验方法或计量研究”。
(二)“由因溯果”研究路径与选择性偏差
定性研究者为了保证因果推论的有效性,保证案例之间的可比性,还会普遍划定其理论范围,以使推论仅适用于有限的案例,即被分析的案例代表了所生成理论的适用范围。同时,常通过类型化的方法控制案例的组内差异。定性研究者确信“过于庞大的总体”必定产生因果异质性,由于研究对象总体范围的增加,即使增速较缓,理论缺失或错误设定主要因果关系的可能性也会急剧增加。在完成上述工作之后,研究者还要通过案例内分析和过程追踪的方法来克服内生性的问题。而在对因果关系界定的具体标准上,则常通过单个样本中“反事实案例”的必要条件来确定因果关系:如果非X则非Y,那么X是Y的必要条件,即如果没有X的发生将不会导致Y的发生。这种对因果关系的理解在历史解释中较为常见,当历史案例增加时,学者还往往借以“多重原因,相同结果”来展现因果关系。
但上述定性研究方法并没有提供区分自变量之间相关性的工具,导致无关紧要的充分条件常在社会科学定性研究者的著作中出现。在忽视竞争性假设资料的前提下,还导致文献资料过度支持(或透支)研究者的论点。尽管在小样本案例研究中学者试图通过布尔代数等方法克服这一问题,但至少目前的回答尚不令人满意。
而在定量研究方法使用时,学者通常更为宽泛地界定其理论适用范围,力求对大量案例进行归纳,定量研究者往往将分析案例视为潜在的更大总体的一个样本。研究者多从统计学视角出发,以求促进对理论范围广泛理解。同时,定量研究中对因果异质性的考虑往往置于不同的情境下。例如,若研究目标在于评估一些变量的平均效应,那么就可以排除那些与新案例相关的特定变量,只要条件变量独立性假定仍然存在即可。同时,样本中的部分自变量也可以被恰当地降级为误差项。因此,因果关系的充分性解释无需指向每个案例,可以忽略少数变量从而得出有关总体的更为一般性结论。这种对少量案例的忽略亦构成选择性偏差存在的伏笔,虽然定量研究较少受研究对象范围或总体样本变化的剧烈影响,但其站不住脚的确定性假设(deterministic assumption)也招来各种质疑。
此外,定量研究在抽样设计和抽样过程中,一方面,容易忽视遗漏变量的影响;另一方面,由于社会意愿偏差的影响,无法清晰地界定案例总体,因变量取值范围被人为缩小,导致选择性偏差由此产生。图1和图2直观地展示遗漏变量或社会意愿偏差对因变量的取值范围影响。图1显示了因变量取值范围完整情形下公民对国家当前经济评价的总体分布。但一旦考虑与因变量高度相关或社会意愿偏差的情形,如公民对政府当前经济绩效评价是验证经济投票理论的重要指标,然公民对回答社会调查的担忧或接受社会调查时回答真实性均会左右公民对政府当前经济绩效评价的客观评价;或当研究者不自觉地依据与政府经济绩效评价高度相关的收入来抽取高收入样本群体,则上述情况均会导致对政府经济绩效评价的高估,如图2。
最后,以定量统计和实验研究为基础的“由因溯果”路径,由于无法避免的使用大量二手数据,这也构成选择性偏差的重要来源。尤其在大样本的跨国数据中,面临数据缺失,缺乏案例编码的透明度及对必要历史背景的关注。当前,学者也对政治科学家们大量依赖二手资料却没有注意可能的误差问题表示担忧,而能否实现对于二手资源的恰当运用,以及能否完成准确无误的历史事实资料收集,也成为长期以来历史导向政治学研究者关注的中心问题。如以历史文献或文档来发展理论或检验理论面临的选择性偏差包括:“纪录片选择问题”、作者理论假设偏好与历史记录选择问题、如何采用一致的资料分析策略去解读历史作品中的差异等。
通过上述分析,不同研究方法中选择性偏差产生原因可总结如下:一是由于非随机抽样带来的样本偏差(sampling bias),其削弱了研究结果的外部效应; 二是时间区间(time interval)导致,如研究设计由于伦理问题等因素提前终止,或者当研究分析进行到中途已经出现理想结果而终止余下的数据分析;三是数据分析过程造成的。如对特定数据的剔除,对异常值的剔除等;四是分析过程的非科学化导致;五是研究者的主观选择和数据过滤。我们梳理总结的研究过程也发现,虽然不同学者在零星分析中发现若干选择性偏差问题,也陆续试图对选择性偏差问题进行规避。但近年来这一研究领域发展并不顺利,如即使意识到历史记录档案对研究的种种影响,却由于方法论认知局限难以在随后的研究中提出解决方案。为此,下文将提供在不同研究方法和研究设计中,规避选择性偏差的系统性指南。
四、基于研究方法视角的被动型选择性偏差规避
前文分析指出不同研究任务、研究目的和研究方法的采用,会带来形形色色的选择性偏差。学者在明确这类事实后,进一步研究方向则是考量如何在研究中对其进行有效规避。依据研究者的主观认知,本文将选择性偏差规避分为被动型规避策略和主动型规避策略,前者强调研究者面对已有研究素材或研究目标对选择性偏差采取事后纠正或弥补;后者强调研究者在研究设计阶段之初即通盘考虑潜在的选择性偏差影响。
(一)案例比较研究中的选择性偏差规避策略
案例比较研究中选择性偏差主要是由案例选择策略和案例选择标准的模糊界定所导致,使得其相应研究成果备受诘难,案例研究辩护者为改进案例选择策略亦做出以下努力:如为实现识别选取一个较有代表性的案例样本并符合理论目标的测量维度,不同研究者均指出有必要观察案例在目标样本总体中各维度的特征(表2)。有学者总结关注如下特征案例:“典型案例(typical)、差异性案例(diverse)、极端案例(extreme)、异常案例(deviant)、核心案例(influential)、最相似案例(most similar)以及最大差异案例研究(most different)”。这种通过对比不同案例研究情景以识别相关特征案例,不仅为部分困惑的研究者提供案例选择标准或策略的方法清单,而且使其辨识出可供深入研究的有效案例,同时也为研究者提供针对在不同案例样本总体中,识别不同案例特征变化的建议。
上述对多样化案例选择标准的探索虽推动了对案例研究的认知,然而,并没有彻底解决案例代表性问题。同时,当部分具有突出理论贡献的个案或仅存在单一案例时,对案例内特征(within-case characteristics)分析依然无法有效实现。特别是任何不恰当的规范要求都可能使对案例“典型性”估测出现错误,加之所有的案例选取通常是一迭代过程(iterative process),即初始案例选取带来的问题将对后续研究形成循环影响。如比较政治学者广泛关注的研究焦点———族群暴力或对少数族群歧视,对该研究对象的分析必须依赖于族群身份的鉴别或“危在旦夕的少数族群”案例获取,但研究者在何种程度上能够对有关族群和少数族群实现有效鉴别呢?在比较研究框架下(甚至在单一案例研究层面上),判定相关族群的完整样本集(complete set)是几乎不可能的。此时,研究者会频繁地依赖于一些既有的族群判定标准,而恰恰是基于这种既有标准的筛选得到的可能只是研究中的非完整性样本(incomplete sample),导致研究者潜在地使自身研究暴露在严重的选择性偏差影响下。基于以上讨论,本文认为在案例比较分析中应考虑如下选择性偏差规避策略:
第一,研究者需依据研究对象进一步建立清晰合理且具有代表性的案例筛选标准。虽然这是看似相当明显的步骤,但它同时也是最易忽视,特别是当分析多个发展中国家数据集时,最大化国家数量以及历史覆盖面似乎成为了它们固有的、不证自明的目标,却很少从基本差异性来考虑可能需要被排除在外的很多国家。
第二,研究者要能够提供充足研究信息来支持最终的案例分类,允许读者根据相同现象对相似或矛盾的案例进行比较。从最佳实践的角度看,严密而清晰的编码和赋值、描述证据能够倒逼作者在分类中保持一致性,或者至少允许读者来判断他们在不同案例分析上的一致性。形象地说,尽可能完整地给变量编码和数据赋值,是案例研究者矫正案例比较操作过程的一面镜子。
第三,厘清不同理论定位和研究诉求对案例选择的影响。不同理论定位影响案例选择,不同案例选择策略又具有不同理论功能。如研究者到底是依据自变量取值还是因变量取值来选择案例;对于案例是随机选择还是刻意选择等。研究者在明确理论定位之后,进而通过对潜在案例总体规模、研究者建构模型、模型适用性的充分把握,才有助于实现最佳案例选择实践。
为进一步说明案例类型、案例选择方式与选择性偏差规避间的关系,本文比较特定案例因变量的实际观测值和因变量预测值,以散点图说明案例选择策略的影响(图3)。图3中45°线是国家(地区)经济预期实际值与预测值相等的状态。当大样本回归分析稳健时,越靠近45°线,表明该案例代表性越强,越适合理论检验工作。如图中“A加纳”可视为代表性案例。学者在“发展型国家理论”建构中,若对这类差异性案例比较分析出现遗漏时,则可能导致理论验证的不完备性。又如远离45°线的“E新加坡”则构成异常案例,表明该类案例远远偏离研究者理论建构的预测。再如“D台湾”和“B日本”在经济发展水平和历史文化上均有差异,研究者理论上会预测二者在经济评估上存有分殊,但图3却显示二者当期经济评估实际平均水平接近,这就为研究者探究二者趋同原因提供了极为简明和直观的线索。
(二)因果关系探索与选择性偏差规避
在定量研究传统中,研究者理想地依赖于一个有力研究设计,即对研究对象的随机分配和控制群组,保证因果推论有效性。在缺乏真正的随机条件情况下,他们会运用多种方法论工具以保证其研究设计最接近随机分配,如强调控制变量作用。定量研究对选择性偏差规避主要着眼于以下几点予以实现:
首先,重视分析预测值与实际观测值间的拟合情况。拟合度即回归预测值和实际观测值间接近程度。拟合度分析决定案例(变量)的选取方式和被选案例(变量)在因变量取值上特征。若依据回归分析所得的变量预测值与实际观测值高度接近情形下,拟合线上的一组案例应采取随机方式来选取,如图3中的A点。同时,拟合度还是界定不同案例类型的依据,决定着案例比较的策略。若研究者要从这组案例中检验特定的因果关系,研究者有必要采用最小差异设计来规避选择性偏差。反之,若一组案例在因变量上的期望值不同,实际值相同,则应采用最大差异设计来规避选择性偏差,如上文提及的图3中的案例B和D。
其次,基于数据测量技术减少选择性偏差负面影响。从统计学发展来看,“分层”曾经是数据分析中矫正选择性偏差较为简单的手段,随着多元回归分析技术的发展,多变量分析正在广泛采用,还延伸出潜变量控制法,即增加对被忽略潜在变量的测量来进一步避免选择性偏差;或者通过对变量的标记,把标记变量与实质变量之间的最小相关系数用作测量选择性偏差的影响,或引入工具变量,通过最小二乘法(OLS)得到偏差较小的估测,进而控制选择性偏差的影响。当然,在具体研究中,面临因变量受限情况下,“删截数据、选择性样本数据以及截断数据都可能导致最小二乘法估计量的偏误”,这主要由于研究对象的测量问题和被估测实证模型而形成的误导。
最后,在统计模型层面规避选择性偏差。如越来越多学者采用截断回归估计函数(truncated regression estimator)对跨国研究中非完整性数据集“可能出现的偏差”(即从数据集中无法获取有关观察结果缺失的信息)进行纠偏。样本规模对截断回归函数的估测值有着重要影响,当样本是筛选自总体规模为500或1000个案例时,截断回归函数的估测值才会表现得更好。从参数估计技术来看,为对该种估计函数的有效性进行评测,可用蒙特卡罗模拟法(monte carlo simulation)分析研究对象的样本量(observed sample size)。蒙特卡罗模拟的结果在许多情况下对一个截断回归函数的估测使其偏差的估测较OLS回归模型有所减小,但同时,围绕实际赋值的波动(即平均根方误差)通常会有所上升。蒙特卡罗模拟的结果为我们提供有关截断回归函数估测减小偏差情况的有用信息,但模拟结果从某种程度上低估了估测值的有效性,所以,这就导致研究者在实证研究中不得不需要考虑另外一种权衡。此时使用Tobit模型是求解样本选择性偏差影响的另一常用路径。在研究实践中,有学者对新兴政党、群体抗议事件和族群冲突三个研究实例讨论以上统计规避技术,为研究者比较权衡不同模型的运用提供了实例。
除此以外,条件逻辑斯蒂回归分析、嵌套逻辑斯蒂回归分析、多元概率比回归(Probit回归)和泊松(Poisson)回归也是分析受限因变量的常用模型。当然,伴随越来越多的数学模型规范使用在政治科学研究之中,学者对模型在学科研究中的角色或功能的理解也需跟上步伐,表3给出不同类型的模型结构与研究目标匹配模式,为学者提供判断模型适用度参考。
五、基于研究设计的主动型选择性偏差规避
以上基于具体研究方法和研究目标设置所探讨的选择性偏差规避问题,由于其仅注重研究过程的个别环节,似乎有“盲人摸象”或“零打碎敲”之嫌。同时,从其对研究结果贡献来看,这些旨在减少选择性偏差的事后纠偏技术,并没有充分提高研究整体效度。尽管上述技术利于研究者提高“打靶”的精确性和稳定性,但通常无法真正解决研究者的研究效度。面对效度和信度间权衡,我们理应强调一个基本原则即(无论是案例研究还是定量统计或实验方法)效度高于信度。虽然研究者为规避选择性偏差,提出对研究过程案例或变量的“限制”(或排除exclusion,或规范化specification)、“匹配”和“随机”等思路,但研究者若在比较分析前就以研究目标为依托,通盘考虑比较研究全过程,这无疑会极大提高研究效度。因此,从研究设计出发规避选择性偏差才更具主动性,有利于促进学者在研究初始阶段形成方法论自觉。
事实上,相当多学者在提出规避案例比较研究、定量统计和实验方法中选择性偏差的方案时,已不约而同地触及了“研究设计”。结合社会科学有关研究设计的过程认识,我们认为比较政治研究设计过程包括以下环节:研究对象的总体界定、概念分析、测量、数据搜集和研究具体分析等。从不同设计环节考虑选择性偏差规避具体如下:
首先,面对研究对象时,除一定的样本量、周密的实验设计、随机化的抽样及分组,避免试验者的主观偏见等方法努力外,同时还通过对多次抽样,预调查等手段重视避免选择性偏差。
其次,研究概念分析中,需要注重对概念外延和内涵边界的清晰界定。如在跨国比较中或调研中,一方面,由于存在不同语言体系中概念转译问题,另一方面,还存在不同文化背景中对同一概念的理解问题。已有诸多的研究表明政治学中常见概念像“责任”、“善治”、“民主”等在不同政治文化中存在差异化的诠释和测量标准。
再次,数据获取环节,需要增强准确作答的积极性,增加复查抽查比例,减少形式主义的应付型回答。具体操作性办法如变更问卷题项的措辞,使得肯定的题项和否定的题项达到平衡;或分开问卷上的题项,从而消除邻近效应;改变测量类型和标记来达到概念自洽和精准化。有学者曾对1996~1998年六本主要行政学英文学术期刊论文分析表明:自填式调查和访谈带来显著的选择性偏差问题,但只有三分之一(34%)学者在分析过程中认识到或解决了偏差或误差的潜在来源问题。
最后,研究具体分析阶段。需要加强模型验证和审慎选择模型类型,重新认识模型与经验世界的关系,实现模型与数据的真正整合,进而主动地认识到选择性偏差的影响。虽然当前政治学中对模型进行了广泛的使用,但对于模型的理解尚不深刻,学者曾警告:数学模型“仅为了应用,而非去相信。”
六、结论与讨论
本研究侧重从方法论的逻辑层面,结合案例比较、定量统计和实验设计方法集中探讨选择性偏差来源及主动型和被动型规避策略,但没有考虑经验研究中信息、语言和文化等非方法论因素对选择性偏差规避的具体影响。虽然本研究指出,若研究者的理论定位是理论检验,典型案例可通过随机化的方式,在最大差异研究设计下实现规避选择性偏差的可能;以及最大相似案例通过匹配的方式尽可能规避选择性偏差。但是,上述分析也不否认各种理想规避策略存在的限制。如最大差异设计存在缩小因变量范围的问题,而最大相似设计在理论建构时规避选择性偏差的重要性就会降低。
此外,上述研究潜在的支持学者应该在方法论上寻求定量与定性研究的沟通。定量研究和定性研究的整合将更为清晰展现选择性偏差的内涵,事实上,不少比较政治研究学者已经在探索各种能够超越类似定量与定性研究之间对立的新路径,进而引出诸多新的比较政治研究问题和方法,包括选择性偏差的规避、嵌入分析法和模糊集法。可见比较政治方法的发展动力始终是在问题的碰撞之中产生,而这种碰撞的结果,其最终归宿也是为了解决新的比较政治学研究问题。
就未来进一步研究方法而言,主要体现在以下两个方面:一是伴随基于互联网的社会调查兴起,有必要分析互联网调查中选择性偏差问题。互联网调查开启了社会科学实证研究独特的新的可能性,它为衡量新的或复杂的概念(如偏好、态度、期望和主观认同概率)创造了机会,还能设计对现存的标准概念(如信任或参与)更好的衡量方法。虽然网络调查时间短,规模更大,样本范围更广,成本低,但也具有其他诸如面谈调查模式为人所知的缺点,包括应答率的下降趋势,此时就需要对样本选择性偏差,无回应误差和随机样本误差间做出区分。对于其中的选择性偏差而言,有学者指出以倾向值法进行加权予以修正,即在调查中需要两个样本:一个用于校准的随机样本,另一是校准后的样本。如哈里斯调查公司(Harris Interactive)即使用倾向值的方法,或者用配比替代倾向加权。二是借助对选择性偏差的检验,引入适当的方法论改进以增强因果效应的合理性,特别是在考察参数微观变化对模型影响的灵敏度分析具有重要意义。
【注:限于公众号的篇幅限制,省略了参考文献和注释,但不影响读者理解原文】
原载于:《政治学研究》2016年第1期,第39-51、126页
本文作者:臧雷振,日本东京大学政治学法学研究科国际特任研究员;陈鹏,北京大学政府管理学院博士后;
本期编辑:靳佑鼎