从回归分析到结构方程模型：线性因果关系的建模方法论

2016-08-12 计量经济学服务中心

内容提要：在经济学实证研究中，线性因果关系建模方法是最常用分析方法之一，它包括回归分析、路径分析和结构方程模型。其中，回归分析是线性因果关系建模的基础；路径分析起承上启下的作用，既是回归分析的扩展，又是结构方程模型的一种特例；结构方程模型是迄今为止最复杂的线性因果建模方法。这三种方法之间既有着严密的传承关系，形成了一套完整的计量经济学方法论体系，又依次有所发展，有所侧重，体现出较强的发展规律性。

因果关系是经济学生最常见的关系类型，许多经济学实证研究的目的就是测定经济变量之间因果关系的方向和具体形式，从而验证经济理论和进行结构分析，这就经常用到计量经济学中处理因果关系的模型。而线性模型是最易于处理的模型，所以在经济学实证研究中，线性因果关系建模方法是最常用分析方法之一。

　　从经济学实证研究的实践看，应用最早、迄今为止应用最多的线性因果模型是回归模型；然后，回归模型逐步发展为路径分析模型；最后，路径分析模型与因子分析结合发展成为结构方程模型。经过100多年的发展，已经形成了一个有着严密的传承关系的线性因果关系建模的方法论体系。本文拟对这三种模型的建模思想进行介绍，并对线性因果关系的建模方法论进行研究。

　　一、回归分析：线性因果关系建模方法论的基础

　　一般认为，回归模型(regression model)的基本概念是英国生物学家高尔顿(F.Galton,1822-1911)在1889年出版的《自然遗传》(Natural Heritance)一书提出的，其后逐步发展完善，并在生物学、社会学、经济学、医学等领域内得到广泛应用。在回归分析的理论和方法基础之上，计量经济学于20世纪前期建立和发展起来。回归模型是测定、验证一个或几个自变量（原因变量）对一个因变量（结果变量）影响力大小和方向的数学方程式。作为经典的计量经济模型，回归模型（尤其是线性回归模型）在经济学因果关系研究方面已得到广泛的应用，具有最成熟的理论和应用基础。其基本建模思想是：首先依据一定的经济理论或经验，先验地用一个数学方程式表示被研究系统内经济变量之间的因果关系；然后根据可资利用的样本数据，选择适当的方法（如最小二乘法及其拓展形式、最大似然估计法、矩方法，等等），求出模型参数的估计值。但模型是否符合实际，能否解释实际经济过程，还需要进行检验，以确定它们在理论上是否有意义，在统计上是否显著。如果模型通过了有关检验，就可以应用于验证经济理论，分析经济结构，评价政策决策，仿真经济系统以及预测经济发展这几个方面。

　　多元回归模型的路径关系图如下：

　　图1 多元回归分析示意图

　　相应的，多元线性回归模型的一般形式为：

　　偏回归系数作为自变量对因变量的直接效应，可以用于对变量间因果关系的验证。在多元回归中，如果自变量的量纲不同，就需要对样本原始数据进行标准化处理，然后用最小二乘法去估计未知参数，这样得到的回归系数叫做标准化回归系数，根据标准化回归系数绝对值的大小，还可以比较不同自变量对因变量直接效应的大小。

　　作为经典的计量经济建模方法，回归模型已经形成了一套非常完整的检验方法。模型检验使用的统计量包括t统计量、F统计量、拟合优度B2、D-W统计量等。

　　在回归分析中，研究者虽然可以规定因变量和自变量之间的因果关系，加以量化描述，但是，因果关系是不能完全依据回归分析所证明的。在回归模型中表述的变量之间的因果关系即使很好地拟合了数据，也不能完全肯定它实际上存在，因为在模型中将因变量和自变量互换，也同样可能很好地拟合数据。所以，回归分析不是研究变量之间是否存在因果关系，而是在假定因果关系存在的前提下，测量变量之间的因果关系的具体形式。此外，传统回归模型还有其它一些缺陷，比如无法处理因变量(y)多于一个的情况；无法对一些不可直接测量的变量（潜在变量）进行处理；没有考虑变量（自变量、因变量）的测量误差，以及测量误差之间的关系，等等。

　　二、路径分析：线性因果关系建模方法的扩展

　　传统的回归模型中，自变量(x)可以有多个，但只能有一个因变量(y)。然而，在被研究的经济学因果关系中往往存在多个因变量。而且传统的回归模型只能研究原因变量对结果变量的直接效应，无法分析间接效应问题。在有间接效应的因果关系中，中介变量(mediator)既是自变量，又是因变量（如图2中的y）；有时候还存在一些变量互为因果的问题。这时，回归模型就无能为力了。于是，路径分析模型被逐步应用到因果关系分析中。

　　路径分析(path analysis)又译作通径分析，是由生物学家Wright(1921，1934，1960)最先提出并发展起来的一种分析因果关系的建模方法。一连串的经济变量多半依时间顺序先后发生，在路径分析中，先发生者被视为解释变量，后发生者被视为反应变量，变量之间因果关系可由路径图来表示，通过路径图，研究者能清楚了解变量间之影响途径（箭头方向）及影响方向（正向、负向、模糊等）。如果在路径图中，只有单向的箭头，即模型中变量之间只有单向的因果关系，且所有的误差项彼此不相关，称为递归模型（如图2）；否则，称为非递归模型。

　　路径分析可以用作多种目的：一是将因变量之间有关系的若干个回归方程整合在一个联立方程模型里，以助分析和表达的完整和简洁；二是把该整合模型中的各自变量对各因变量的“总影响”(total effects)分解为“直接影响”(direct effects)和“间接影响”(indirect effects)。其步骤通常包括以下四个部分：

　　1.根据理论提出可能的因果模型，并画出路径图(path diagram)以说明各变量间可能的因果关系。由于在路径分析中，自变量与因变量只能就具体某个方程而言，所以，对于包含几个方程的联立方程模型而言，变量分为外生变量(exogenous variables)和内生变量(endogenous variables)。外生变量指只能是因的变量，在路径图中有箭头指向别的变量但没有箭头指向它，如图2中的“教育水平”。多个外生变量间可能有相关（以双向箭头表示），也可能独立无关。内生变量为响应变量，有箭头指向它，包括：中介变量和结果变量。前者既是果又为因，如图2中的“社经指数”；后者只作为结果，如图2中的“无价值67”和“无价值71”。

　　2.搜集资料，求得路径系数。如果因果模型是递归的，每个方程可以分别利用最小平方进行估计，可以利用一般的含有回归分析的软件（如SPSS、Eviews等）估计其回归系数。非递归模型比较复杂，要借助于专门的路径分析软件（如Lisrel、Amos等）进行参数估计。回归系数的估计值称为路径系数，标准化回归系数的估计值称为标准路径系数。为了直观起见，各路径系数的估计值一般标在路径图的相应路径上（图2）。

　　图2 路径分析示意图

　　3.模型的检验和修正。得到一个模型的估计后，要对参数的估计值是否显著和模型的拟合优度是否达到要求进行检验。检验方法与回归模型基本相同。如果不能通过检验，需要对模型进行修正。修正的方法包括四种：一是增加或减少内生变量（相当于增加或减少模型的方程个数）；二是内生变量保持不变，只增加或减少外生变量；三是内生变量和外生变量都保持不变，只改变其路径；四是路径不变，只改变误差项的相关形式。

　　4.效应分解。路径分析的最终目的是进行因果效应分解，就是将变量间的因果关系分为不同的效应部分。其中因果效应分为直接效应和间接效应。直接效应是自变量对因变量的直接影响，即自变量到因变量之间的路径系数。例如，图2中，“教育水平”到“无价值71”的直接效应为-0.14，到“无价值67”的直接效应为-0.28，等等；间接效应是自变量通过中介变量到因变量的效果。当只有一个中介变量时，间接效应是两个路径系数的乘积，例如，“教育水平”通过“社经地位”对“无价值71”的间接效应是0.54×(-0.14)=-0.08。对于递归模型，中介变量不止一个时，间接效应就是从因变量出发，通过所有中介变量到因变量形成的“箭头链”上所有路径系数的乘积。对于非递归模型，间接效应的计算比较复杂，这里不再讨论。

　　与回归分析一样，路径分析也是一种实证性技术，根据样本检验假设的因果关系是否合理，不能指望路径发现来寻找和发现因果关系。尽管路径分析模型解决了一般回归模型不能处理自变量多于一个和中介变量等问题，但这种方法在使用上仍然有一些缺陷。主要是：路径分析假定变量没有测量误差存在；只能处理可以观测的显变量的因果关系问题，至于潜在变量则不能进行处理。这些问题的解决要靠结构方程模型来完成。

　　三、结构方程模型：潜在变量的线性因果关系建模方法

　　结构方程模型(structural equation model:SEM)是针对传统因果模型和路径分析的不足，将因子分析引入路径分析后提出来的。在上个世纪70年代，在Joreskog(1973)，Keesin(g1972)，Wiley(1973)等统计学家的努力下，由因子分析所代表的潜在变量研究模型与路径分析所代表的传统线性因果关系模型得到了有机整合，结构方程模型理论逐步发展起来，并在心理测量学、计量经济学、教育学等学科中逐渐得到应用。在数值分析和计算机科学的带动下，其理论和方法在20世纪80年代末期逐渐成熟并完善，并得到更加广泛的应用。

　　结构方程模型的基本原理是“三个二”：即两类变量（测量变量和潜在变量）、两个模型（度量模型和结构模型）以及两条路径（潜在变量与测量变量之间的路径和潜在变量之间的路径）。

　　（一）两类变量

　　在SEM中，变量有两种基本的形态：测量变量(measured variable)与潜在变量(latent variable)。研究者观测得到的测量变量资料是真正被分析与计算的基本元素；而潜在变量则是由测量变量所推估出来的变量。SEM分析中，测量变量的变异受到某一个或某几个潜在变量的影响，因此又被称为潜在变量的观测指标(indicators)或显变量(manifest variables)。

　　沿用路径分析的术语，SEM中的变量可以区分为内生变量和外生变量。所以SEM中的变量可以区分为内生测量变量、外生测量变量、内生潜在变量和外生潜在变量四种类型。在结构方程模型路径图中，潜在变量用椭圆表示，测量变量用矩形表示。

　　（二）两个模型

　　在结构方程模型中，最重要的概念由两个部分所组成，第一是测量模型(measurement model)，反映了观测变量与潜在变量之间的关系，其构成的数学模型是验证性因子分析；第二是结构关系的假设检验，透过结构模型(structural model)，使潜在变量之间的关系可以以路径分析的概念来讨论。如果定义x为外生测量变量向量，y为内生测量变量向量；ξ为外生潜在变量向量，η为内生潜在变量向量，则结构方程模型由以下三个矩阵方程式组成：

　　其中，方程(1)和方程(2)称为测量方程，描述潜在变量与测量变量之间的关系，是外生测量变量在外生潜在变量上的因子载荷矩阵，反映了外生测量变量与外生潜在变量之间的关系，δ为外生变量的误差项向量；是内生测量变量在内生潜在变量上的因子载荷矩阵，反映了内生测量变量与内生潜在变量之间的关系，ε为内生变量的误差项向量；方程(3)称为结构方程，描述潜在变量之间的线性关系，B、Г都是路径系数，B表示内生潜在变量之间的效应，Г则表示外生潜在变量对于内生潜在变量值的效应，ξ为结构方程的误差项。

　　（三）两种路径

　　一条路径来源于测量方程，反映潜在变量与测量变量之间的关系，即反映外生变量与外生潜在变量之间的关系，反映内生变量与内生潜在变量之间的关系。另一条路径来源于结构模型，反映潜在变量之间的关系，即B反映内生潜在变量间的关系，Г反映外生潜在变量对内生潜在变量的影响。

　　结构方程模型的研究步骤包括：

　　1.模型设定。根据理论分析和已有的知识，经过推论和假设形成一个关于一组变量之间相互关系（常常是线性因果关系）的模型，用路径图明确指定变量间的因果联系。

　　2.模型识别。设定结构方程模型时的—个基本考虑是模型识别。如果假设的模型本身不能识别，则无法得到系统各个自由参数的惟一估计值。检查模型识别的基本规则是，模型的待估参数不能多于观察数据的方差和协方差总数。

　　3.模型估计。结构方程模型估计常用方法法是偏最小二乘(partial least square,PLS)法和线性结构关系(linear structural relationships,LISREL)法。PLS方法将主成分分析和多元回归的统计思想结合起来。对不同潜在变量的观测变量抽取主成分，建立回归模型，然后通过调整主成分权数的方法来进行参数估计；LISREL方法建立在协方差结构的基础上，从变量间的协方差入手，通过拟合模型估计协方差与样本协方差来估计模型参数。LISREL使用极大似然估计、广义最小二乘法等方法，构造模型估计协方差与样本数据协方差的拟合函数，得到使拟合函数值最优的参数估计。为了解决结构方程模型的计算量大的问题，Joreskog(1973)发展出LISREL统计分析软件，提高了SEM的应用性。后来科学家开发出AMOS(analysis of moment structures)软件，图形化的用户界面使得结构方程模型建模更加简便易行。类似的软件还有SAS的CALIS模块、Mplus；EQS等。

　　4.模型评价。就是在已有的证据与理论范围内，考察所提出的模型拟合样本数据的程度。关于模型的总体拟合程度的测度指标主要有：卡方值、检验拟合优度指数(GFI)、校正的拟合优度指数(AFI)、均方根残差(RMR)等；关于模型每个参数估计值的评价可以用给出的t值等。

　　5.模型修正。模型修正是为了改进初始模型的适合程度，当尝试性初始模型不能拟合观察数据时，即这个模型被数据所拒绝时，就需要将模型进行修正，再用同一组观察数据来进行检验。

　　下面是一个Amos输出的结构方程模型建模结果：

　　其中，外生潜在变量为社经地位，内生潜在变量为疏离67和疏离71。潜在变量指向的矩形是各自的测量变量，指向潜在变量、测量变量的圆形代表观察误差。各路径上的数值是标准路径系数的估计值。

　　结构方程模型是对回归分析和路径分析方法的一个改进。从建模思路上讲，它的优点是：第一，引入潜在变量使研究更加深入。回归分析、路径分析不允许潜在变量的存在，只有结构方程模型可以将多个潜在变量及其测量变量置于同一模型中分析，研究它们之间的结构关系；第二，结构方程模型虽然也类似于路径分析模型利用联立方程组求解，但结构方程模型放宽了模型的限制条件，同时允许自变量和因变量存在测量误差；第三，结构方程模型既发展了路径分析的优势，又克服了路径分析基本假设过多、无法包含潜在变量、不能处理互逆因果关系等缺陷。

　　图3 结构方程模型示例

　　当然，结构方程模型也不是十全十美。它在模型设定、模型拟合、拟合检验以及对结果的解释等方面还存在或多或少的问题。如：现有理论不能准确提出有说服力的因果模型；在模型设定与模型识别过程中所做的比较，可能有损于最初的理论假设；可能没有充分的定性和定量数据以保证模型的拟合等等。简言之，其他因果模型中存在的问题，也有可能在结构方程模型中存在。

　　四、线性因果关系建模方法论：模型比较与发展规律

　　同样作为验证性的线性因果模型，按照“回归分析－路径分析－结构方程模型”的次序，建模方法论是逐步发展的。其中，回归分析是线性因果关系建模的基础。路径分析起承上启下的作用，既是回归分析的扩展，又是结构方程模型的一种特例。结构方程模型是迄今为止最复杂的线性因果建模方法。它们之间的联系如图4所示：

　　图4 线性因果关系建模方法论体系

　　三种模型既互相联系，又各有特点。例如，回归分析属于单方程模型方法，而路径分析、结构方程模型属于联立方程模型方法；回归分析、路径分析只能处理测量性变量，而结构方程模型可以处理潜在变量。本文将回归模型、路径分析模型和结构方程模型的特点归纳成下表：

　　可以归纳出线性因果关系建模方法论的发展规律如下：

　　（一）变量的范围不断扩大

　　传统的回归模型和路径分析模型不能处理不能直接准确测量的潜在变量，但结构方程模型通过将可直接准确观测到的显变量或测量变量测量与潜在变量一起纳入模型。

　　（二）“测量”与“分析”技术不断融合

　　传统的回归模型和路径分析模型，不论分析的内容为何，多把变量视为“具体”、“可观测”的，在分析过程中并没有处理测量过程中存在的问题。而结构方程模型是一套将“测量”与“分析”整合为一的研究技术。主要在于SEM将不可直接观测的概念以潜在变量的形式表示，利用观测变量的模型化分析来加以估计，不仅可以估计测量过程中的误差，也可以用以评估测量的置信度与有效度，甚至可以超越古典测量理论的一些基本假设，针对特定的测量现象（例如误差的相关性）加以检测。另一方面，在探讨变量之间关系的时候，测量过程所产生的误差并没有被排除在外，而是同时包含在分析的过程中。

　　（三）可处理的因变量的增加

　　在传统的回归模型中，只有一个因变量。路径分析可以有几个因变量，但实际在计算回归系数时还是对每一个因变量逐一进行计算而且可以同时处理“中介变量”的问题。而结构方程模型则可以同时处理多个因变量，并且同时考虑多个因变量之间的相互影响，有效地弥补了回归分析和路径分析的缺陷。

　　（四）测量误差的限制逐步放宽

　　在传统的回归模型和路径分析模型中，虽然容许因变量含有测量误差，但需要假定自变量是准确测量的，没有误差的，否则模型就无法建立。而结构方程模型容许自变量和因变量都含有测量误差。

　　（五）模型调整的弹性扩大

　　传统的回归建模分析是基于我们确定统计模型的基础上进行的，如果要调整模型，那么研究人员就只有进行重新设计，重新计算分析。相比较来说，结构方程模型的建模分析过程本身就是一个动态的过程。研究中所作的每一次的计算分析，都是在为基于原始模型的模型调整来做的。每一次的计算分析的结果都是下一次进行模型调整的依据。研究人员要根据每一次的计算，通过自身的经验或对问题的具体认识去改变测量变量指标与潜在变量因子间的关系。

　　（六）模型拟合的改进

　　回归模型、路径分析采用标准的OLS（最小二乘法）对各个方程分别进行估计，研究人员的目标就是求参数使得残差平方和最小。而结构方程模型则是用最大似然法将模型中所有参数同时进行估计，不但可以比较准确地估计两个变量之间的因果关系，而且通过比较理论模型的协方差与实际观测得到的协方差的差异，从整体上来考虑模型的拟合优度。