多模态批评话语分析: 理论探索、方法思考与前景展望

林晶应用语言学研习

欢迎点击上方关注我们，欢迎转发此文

本文转自：语言科学微信公众号

多模态批评话语分析: 理论探索、方法思考与前景展望

摘要：从批评话语分析与多模态研究的对话基础入手，探索多模态批评话语分析有别于多模态符号学的研究途径，讨论了多模态批评话语分析的核心概念、以模态的社会动允性为驱使的多模态批评话语分析途径及其赖以成立的理论基础以及多模态批评话语分析的方法论体系，指出多模态批评话语分析作为一个新兴的研究领域，在理论框架与方法体系构建、模态间关系以及符号形式和意义表达之间关系的确定、多模态研究与认知批评话语研究的结合、文化语境、技术层面、主观因素等方面存在着有待探索的空间。

关键词: 多模态批评话语分析; 社会动允性; 方法论体系

0.引言

批评话语分析 (Critical Discourse Analysis，CDA) 以社会问题为导向、文本分析为手段，旨在揭示语言运用如何体现权力关系和意识形态，即 “权势阶层是如何出于维护自身利益和实现意识形态操纵的目的对社会实践进行语境重置”(Machin 2013: 323) 。随着多媒体技术的进步及信息交流方式的多样化，CDA开始走出以语言单一模态为载体的传统文本分析形式，呈现出多模态发展态势，形成大量与多模态领域相融合的研究 (如Chouliaraki 2006; Lemke 2006; Machin 2004; Machin ＆ van Leeuwen 2007; O’Halloran 2004) 。不过，“此类研究仍然相对有限”(Machin 2013: 347) ，且“没有获得清晰的学术地位”(van Leeuwen 2013: 1) 。本文尝试对多模态批评话语分析研究进行梳理，包括CDA 和多模态两个领域的对话基础、多模态批评话语分析的核心概念、多模态批评话语分析途径探索及其理论依据、多模态批评话语分析方法论思考等，在此基础上提出多模态批评话语分析发展需要关注的问题。

1.批评话语分析与多模态话语分析的对话基础

自 20 世纪 90 年代开始，话语研究领域出现了两大重要取向: 一是批评话语分析; 一是多模态话语分析 (Multimodal Discourse Analysis，MDA) 。MDA 的发展源自社会实践出现的新常态——多媒体化以及由此引发的社会文化系统的多模态化，它主要探讨 “不同交际模态的意义生成潜势，不同模态的实际运用，不同模态之间以及不同模态与其赖以运作的社会文化语境之间的动态交互”(Djonov＆Zhao 2014: 1) 。CDA 的核心在于批评视角，其研究目的在于阐释并激发人们对于话语与社会结构之间辩证关系的认识。传统 CDA 研究呈现以语言为主要载体的单一模态文本分析，目的是 “解释不平等的权力运作及其效果，进而将权力不均推向危机，以促进实现一个更为平等的社会秩序”(Kress＆Leeuwen 1996: 151) 。

尽管研究主题不同，但是二者在许多方面具有同质性。首先，关于意义生成的认识: 二者都认为交际过程中的意义生成是由多模态手段实现的，是 “对多个模态进行选择进而根据不同的逻辑对所选择的模态实施编码组合”(Djonov ＆ Zhao 2014: 1) ; 符号意义通常是在一定的社会语境中产生的，既受制于也反作用于社会语境。其次，两者在理论基础和研究方法上都具有多样性: CDA的一个标志性特点是其研究方法的 “多学科性”(van Dijk 2001)、“跨学科性”(Wodak＆Weiss 2003) 或称 “超学科性”(Chiapello＆ Fairclough 2002) ，与多模态研究的结合丰富了 CDA 的研究内容与研究对象，“为语言的(批评性) 研究带来了启示”(Hart 2016: 336) ; 就多模态研究而言，其研究范畴涵盖了不同的符号资源，与 CDA 的交融对它而言是一种视角上的拓宽与深化，多模态研究 “加强与批评社会理论，尤其是批评话语分析的对话将大大推动多模态研究领域的发展”(Djonov ＆ Zhao 2014: 1) 。再次，研究对象上的共同选择: CDA 与多模态研究同时关注到教育领域的话语分析，多模态社会符号学流派的研究者们强调教育语境的多模态性状，主张探讨多样化教育背景下的多模态学习 (如 Jewitt 2006; Jewitt ＆ Kress 2003; Kress et al． 2005) ; 在 CDA 领域，Fairclough ( 1989，1995) 将批评话语意识引进教育领域，指出多元识读教学能够帮助学习者发现话语与特定社会历史、政治、文化语境之间的关联。

鉴于此，Hart 试图从认知批评话语研究的视角出发，建立 CDA 与多模态研究之间的联系。他提出，“语言理解关涉多模态心理表征构建”(Hart 2016: 335) 。具体来说，语言承载的意义并非仅仅由单一模态的命题结构所编码，语言使用被视为动态概念化的共建过程; 动态概念化将语言所表征的现实转化为相应的主体间性心智经验，为话语赋予了意义与一致性; 概念化的实现主要依赖相关意象的触发，其过程涵括两个层次的表征: 一为意象图式，二为高度模拟 (enriched simulation) 。具体运作如下: 在意象图式层面，语言使用中的语法构式能够激活概念面的平行结构，形成人们对目标场景的基本识解，从批评性视角来看，此类识解 “承载着不同的信仰、价值和社会话语”(Hart 2016: 337) ; 在高度模拟层面，语言为识解者提供了一系列的线索为他们构建关于所描述情景的经验式 (包括感知和行为) 模拟，由语法构式激发的抽象的意象图式因此得以充实，然后伴随着目标场景在我们大脑中沿时空扩展和延伸开来，意义逐渐生成。因此，语言生成的意义有其视觉基础，编码多模态信息， “语言意义的意识形态潜势可以参照多模态话语分析领域已经取得的成果进行解读”(Hart 2016: 341) 。

可见，CDA 与多模态研究之间具备了充分的对话空间。那么，二者如何能够更好地交融呢? 以下将探讨契合二者交融性发展的多模态批评话语分析途径。

2.多模态批评话语分析途径

2. 1 从多模态符号学到多模态批评话语分析

“多模态符号学”的概念源自社会符号学 (social semiotics) 理论，指的是 “由社会符号学理论推动的对于多模态符号的系统研究”(胡壮麟 2007: 3) 。社会符号观源于系统功能语言学理论，强调语言与社会的关系，关注语义选择的整合系统以及系统的层级性。以社会符号学为根本认知的多模态符号学将研究触角由语言延伸至一切能够生成意义的符号资源，强调所有的模态/符号资源都具备意义生成潜势，或曰“符号潜势”或 “模态潜势”( 李战子、陆丹云 2012: 2) ，各个模态交互作用、协同生成交际意义，由此衍生出可供选择的网络。受系统功能语言学影响，多模态符号学研究呈现出两大特征: 1) 强调符号资源的 (社会) 功能性，即人们是在一定的社会情景中主动选择表意模态生成意义; 2) 强调符号资源的系统性，同时假设所有的符号模态都能够用统一的方法描写。Kress 和 van Leeuwen 等在早期研究中致力于建立一套视觉交际语法以及图像句法，他们的作品Ｒeading Images 揭示了社会符号学视角下对不同交际模态进行系统描述的可能性。同时他们也认识到不同模态的动允性及其形式构成原则存在差异以及不同视觉表征和视觉规约承载着特定的意识形态，因此他们的研究事实上是 “以批评为导向的”(Ledin＆Machin 2018: 62) ，强调符号生成的功能性及社会文化、政治、历史语境的影响作用。然而，除此之外的大多数多模态符号学研究注重的是研究符号资源的系统性，即考察不同交际模态运作时参照的系统，或是阐释不同模态如何实现 3大交际元功能。例如，O’Toole 的The Language of Displayed Art 重点考察的是系统功能语言学中所用到的分析理念与方法如何能够被运用于描写艺术与雕塑作品。由此可见，“建立非语言模态的符号语法是多模态符号研究的基本途径”(李战子、陆丹云 2012: 3) 。

对此，Machin (2009) 虽然认为从社会符号学视角出发对非语言交际进行研究是可取的，但是他也提出，将语言学的概念强加在多模态研究之上可能导致 “语言研究的帝国主义” (linguistic imperialism) ( Machin 2013: 349) 倾向，在研究过程中忽略图像的非语言属性。事实上，“语言、符号与社会三者关系构成同心波”(顾曰国 2010: 193) ，对于语言与其他符号资源的研究需要结合社会文化、历史语境，考察它们之间的辩证关系。Kress ( 2018: 66) 明确提出，社会符号学视角的多模态研究最需要解决的问题是社会性和技术性之间的关系，即 “准确把握多模态意义生成的趋势需要审视当代社会的构成及其未来的发展可能”，多模态与 CDA 研究的结合某种程度上为解答以上问题提供了一种新的思路。多模态批评话语分析(Multimodal Critical Discourse Analysis，MCDA) 的目的就是要揭示具有不同社会交际功能的模态如何实现社会话语 ( Machin 2013: 352－353) 及如何体现意识形态操纵下的话语“再符号化”(resemioticization) (Iedema 2003) 。由于不同符号资源具有不同的表意功能，Machin (2016) 主张，多模态批评话语分析应以各个模态的社会动允性为驱动力，并就其中的核心问题进行阐述，为多模态批评话语分析研究提供新的理论支持，同时认为这是多模态与批评话语分析交融性研究的最佳途径。

2. 2 多模态批评话语分析: 以社会动允性为驱使的多模态话语分析途径

Machin (2016) 提出的以社会动允性为驱使(social and affordance-driven) 的多模态批评话语分析是他对现阶段多模态研究方向进行修正的一种尝试。他指出，“现有多模态研究呈现碎片化发展态势: 研究领域内，核心研究方向不明朗，研究兴趣不一; 研究领域外，与相关学科的对话有待加强”(Machin 2016: 322) 。因此，多模态研究亟需与批评话语分析交融，相互汲取养分，开辟新的研究途径。不过，无论是方法的丰富抑或工具的发展，多模态批评话语分析都需要首先确定它们 “有助于揭示各种交际形式中隐藏的主导性意识形态”（Machin 2016: 323) 。其考察的重点是模态的社会动允性，研究的核心问题是符号资源的功能性与系统性之间的巨大张力。对此，他主要从3个方面进行论证。首先，系统和功能之间的张力。Machin 认为，过度关注意义生成的系统性，将导致彻底忽略产生意义的社会语境;将多模态研究的目标定位为建立一个多模态符号系统以寻求普遍性语法理论的做法只能让研究陷入假性因果的旋涡; 多模态批评话语分析必须关注不同符号资源的动允性差异，因为不同符号资源的选择性使用体现了意识形态差异。其次，模态同一化问题。Machin指出，语言学视野下的多模态符号学研究将不同类型的符号资源同一化，各模态特有的社会动允性/功能性因此被忽视，实际上，每个模态 “是独立的，有自己的供用特征 ( 意义潜势) ”(张德禄 2018: 8) ，因此在不同语境中，人们对于符号的选择是不同的。再次，模态识解问题。Machin 强调，人们总是通过特定的话语来观察世界。他以 “图像”这一模态为例指出，图像在一定程度上能触发更为宽广的社会联想，人们对于图像的解读总是带有意识形态倾向。因此，包括图像研究在内的多模态根本上需要一种社会性的途径，对于各模态的分析首先需要结合社会文化、历史、政治语境，其次考虑这些因素如何在语义选择上体现出来。

正是认识到系统功能语言学理论对于多模态研究进一步发展产生的局限作用，Machin (2016) 试图借鉴Hjelmslev的语符观以及 Voloshinov 的符号学理论来构建批评视角的多模态话语分析途径。在他看来，Hjelmslev的语符观一个重要的启示是符号是以功能为动因，以意识为驱使的。他指出，Hjelmslev 感兴趣的是人们如何使用符号为混沌体划清界限、确立实体; 所谓 “混沌体”既包括思维混沌体也涵盖物理世界的混沌体 (如声音、形状、事物等等) ，符号的功能就在于识解构成各种混沌体的关系、确定实体、赋予意义。具体来说，由符号功能划定的物质实体，如照片、建筑、景观等都是因为符号功能才具备了意义，这是因为在某些特定时刻，意识的本质与表达的可及形式之间具有强相关性，而这种关联是经由符号功能实现的; 符号功能本身是个联合关系，既连接了符号的表达平面和内容平面，也结合了两个平面各自的形式与实体，因此，符号的表达与内容、形式与实体相互依存，互为条件，成为同一符号的不同侧面。可以说，在 Hjelmslev 的理论框架下，符号的功能与系统合二为一，“功能内含实体，外连形式，构成形式和实体一体两面的表里关系”(徐思益2010) 。在主张符号研究应重点关注符号功能的同时，Machin 认为，符号研究应结合社会历史语境，这可以从 Voloshinov 的符号学理论得到理论支持。后者的基本观点是，符号研究应紧密结合社会文化、历史、政治等因素展开; 也就是说，“符号不是僵化的; 符号负载着不同的动允性; 符号动允性在交际互动中得以实现，并且被打上了权力关系的烙印”(Ledin ＆ Machin 2018: 61) 。因此，多模态批评话语分析研究的第一要素就是要考察符号资源使用的社会属性 (Machin 2012，2013，2016) 。比如图像，Machin 特别指出，多模态批评话语分析应致力于 “研究社会机构如何规约图像的使用以及图像如何作用于接收者的体验感受”(Machin 2016: 331) ，即话语在对社会实践进行语境重置时，特定的模态动允性如何发挥作用以迎合主流意识形态的利益。

Machin另辟蹊径提出以社会动允性为导向的多模态批评话语分析研究途径，就是强调符号研究需要关注符号模态的不同功能以及相关的社会、历史、文化因素。这是他对多模态研究与CDA 交融性发展的思考与尝试: 对于符号社会动允性的强调在某种程度上既弥补了现有多模态研究存在的不足，如过度重视符号系统的建立、与社会语境脱节等，也为CDA研究注入了新鲜血液; 由于认识到过于依赖系统功能语言学对符号研究带来的弊端，他提出，多模态批评话语分析研究的理论根源应是 Hjelmslev 的语符观以及Voloshinov 的符号学理论。上述思考的确具有创新性，不过仍遗留不少可以商榷的地方。首先，Machin 转向Hjelmslev 语符观及Voloshinov 符号学理论的初衷是试图突破系统功能语言学对符号研究的局限，或者说是为了减少语言学理论对符号研究的影响，但是，从严格意义上来说，Hjelmsle语符观和Voloshinov 符号学理论都是建立在语言学研究基础之上，二者能否真正实现其理论构想令人质疑。其次，对于符号的功能性与社会性两个不同参数，Machin 分别采用了Hjelmslev 语符观和Voloshinov 符号学理论加以论证，至于如何将二者融合运用于MCDA 研究却未曾说明，二者能否有效结合尚待考证。再次，尽管Machin 认为，在Hjelmslev 语符理论框架下，功能与系统合二为一，功能连接形式与实体，俨然成为了解这一理论的 “钥匙” (徐思益 2010) ，但是，该框架实际上存在纯理主义倾向，缺乏社会属性功能，无论是对其理论适用性还是其功能根本，学界仍存有很大争议，需要进一步考量。

3.多模态批评话语分析方法论思考

虽然 Machin (2016) 提出了多模态批评话语分析的途径，但是他并未对开展多模态批评话语分析应采用的方法做出说明。反观多模态研究和 CDA，它们各自在其独立研究领域内都已具备了较为成熟的研究工具和较为系统的研究方法。作为融合两者的交叉研究，多模态批评话语分析在实践中能否借鉴并运用两大领域的研究方法是一个值得思考的问题。

田海龙、潘艳艳 (2018: 28) 认为，“认知语言学的分析方法和批评话语分析的批评方法对多模态批评话语分析起到很大的借鉴作用”，但是他们并未提出相对系统的方法框架。事实上，Wang (2014) 曾尝试构建适用于 MCDA 的批评视觉分析方法论。它关涉3个不同方面的内容: 话语叙事分析、视觉互文分析和批评视觉隐喻分析。他提出的话语叙事视觉分析模型建立在 Fairclough (1989，1992，1995) 三维话语分析框架基础上。三维话语分析框架为解构语言文本中的意识形态、权力关系和霸权支配等提供了强有力的分析工具。话语叙事视觉分析模型也包含了视觉描写、视觉解读以及社会语境阐释 3 个不同维度: 视觉描写层面，视觉语法因其对视觉成分的精细分类而被运用于对视觉图像进行具体描写; 视觉解读层面，在对视觉图像进行视觉语法描写的基础上，将其与话语实践相结合进行解读，话语实践涵盖3大模块，“生产”(production) 模块聚焦于生产者与生产过程，“分配”(distribution) 模块关注话语生产者 ( 如新闻媒体) 如何通过视觉话语传播意识形态并使其为读者所接受，“消费”(consumption) 模块重点把握读者如何在解读过程中认可进而接受视觉话语中隐含的意识形态; 社会语境阐释层面，结合社会、历史、文化背景从宏观角度解释话语合法化的运作机制，属于社会实践分析过程，在这一过程中，前两个层面那些已被解构的意识形态被置于一个更广阔的社会文化语境之中，为揭示视觉符号如何塑造读者意识形态呈现一个更为全面、系统的阐释。关于视觉互文分析，Wang (2014) 沿袭罗兰·巴特的思想，将互文性概念与视觉研究相结合，强调不同模态的相关性研究，区分了视觉语篇互文性与视觉篇际互文性(visual intertextuality and interdiscursivity) : 前者也被认为是显性互文，可追踪到图像的来源，视觉互文文本所承载的意识形态内涵可清晰辨认; 后者则关注不同体裁杂糅而成的视觉影响、能够与读者建立联系的话语规约以及隐晦的意识形态编码。另外，Wang (2014) 还提出了跨模态互文 (cross-semiotic intertextuality) 和突变性视觉互文 (abrupt visual intertextuality)等概念。关于批评视觉隐喻分析 (CMA) ，他以视觉图像的色彩陈列、线性排序和大小分布为例，强调 CMA 能够有效地运用于视觉文本分析以揭示其中蕴含的意识形态倾向。此外， Wang (2014) 提出批评视觉分析应遵循以下 3 个步骤: 1) 识别视觉符号模态; 2) 对视觉符号数据进行分类，即判定它们应归属于视觉叙事、视觉互文或视觉隐喻呈现; 3) 批评性视觉分析过程，即在第二步基础上，分别采用相应的方法分析数据，解码视觉符号中隐含的意识形态。

批评视觉分析方法论，正如 Wang (2014: 280) 所说，“是在实践层面上对批评话语分析与多模态研究的综合”; 它相对全面，覆盖了相当范围的视觉符号呈现模式，理论上适用于不同的视觉语料分析，给多模态批评话语分析方法论的建立带来重要启示。当然，由于这仅仅是对构建多模态批评话语分析方法体系的初步尝试，如何对该方法论包含的 3 个子分析框架 (话语叙事分析、视觉互文分析和批评视觉隐喻分析) 进行整合和系统化，如何限制模态识别 (尤其是符号数据分类) 过程中的主观因素作用，如何验证该模型实际的可操作性等问题还需要进一步思考。

4.待探索的课题

虽然CDA与多模态研究都已得到广泛开展，二者的融合性研究途径——多模态批评话语分析——却是一个新兴领域，存在许多有待解决的问题和需要深入探索的空间:

1)理论框架与方法论体系构建。Machin (2016) 和Wang (2014) 已分别就多模态批评话语分析的理论框架与方法论体系进行初步构建，但是，无论是理论框架还是方法论体系都不尽完善，二者的关联性和互补性也有待加强; 此外，Machin 和 Wang 的研究都是以视觉图像为参照，构建的理论与方法论框架能否适用于视觉图像以外的其他符号模态分析尚未可知。

2) 模态间关系以及符号模态与意义表达之间关系的确定。这是多模态批评话语分析的核心问题之一。关于模态间关系以及符号模态与意义表达之间的关系，学界存在强调表达一定意义时不同模态之间的关联性、互补性 (如张德禄 2009) ，乃至于平等关系 (如Lascarides ＆Stone 2009) 等观点，然而 Machin (2016) 认为，CDA 视角下的多模态研究需要关注的是基于功能的符号模态之间的差异性，而多模态批评话语分析应致力于揭示具有不同动允性的符号资源如何被选择性地运用于语境重置与话语合法化过程以传播特定的意识形态。因此，对于多模态批评话语分析来说，“如何将符号形式与意义相互关联是有待解决的问题”(Bateman 2011: 17) 。

3) 多模态研究与认知批评话语研究的结合。Hart (2016) 指出多模态研究与批评话语研究具有共同的认知基础，他关于 “语言具有哪些图像特征”的思考为开展多模态批评话语分析拓宽了研究思路，使“如何将语言研究成果运用于多模态研究”的研究取向转变为“如何将多模态研究成果运用于语言分析”成为一种可能。

4) 关注文化语境。“文化是由社会符号实践构成的; 社会符号实践的基本形式——话语也深受文化的影响”(Shi 2013: 20) ，因此，对由符号实践生成的话语进行批评性研究必须结合文化语境加以考察。但是，鉴于 “文化多元性是多模态未来发展的要素之一”(van Leeuwen 2011: 679) ，多模态批评话语分析在未来发展中如何通过关注不同文化因素的影响打破地域界限，逐渐将研究范围拓展到西方文化之外等问题需要我们进一步探讨。

5) 技术层面的批评。多模态研究与科学技术的发展密切相关，技术手段的日益丰富为解释复杂的多模态交际与文化提供了可能性; 数字环境下的多模态批评话语分析需要 “跨越计算机科学与话语分析之间存在的语义空缺”(O’Halloran et al． 2011: 122) ，将由符号体现的多模态现象与对隐藏于话语中的社会动机的批评性分析融合起来。但是，这种 “技术性融合”并不仅限于对研究手段和研究工具的技术掌握，还包括对于实现多模态话语的技术手段的批评性研究。新近出现的批评性技术文化话语分析(Critical Technocultural Discourse Analysis，CTDA) 就是旨在考察情景化话语实现过程中技术手段的中介作用，它强调技术、文化意识形态和技术实践之间的互动关系，其批评对象不仅仅是通过技术手段实现的话语内容，还有实现话语的技术媒介。Brock (2016) 以 Twitter 为例，提出CTDA 关注的是该社交网络如何被视为一种话语、话语实现媒介和文化参数，以及话语策略如何塑造它的使用。显然，CTDA 的研究为多模态批评话语分析开拓了思路，成为另外一个有待探索的研究课题。

6) 减少主观因素的干扰。朱永生 (2007) 认为，多模态研究的一大不足在于其研究的主观性; 批评话语分析因为同样的问题饱受诟病; 二者的融合性研究——多模态批评话语分析自然也遭到类似的质疑。对此，研究者的自我反思，“基于某类语料的定量分析”，“对于分析结论的第三方验证”(冯德正 2017: 8) 能在一定程度上有效限制主观因素的影响作用。另外，O’Halloran et al．(2011) 指出，互动数字环境下的符号学实证分析能够捕捉到肉眼无法观察的现象，为批评话语分析提供更为客观的研究数据，增强其结论的可验证性。

5.结语

多模态批评话语分析是多模态研究与批评话语分析的交叉性研究，旨在通过解构包括语言在内的符号资源构建的多模态表征以揭示其中隐含的权力关系与意识形态倾向，“体现了多模态领域 ‘从意义到意图’的研究转向”(田海龙、潘艳艳 2018) 。多模态批评话语分析作为一个新兴研究领域建立在多模态研究与批评话语分析之间进行充分对话的基础之上，它的兴起源于多模态符号学的研究局限性。多模态批评话语分析途径关注符号模态的社会动允性而非系统性，它需要寻求有别于系统功能语言学的更为契合的理论支持。多模态批评话语分析的发展离不开科学、系统的方法论建设，这可以通过多模态研究与批评话语分析已有的、较为成熟的研究方法与研究工具加以优化、整合而实现。目前，尽管多模态批评话语分析是一个充满活力的研究领域，它仍然存在许多需要深入探讨与研究的课题，如理论框架与方法论体系的构建、模态间关系以及符号模态与意义表达之间关系的确定、多模态研究与认知批评话语研究的结合、对文化语境的关注、对技术层面的批评以及如何有效减少主观因素的干扰等。