其他
西方多模态话语研究与批评话语研究的融合趋势
欢迎点击上方关注我们，欢迎转发此文
本文来源：语言科学微信公众号
西方话语研究近十年来出现了批评话语分析和多模态话语分析融合的趋势，“批评多模态话语研究”和“多模态批评话语研究”逐渐成为话语研究的新兴领域。本文概述了西方学者在融合批评话语研究与多模态话语研究上进行的理论探索，以及存在的分歧和争议，继而总结出六个关键领域与主题，并梳理了这六方面的研究文献。最后，本文归纳了批评多模态话语研究/多模态批评话语研究的重要概念和路径，并展望了未来研究方向。
关键词：话语分析；多模态；批评话语分析1.引言批评话语分析(CDA)和多模态话语分析(MDA)是话语研究的两个重要路径和领域。CDA旨在通过对语言使用和话语模式(patterns)的分析来揭示语言和话语背后的隐含意义、权力关系和意识形态。MDA不仅分析语言，而且系统分析图像、手势、音乐等其他符号模态及各模态的配合。两者有许多共同特征，也有很多互补和相互借鉴之处。很早就有学者认识到CDA应覆盖语言之外的其他符号模态(Hodge & Kress 1988; Fairclough 1992)。Fairclough在他的 CDA 理论中，明确提出：“将话语这一概念扩展到涵盖诸如图像等其他符号系统以及图文结合的语篇，这是非常合适的”（Fairclough 1992: 4）。另一方面，多模态理论在发展之初就已关注符号模态使用背后的权力关系和意识形态(参见 Jewitt et al. 2016)。近十年来已有学者开始思考多模态话语研究(MDS)和批评话语研究(CDS)的融合，从而促使“批评多模态话语研究”或“多模态批评话语研究”成为独立的研究领域。本文拟回顾西方学者在融合MDS和CDS上进行的理论探索，梳理这方面的关键研究领域和主题，并讨论二者融合的发展方向。2. 理论思考与建构 已有学者探索构建批评多模态话语研究或多模态批评话语研究的理论，使之成为独立的话语研究领域。他们在这个过程中达成了一些共识，也有分歧和争议。2.1 MDA与CDA总体比较 MDA与 CDA一方面有许多共同特征，这为它们的融合提供了可能性；另一方面在研究范围、重点和目标上又存在差异，这为它们的融合提供了必要性。 二者的相似之处和共同特征造就了它们的融合点和融合的可能。第一，MDA与 CDA都是从语言学理论或基于语言学的话语分析理论发展而来，都借鉴了语言学的分析方法和模式。第二，它们都重视语境的作用，尽管不同学者对语境的理解不尽一致。第三，它们不仅分析内容，而且更注重对语言或其他符号本身的分析。第四，它们都持有跨学科的立场和开放的姿态。第五，MDA在发展之初就已采用批评的视角；而CDA也开始关注语言之外的其他符号模态，这也是 CDA面临的机遇和挑战之一。这五个方面为MDA与CDA的融合提供了条件和基础。 MDA与CDA在研究目标、范围和重点等方面又存在差异。MDA 旨在探究图像、音乐等各个符号系统生成意义和表达意义的机制，并分别为之创建一套理论；MDA 还致力于探索表意过程中不同符号模态相互结合、相互影响的方式。CDA 则重点聚焦话语背后的意识形态和权力关系，话语与社会的相互作用，以及涉及种族、阶级、性别等的社会正义问题与身份建构问题。如下文(第3 节)所示，MDA 与 CDA 的结合和相互借鉴拓宽和深化了这两个领域各自的研究。2.2 理论建构的探索 关于MDS和CDS的结合，比较系统的理论建构有Djonov、Zhao 等学者的 “批评多模态话语研究”(Djonov & Zhao 2014b, 2018)和 Machin、Ledin 等人的 “多模态批评话语研究”(Machin 2013; Ledin & Machin 2019)。批评多模态话语分析强调多模态分析需要采用批评的视角和方法，以增加多模态研究的深度。多模态批评话语分析则强调CDA需要考虑多模态资源的作用，这仍然站在 CDA的立场上，目的是更好地实现CDA的目标。虽然两者的侧重点不同，但都探索话语研究这两个路径的融合，并使批评多模态话语分析或多模态批评话语分析成为一个独立的研究模式和领域。本文旨在评述MDS 和CDS融合的趋势，有些研究虽未使用“批评多模态话语研究”或“多模态批评话语研究”的术语，但实际分析融合了MDA和 CDA，所以也被纳入本文综述范围之内。 MDA和CDA的共性是二者结合的出发点，这方面的讨论为二者的融合奠定了理论基础。Djonov & Zhao (2014a)总结了MDS和 CDS的四个共同特征：都关注语言和其他符号模态；都受到社会符号学和批判理论的影响和启发；都具有跨学科特征以及理论和方法上的多样性；在教育研究领域都颇有影响(Djonov & Zhao 2014a)。 CDA和MDA融合带来的优势支撑了这一融合的合理性。Machin (2013) 认为多模态批评话语研究的优势在于通过对符号模态细致入微的分析，可以揭示普通观察无法看到的话语内的行动(actions)、环境(circumstances)、身份和意识形态。 此外，是不是MDA任一模式或流派都可以与CDA相结合？多模态研究不同流派采用了不同的理论基础，也构建了不同的理论模式。Machin (2016a) 认为并不是所有的流派都适合与CDA结合；只有既注重符号的形式也注重其理据，且认为意识形态是根植于符号内部的那些多模态研究路径，才适合与CDA相结合。Ledin & Machin (2018) 认为基于韩礼德社会符号语言观 (Halliday 1978; Halliday & Matthiessen 2014) 的社会符号多模态研究将符号置于交际互动中考量，且考察符号背后的意识形态，所以CDA可以从中寻求结合的切合点。 多模态研究各流派对批评视角和路径的态度也不尽相同。社会符号多模态研究，包括系统功能多模态理论，展现出积极的批评姿态，与批评理论相结合的研究较多。认知理论也采用批评视角，例如批评隐喻分析，然而这种批评认知路径在多模态研究领域尚未被广泛采用。多模态会话分析与 Sigrid Norris 的多模态互动分析侧重人际互动，仍很少采用批评的方法和路径。此外，上述流派或多或少都借鉴了语言学或基于语言学的话语理论，在CDA 和MDA 的融合研究中则可思考多模态分析如何反哺语言学 (参见 Hart 2016)。2.3 争议与商榷 鉴于系统功能语言学在CDA 和MDA中都被广泛采用 (Djonov & Zhao 2018)，一些学者就其在多模态批评话语研究中的地位和应用展开讨论。Ledin 和Machin 在《批评话语研究》上发表文章，评论了系统功能多模态理论在 CDS 中的作用；三篇回应文章也发表在该期刊上，回应和批评了这篇文章的观点。 Ledin & Machin (2019) 质疑系统功能语言学的模式和重要概念在分析各种交流形式 (forms of communication) 和回答 CDS 问题时的适用性。他们认为系统功能语言学的“语境”概念太过薄弱；其“语篇”(text) 概念过于狭隘，不能涵盖符号及其物质性两个方面。他们还认为“系统网络”(system network) 不适合分析多模态语篇。但他们比较认同“实例化”这一概念，认为它有助于将多模态语篇视为话语实践的一部分。 三篇回应文章从不同的侧面评价和反驳了Ledin 和Machin的主要观点。O’Halloran et al. (2019)指正了Ledin 和Machin对系统功能语言学中基本概念的理解，指出系统功能理论旨在帮助人们理解语言和其他符号资源如何在不同的语境下组织起来并生成意义。他们还指出Ledin 和Machin 对语境的片面理解，系统功能理论中“文化语境”的概念已包括Ledin 和Machin 所谓的广义语境。Bateman (2019) 认为系统功能语言学能够为多模态批评话语研究的实证研究提供有力的理论支持和切实可行的方法。他指出Ledin和Machin的思路会使多模态批评话语研究陷入印象式的解读，而且还会使CDA 学者对当前的多模态研究产生误解。Caple (2019)的回应文章也批评了 Ledin 和 Machin 的看法，反驳了他们关于系统功能语言学中语境、内容与表达的关系、语境与语篇的关系等观点。 但是，Ledin 和 Machin的文章也有积极的启示意义。例如，不宜将系统功能语言学的一些概念和模式生搬硬套到其他符号系统的分析。研究者应该在承认不同符号资源表意过程遵循一定的共同原则这个前提下，充分考虑到每个符号体系的独有特点。此外，他们对系统功能理论“语境”的误解和批评也并非毫无原因。张德禄(2018)也认为多模态话语研究没有厘清语境的概念，并重新定义了多模态话语的文化语境和情景语境。 总之，MDS 和CDS 的融合，今后仍需厘清重要概念，并确立不同流派都能接受的基本原则和目标。3. 关键研究领域与主题 结合CDS 和MDS 的研究，主要集中在流行文化、符号技术、作为政治话语的日常生活、恐怖和暴力话语、话语与性别、读写素养等六个关键领域与热门话题。3.1 流行文化话语 流行文化因其普遍存在性而始终是话语研究的重要领域，也成为批评多模态话语研究的热门话题。该领域研究的洞见和启示也推动了 MDA和CDA结合的方法在其他领域的应用和发展。Djonov & Zhao (2014b) 联合主编的《流行话语的批评多模态研究》结合CDA和 MDA来研究各种形式的流行文化话语。该书不但融合这两条路径，而且旨在将批评多模态话语研究建设成为独立的研究领域。书中各章节或讨论批评多模态话语研究面临的理论和方法上的挑战，或分析当代流行话语的相关问题。这些研究在理论和实践上为推动批评多模态话语研究成为一个独立的研究领域做出了贡献。 当代新闻、广告、网站等流行话语不仅关乎语言，它们意义的生成和传播也依靠图像、动画、音乐等其他符号模态。只有将各种模态都纳入分析范围才能全面而深入地探究流行话语。批评多模态话语研究能够揭示出流行话语使用符号的规律及其背后的社会意义和意识形态。这类研究深入分析和讨论了各种不同形式的流行文化中：第一，犯罪、移民、难民等重大社会问题，以及人们对这些问题的潜在看法 (Djonov & Zhao 2014b; Sindoni 2014)；第二，所采用的多模态话语策略及其背后隐藏的消费观、市场化行为、社会不公，以及对受众的操控 (Veloso& Bateman 2013; Zhang& O’Halloran 2013; Mulderrig 2018)；第三，多模态资源选择与使用背后的机构身份和国家身份构建 (Gorfinkel 2014; Tan 2014)。 有效揭示流行话语背后的隐含意义和意识形态的概念有“合理化” (legitimation)、“规范化”等。例如，美食电视节目采用多模态合理化策略构建主持人的专业性和权威性 (Matwick 2016)，网站采用对美容手术的合理化与常规化来影响潜在消费者(Moran & Lee 2013)。3.2 符号技术 符号技术的批评多模态话语研究已经比较系统化。符号技术是指用于生成意义的技术，例如笔墨纸砚，及Word、PowerPoint 等软件。符号技术的批评多模态话语研究包括符号软件自身的设计、软件的使用、宏观的社会实践等三方面(Djonov & van Leeuwen 2018)。软件系统的设计包括不同符号资源所提供的选择，各种符号资源在时间和空间上的排列组合，以及这些选择和组合如何使某些权力关系和社会分工得以凸显或隐藏(Djonov & van Leeuwen 2011, 2013)。在符号软件的使用方面，研究者对比研究了 PowerPoint 等符号技术在不同场所(如高校和企业) (Zhao et al. 2014; Zhao & van Leeuwen 2014) 以及不同专业领域 (van Leeuwen et al. 2013; Zhao& van Leeuwen 2014; Kvåle 2016)的使用。从更高层面上来看，软件及其使用受到人们的知识和经验、社会实践、文化规范的影响。 多模态批评话语研究也注重符号技术的研究。符号技术中的“技术化” （technologisation）与“规范化”是多模态批评话语研究的重要概念和议题。结合Fairclough (1992)“技术化”与 van Leeuwen (2008b)“新写作”两个概念，Ledin 和Machin 探究了各种符号技术中符号资源使用的规范化现象 (如 Ledin & Machin 2016)。例如，他们发现高校绩效文档中的表格有抽象化和象征化的趋势，认为这与绩效文档话语的规范化过程有关。3.3 作为政治话语的日常生活 政治话语不仅指狭义的政府政治；政治学的意识形态也体现在日常生活中。《语言与政治学》出版了一期题为“多模态、政治学与意识形态”的特刊 (2016年第 3 期)，结合CDA和社会符号学多模态理论，研究了软件、大众媒体、应用程序、办公室家具设计等日常生活场景体现的政治理念与意识形态。这期特刊不仅为政治学研究贡献了独特见解，拓宽了其研究视野，同时也深化了CDS 与MDS的融合。 Machin & van Leeuwen (2016) 在这一特刊的导言中提出多模态政治话语的社会符号学分析的三个层面和步骤，分别聚焦于符号的能指、符号的所指与意义、更宏观的表意过程 (significance)。其中第三步结合社会理论或批评理论，对多模态话语做深度的批评研究。在如今交流与传播日益复杂的情势下，多模态分析与批评理论结合对于该领域的研究意义将不断凸显。 日常政治话语中表现出的新自由主义价值备受关注和批评。研究人员分析了网站、图片、智能图表、电视节目、儿童多媒体产品及工作空间中呈现出的市场与竞争观、公共医疗与社会保障问题的经济化和商业化，以及对工人阶级的贬低等新自由主义价值观念 (Machin & van Leeuwen 2016)。3.4 恐怖与暴力话语 前几年“伊斯兰国”（ISIS）恐怖活动的肆虐使恐怖和暴力话语备受关注。CDA 和MDA在暴力和恐怖话语这一领域的研究也展示出积极的姿态。 采用社会符号学多模态理论，尤其是“再语境化”的原则，O’Halloran 及其同事研究了 ISIS 的暴力话语如何使用语言和图像维护和宣传该组织的激进观点(Wignell et al. 2017; O’Halloran et al. 2018)，以及西方新闻网站、社交媒体门户、博客对这些暴力图片的重新使用 (Tan et al. 2018)。他们的研究还包括恐怖话语和西方网络话语中图文关系的差异 (Wignell et al. 2018)。这类研究对了解恐怖暴力话语生产、传播的特征及规律发挥了不可替代的作用。 多模态话语也建构文化暴力或象征性 (symbolic) 暴力，并以此来维护或批判现实中的暴力。Kilby & Lennon (2018) 以《查理周刊》为例，分析漫画如何表现和平、冲突和暴力，以及文化暴力的作用。批评多模态话语分析今后可用来深入分析当今现实中的暴力与网络话语中象征性暴力之间的相互影响。3.5 话语与性别 性别是批评理论和CDA的核心话题之一，也成为CDA和MDA结合研究的热点话题与领域。《性别与语言》的一期“性别与多模态”特刊结合 CDS 和MDS 探究了多模态性别话语背后的意识形态。宏观上，Machin et al. (2016) 认为性别的多模态研究包括两个方面。首先，社会关系中充斥着对性别差异的假想，这些假想暗含着意识形态，而对语言和其他模态的分析能揭示出这些形态观念。其次，性别的不平衡并非单独存在，而是与其他不平等或偏见相互交错。 该领域研究的焦点之一是网站、广告、手游、服饰等多模态文本中女性身份和形象的构建，以及这些形象反映出的偏见与歧视 (Machin 2016b; Del Saz Rubio 2018)。CDS和MDS还可结合起来研究第三世界、留守儿童等其他他者形象的话语建构，从而推动边缘话语研究。 多模态性别话语的批评研究关注各种模态，包括沉默。Jaworski (2016)分析了当代艺术中的沉默，讨论了沉默如何被用来表达对非传统性行为和性别身份的看法和立场。由此可见，CDS 和MDS的结合可推动研究者对边缘符号模态的认识和理论建构。3.6 读写素养教育的话语研究 如前所述，CDA与MDA在教育领域也都颇有影响，二者的结合在读写素养（literacy）的话语研究中也逐渐展开。首先，已有关于阅读和视听材料中多模态资源的利用和配置方式，及其对发展读写素养的作用研究 (如 Unsworth 2014)。另外，读写教育材料也可以是批评教育的载体，性教育绘本便是例子。Liang 等分析了中国性教育绘本中多模态资源的使用和多模态合理化策略，从中解读中国文化的爱情和婚姻观 (Liang et al. 2017; Liang & Bowcher 2019)。西方结合CDA 和 MDA 的研究多在西方文化的框架下进行，较少考虑跨文化或多元文化因素。Liang 等人的研究则纳入了中国文化的要素。 学习者产出的多模态文本是读写素养研究的另一个焦点。Thomas (2014)分析了小学生制作的动画作品，关注其中语言、图像和音乐的互补，以此研究其批判读写能力。Huang (2019) 分析了二语英语学习者制作的多模态文本，认为学生通过对多模态资源的使用得以从全新的角度和批判的眼光来看待种族、阶级与性别问题。 此外，教育实践只有通过人的口语、手势、体态等模态资源才能实施。Zhang et al. (2016) 采用批评多模态话语研究框架，分析了亲子绘本阅读过程中双方多模态资源的使用。这类研究对教育实践具有启示。 虽然上述研究涵盖了读写素养的诸方面，但数量尚少，更为系统的研究有待开展。4. 总结与展望 通过梳理以上六大领域的研究，可以总结出批评多模态话语研究和多模态批评话语研究采用的主要概念与分析框架。对这些研究的梳理和评价也为CDA 和 MDA 融合的后续研究指出了方向。4.1 重要概念与分析路径 对CDS 和MDS融合影响重大的概念有再语境化 (van Leeuwen 2008a)、技 术化 (Fairclough 1992)、话语市场化 (Fairclough 1993)、合理化 (van Leeuwen 2008a) 等。Djonov 和 van Leeuwen 等人基于再语境化的概念和原则进行符号技术研究和流行话语研究，同时也讨论了符号技术的话语市场化结果。O’Halloran等人的暴力话语分析、Liang 等人的性教育绘本分析也是基于再语境化的概念和原则，后者还分析了多模态合理化策略。Ledin 和 Machin 等人多模态批评话语研究的理论构建和实际分析则同时深受再语境化和技术化的影响。流行话语、日常政治话语的一些研究关注多模态合理化策略。Mackay (2015) 甚至探索构建了一个新的研究多模态合理化的分析框架，从而拓展了合理化这一概念。 批评多模态话语研究和多模态批评话语研究最常采用的研究路径和框架是社会符号学，包括视语言为社会符号的系统功能理论。上述日常生活话语、符号技术、流行话语、暴力话语等领域的研究大都是在社会符号学框架下进行的。4.2 研究展望 MDS与CDS的融合需要进一步的理论探讨。目前急需确立不同流派共同遵循的基本目标、原理和原则，建立起理论开放、方法多元、跨学科的批评多模态话语研究或多模态批评话语研究。 MDS与CDS的融合可在更广泛的研究领域中运用，在现有研究领域继续深化。例如，虽然 CDA 和 MDA 在教育领域都颇有影响，但两者的结合在教育话语的研究中才初见端倪，尚有待深入。 MDS与 CDS的融合目前主要在社会符号学的理论框架下进行，其他路径下二者的融合有待展开或深入。例如，认知视角下，仅有少数研究结合CDS和MDS探讨多模态隐喻和转喻背后的社会意义、权力关系和意识形态 (Catalano &Waugh 2013; Forceville 2014; Hart 2016)。国内也有学者明确提出认知与社会符号学相结合的研究路径(赵秀凤、戴馨洋 2016；赵秀凤、冯德正 2017; 潘艳艳、郑志恒 2018)。但更多理论探讨与实证研究有待开展。 此外，还可以在MDS与CDS的融合中思考多模态理论对语言学的反哺。不同流派的多模态理论都吸收了语言学的一些概念及范畴、基本原则、分析框架和方法。反过来，语言学研究也可以从多模态研究中获取灵感。Hart (2016) 在其CDA研究中将Kress & van Leeuwen (2006)“视觉设计语法”中分析图像的结论、原则和模式应用到语言意象图式的认知语法分析，揭示语言使用的句法选择背后的意识形态。 最后，可融合MDA和CDA来开展中国话语或中西比较话语研究。上文谈及Liang等人的研究纳入了中国文化的要素，但此类研究仍然鲜见，且未成体系。中国话语的研究除政治、外交外，也可关注日常生活、流行文化、边缘话语等。
作者简介：
张坤坤：厦门大学外文学院教师，研究方向为语言学、话语分析、多模态、儿童文学与读写素养。
（阅读原文）
语科教师群
邀您入同学群
欢迎留言并分享至朋友圈
相关文献延伸阅读（爱书人指南）
敬告：本公号友情提供相关书讯或书目索引链接，
以便爱书人前往第三方平台自行选购
语言学图书精选推荐
扫码关注，即可获取最新入群二维码
目前已有2.04万语言文学、国别区域
研习者关注↑↑↑本公众号，
欢迎加入我们，交流分享，共同学习！