学术观点 | 冯德正、张德禄、O'Halloran ：多模态语篇分析的进展与前沿

点击蓝字关注我们

多模态语篇分析的进展与前沿

冯德正1  张德禄2  Kay O’Halloran3

1香港理工大学  2同济大学  3新加坡国立大学

题

录

提要：1990年代以来，功能语言学与语篇分析的多模态转向使多模态语篇分析成为语言学与传播学研究的热点之一。近年来，多模态研究逐渐从将语言学理论简单应用于图像、手势等非语言符号的分析，转向对多模态表意资源的跨学科系 统阐释与实证研究。因此，具有独特理论体系和分析方法的多模态研究正成为一 个新兴的人文学科。一方面，融合语言学、传媒学、认知心理学等学科的跨学科 理论体系正在形成并被应用于阐释动态语篇等更复杂的符号与行为体系；另一方面，应用电脑模拟、语料库检索等数字技术的新型研究工具和方法迅速发展。多模态分析的理论与方法也逐渐被应用于课堂教学、广告传媒、法庭辩论等各种 社会行为和语篇的研究。

关键词：多模态语篇分析；进展与前沿；社会符号学；多模态隐喻；多模态语料库

文献来源：冯德正,张德禄,Kay O'Halloran.多模态语篇分析的进展与前沿[J].当代语言学,2014,16(1):88-99+126.    

本文系作者独家授权公众号全文推送，欢迎其他媒体转载联系我们

01

引言

随着科学技术，尤其是数字技术的发展，人类生活和交际模式发生了深刻 变化。单一的语言媒介逐渐被由语言、图像、声音等构成的复杂媒介所取代。因此,对社会行为和意义表征的解读应包括非语言符号等所有表意资源 （Jewitt 2009：1) 。基于此认识，1990年代以来，社会符号学者以Halliday (1994)的 系统功能语法为基础，为描述视觉图像(Kress and van Leeuwen 1996；O’Toole 1994),数学符号((O’Halloran 2005),手势(Martinec 2000),音乐 (van Leeuwen 1999)等符号建立了语法语义系统。

然而，随着对多模态现象认识的深入，研究者发现对非语言表意资源笼统 的符号学描述有很多问题，而且远远不能阐释不同多模态语篇中复杂的表意机制。近几年来，多模态研究者在探索更多社会符号的同时(如电影语篇，Bate­man and Schmidt 2012；Feng 2012),开始注重不同学科视角的融合(Forceville and Urios-Aparisi 2009；Jewitt 2009；冯德正、邢春燕 2011 )。就研究方法而言，研究者开始应用数字技术对复杂多模态语篇进行注解和模拟(Lim 2011；O'Halloran, et al. 2012, in press),并建立多模态语料库，开发多模态检索软件(Baldly and Thibault 2008；Gu 2006 , 2009,顾曰国 2006) 。同时，通过问卷调查、眼动实验、甚至脑成像技术等考察读者对多模态语篇认知的实证研究 也逐步兴起(如 Gidliif, et al. 2012；Mtiller, et al. 2012；孟艳丽 2011) 。本文将简要评述这些进展并指出多模态研究的发展方向。

02

多模态研究理论进展：多学科视角与学科融合

2.1多模态研究的不同视角①

Jewitt (2009)区分了多模态研究的三个视角：社会符号学分析(Kress and van Leeuwen 1996；van Leeuwen 2005),系统功能语 法分析(Baldry and Thibault 2006；O’Toole 1994；O’Halloran 2005)和社会互动分析(Norris 2004 )。笔者认为，这三个视角虽然略有差别，但都属于“社会功能分析"(Bateman and Schmidt 2012) 。同时，Jewitt (2009)忽略了另外两个重要研究视角，即以Lakoff和Johnson (1980)的认知隐喻理论为基础的多模态隐喻研究(El Refaie 2003 ；Forceville 1996；Forceville and Urios-Aparisi 2009)和语料库语言学视角 的多模态文本分析(Gu 2006, 2009) 。多模态语料库研究主要是一种方法论, 因此我们将在第3节“研究方法进展”中介绍。本节我们将简要论述社会功能 视角和认知隐喻视角的多模态理论在近几年的主要进展。

社会功能分析的进展主要包括两个方面:基本理论框架的成熟和研究对象 的扩展。研究对象的扩展主要指从传统的图文语篇分析到对复杂的动态多模态语篇(Bateman and Schmidt 2012；Feng 2012；Tseng 2009)和新媒体语篇 (Djonov 2005；Knox 2009; Tan 2011；Zhang and O’Halloran 2012)的符号学阐释。我们将在第4节中详细论述这一进展。就基本理论而言，近年来研究者解答了多模态分析的两个核心问题，即“什么是模态”和“语言学理论应如何用于分析非语言模态”。很多学者(包括中国学者)对这两个问题有不同见解，例如 Forceville (2009)、Gu (2006)、O'Halloran (2005)等将模态定义为听觉、视觉 等感官模态。在社会符号学视角中，Kress (2010：79)将模态明确定义为“在社会文化中形成的创造意义的符号资源任何模态(如图像、手势、音乐)都是 完整的表意系统,跟语言一样具有形式层(expression plane),词汇语法层(lex- icogrammar)和语篇语义层(discourse semantics) o对模态的界定为准确描述多 模态符号以及不同模态之间的关系奠定了基础。其次，关于语言学理论的应 用,很多学者认为不能将语言学理论应用于非语言模态，因为图像、手势、电影等没有传统意义的词汇与语法。对此，Bateman和Schmidt (2012)提出：

（1）非语言符号没有语言的词汇语法，但有同样的语篇语义系统，因此多模态 分析应采用语篇语义理论，而非词汇语法结构；（2）根据Halliday （1978, 1994）的社会符号学理论，语言与非语言符号都不能被视为一成不变的语义 “编码而是在一定语境下建构意义的“资源”。因此，Kress和Van Leeuwen （1996）的视觉“语法”只是对图像表意资源的系统“描述而非硬性的“规 则” 这一问题的明确为使用语言学理论进行多模态分析与进一步建立多模态 理论体系提供了有力的指导。

认知视角的多模态隐喻理论的发展是近年多模态研究的重要成果。以 Forceville为代表的学者认为，既然隐喻是一种思维和行为方式，那么它的体现 形式既可以是语言，也可以是图像、手势、声音等其他交际媒介（Forceville 1996；Goatly 2007）。El Refaie （2003）通过发表在多模态研究权威期刊“visual Communication（《视觉交际》）上的 Understanding visual metaphor （“ 理解视觉隐喻”）一文，首先将视觉隐喻这一概念从传媒艺术领域引入多模态语篇分析。2009年出版的《多模态隐喻》Forceville and Urios-Aparisi 2009）—书收录了多 模态隐喻研究的最新成果，标志着多模态隐喻理论的正式形成跟社会功能分析的进展一样，该书的主要贡献也可以概括为基本理论框架的成熟与研究对象 的扩展两个方面。就基本理论而言，Forceville （2009：24）明确界定了多模态隐 喻，即“源域与目标域独占不同符号资源或在不同符号资源中占支配地位的隐 喻映射J同时，该书提出了适用于多模态隐喻的工作机制和认知特征。例如， Yus （2009）根据关联理论提出理解语言隐喻和视觉隐喻的共同心理机制，即 '‘感知”、异常指示（ad hoc pointer,读者察觉非常规要素）、视觉-思维界面（读者根据背景知识进行认知推理，建立关联）。对多模态隐喻本质和理解机 制的探讨使其成为隐喻研究和多模态研究中的独立理论体系。就研究范围而言，论文不仅涵盖了平面广告与政治漫画等静态媒体（如Yus 2009）,而且包 括了电视广告与电影等动态媒体语篇（如Rohdin 2009）,以及音乐（Zbikowski 2009）和口语/手势语（MtiUer and Cienki 2009）等符号资源。国内多模态隐喻 研究也正在兴起。例如，赵秀凤（2011）对《多模态隐喻》一书进行了全面评介并系统介绍了多模态隐喻理论的前沿与进展；李毅、石磊（2010）初步探讨了多模态隐喻在教学中的应用；冯德正（2011）从系统功能语法的角度对多模态隐 喻的构建与类型进行了系统阐释。

总之，近年来社会功能与认知隐喻视角的多模态研究都在各自的理论框架内取得了重要进展。正如赵秀凤（2011：1）所指出的，认知语言学和系统功能语言学视角下的多模态研究互为补充，相得益彰。但是，他们之间真正的对话与融合尚未引起研究者的重视，这也是多模态语篇分析今后的发展方向。

2.2多模态研究中的学科融合

多模态语篇分析自开始就面临三个挑战:一是多模态研究者(通常是语言 学者)往往对他们所研究的语篇类型(如电影、绘画)的基本工作机制不够了解，因而产生错误的分析与解读(Forceville 2007：1236),二是对非语言符号的 微观描述常常与宏观层面的社会文化语境脱节(Jewitt 2009：26),三是对非语 言符号的解读主观性太强(朱永生2007：85；Kress and van Leeuwen 1998：218；Jewitt 2009) 。这些问题的解决需要不同学科相互融合，相互阐释。下面 我们简要论述多模态研究在解决以上三个问题上的理论进展。

第一，除了语言学与符号学知识，研究者需要对他们所分析的模态有深入 的了解,使符号学分析基于该模态所属学科的理论并对其有所贡献(Forceville 2007：1237) 。因此，多模态研究具有“天然的跨学科性"(O’Halloran and Smith 2011 ：2)。在多模态研究初期，分析者往往只是用系统功能的框架去分析非语 言模态(如手势、电影)，但对这些模态的基本理论并不了解，更谈不上对该模 态所属学科的贡献。最近几年，研究者开始注重对所分析模态的深入理解，并 能结合其所属领域的最新成果，分析其存在的缺陷并指出多模态分析的贡献。例如，Bateman和Schmidt (2012）的新著《多模态电影分析》包含了对主流的认 知电影分析和结构主义符号学电影分析的评判以及社会符号学对电影研究的贡 献。与此同时，传媒学、认知科学等领域的学者开始使用多模态分析方法对诸 如新闻语篇、广告语篇的建构与解读进行阐释，在一定程度上加强了多模态研 究的跨学科性(如 Lin and van den Hoven in press) 。

第二，多模态研究不仅要从微观上对非语言符号提供详细的描述，更要从 宏观上通过语篇分析系统阐释社会文化现象，解决社会问题(Jewitt 2009：26) 。近年来，研究者开始注重阐释多模态分析的现实意义。一方面，在新闻、广告等公共传媒领域，批评性多模态分析日渐成熟，成为批评性语篇分析的延伸。研究者认为，意识形态与态度操控不仅可以通过语言构建，还可以通过视觉图 像、音乐等更加隐蔽的形式实现(O’HaHoran, et al. 2011：109) 。例如，Kress (2010)重点讨论了多模态交际与社会文化互相改造的关系，如政治民主进程 与媒体环境的相互促进；Tan (2011)考察了多模态电视新闻中人物表征方式与意识形态的关系；Feng和WigneU (2011)探讨了电视广告劝说功能的多模态 叙事构建。另一方面，在教育教学领域，多模态分析一般与教学目的、课程设 计等相结合，注重分析对课堂教学、教材设计的指导意义( Kress, et al. 2001；O’Halloran 2005；顾曰国2007) 例如，Lim (2011)系统对比了不同教师在英 语课堂上身体语言的使用，从而为教师培训提供指导；Liu和Owyong (2011) 分析了化学教材中复杂概念的多模态建构,从而对教师如何解释抽象概念提供了准确系统的元语言。这种实际应用（例如在广告设计，课堂教学中）是多模态研究生命力所在。

第三，关于多模态分析的主观性问题，Kress和van Leeuwen （1998：218） 在分析报纸版面设计时早就指出，“我们的问题是分析理据的缺失，比如，我们如何知道左侧代表已知信息而右侧代表新信”。对此，多模态研究者迄今没有给出解决这一问题的方法。Jewitt （2009：26）仅笼统地指出对包括语言在内的任何符号的解读都离不开语境，但这并不能解决主观性问题。我们认为， 更加客观的解读图像、手势等符号的意义必须基于认知理论、语料库分析或心 理实证研究。这三个研究思路在近几年都有初步尝试。冯德正、邢春燕 （2011）从认知的角度将空间位置和拍摄角度的符号学意义看成基于经验基础的隐喻映射，从而为Kress和van Leeuwen （1996）的视觉语法建立了认知理据。然而，比空间位置更为复杂的是，我们如何确定某个手势、眼神的符号学意义，如何确定我们对多模态语篇的解读是正确的。一方面，可靠的结论要基于对大量语料的系统描述（Gu 2006）。另一方面，多模态语篇的意义可以通过问卷调查、眼动实验、脑成像等实证研究方法得到验证。这两方面研究方法的进展我们将在第3节详细论述。

03

科技发展与多模态研究方法的进步

科学技术，尤其是数字技术的发展使多模态语篇在规模和复杂性上都超过了语言语篇，很难用传统的分析方法处理。正如顾曰国（2006：21）所指出的， 如何把多模态文本所记录的信息提取出来，并进行结构化处理，是当前语言信息工程中的一个难题。因此，分析者必须充分利用科学技术来处理多模态语篇，使多模态语篇分析真正成为科技与语篇的汇合（LeVine and Scollon 2005:1）。近年来，科学技术在多模态语篇分析中的应用主要包括两个方面：（1）多模态语篇注解与语料库建设，（2）多模态语篇心理实证研究。

3.1多模态语篇注解与语料库建设

迄今为止，在多模态语篇分析领域很少有对动态多模态语篇的全面分析, 因为对各种意义载体的手工转录，即把动态图像转换成静态图像写入文档、打印等十分耗时。近年来，多模态研究者在使用ELAN, Anvil等注解软件的同 时，也为多模态语篇分析开发专门的注解软件。后者的最新成果是新加坡国立 大学 Kay O’Halloran 等研发的 Semiomix （ 详见O’Halloran, et al 2012, in press）。Semiomix的动态转录与缩放功能实现了转录单位的灵活性，它可以对 转录图像进行高达1024倍放大与100倍缩小。如图1所示，Semiomix注解界面包括（A）视频与音频模块，（B）视频播放器，（C）系统目录浏览器，（D）回放控制，（E）功能按钮，和（F）注解区。它可以实现多模态语篇特征与意义发展的动态分析，并具有脸部识别、镜头识别、搜索等功能。

软件的应用促进了多模态语料库的建立。在多模态研究领域，Baldry (Baldry and Thibault 2008)建立了基于XML的在线多模态检索器Multimodal Corpus Authoring(MCA),可以实现对多模态数据的搜索、注解、定量分析等。但是，国外多模态语料库研究仍停留在理论阶段，迄今为止尚没有成熟的多模 态语料库与基于大型语料库的多模态研究。在这方面，中国学者顾曰国建设的现场即席话语语料库(SCCSD)及其提出的基于角色的建模语言(agent-oriented modeling, AOM)是近年来语料库视角的多模态研究的最显著进展(如Gu 2006, 2009;顾曰国2006;详见www.mukirnodalgu.com) 。首先，他建立了包括活动话语语料库、幼儿成人语料库、网上良师语料库在内的大型多模态现场即席话 语语料库。语料库分析可以为系统阐释多模态语篇的特征和多模态意义的社会 构建提供实证依据，是解决多模态分析主观性等问题的重要方法(见第2.2 节)。其次，顾曰国(2006)提出的基于角色的建模结构可以对多模态语篇进行 基于XML的切分与标注，并为其中的社会活动与角色关系建立数据库模型。计算机建模这一新思路实现了人文科学与计算机技术的高度融合,不仅为处理 多模态语篇中复杂的意义建构提供了有效方法，而且在多模态教材设计、教师培训、网络课件开发等领域具有广阔的应用前景。

与计算机建模类似,研究者开始利用可视化软件模拟动态语篇的语义规律 以及各模态之间的复杂关系。在近几年研究中，一方面，自然科学与社会科学 中的可视化软件被应用于动态多模态语篇分析。例如，Lim (2011)使用生物学领域的cytoscape软件模拟了英语课堂中教师手势与身体移动的轨迹；Zap- pavigna (2011)介绍了如何用可视化技术模拟多模态语篇中意义的动态构建与 发展。另一方面，以Kay O’Halloran, Lev Manovich等为代表的学者致力于开发用于多模态分析的可视化软件。例如，Manovich (2011)用其所开发的软件 Visual Culture对1923年至2009年的4535期《时代周刊》封面的颜色、饱和 度、亮度进行了可视化模拟，从中可以清楚看到近百年来封面颜色、人物特征等的发展变化(图见 http://www.flickr.com/photos/culturevis/4038907270/in/set- 72157624959121129/ [2013 年 12 月 9 日登录])。Feng (2012)用 Kay O’Halloran 与Lev Manovich合作开发的Visual Sense对电影《角斗士》中主人公情感、社会地位的曲折发展过程及拍摄角度的变化进行了可视化模拟，如图2所示：

3.2多模态语篇心理实证研究

近年来，在多模态语篇符号学分析迅速发展的同时，认知心理学视角的实 证研究也逐渐兴起。除了我们第2.2节所指出的分析主观性问题，Holsanova (2012：252)指出了进行实证研究的另一理据，即阐释读者对多模态语篇的认知 特征及背景知识造成的个体差异。最新的研究成果是利用眼动实验(eye-tracking)考察读者对多模态视觉语篇的认知。《视觉交际》期刊2012年第3期专栏介绍了多模态研究的新方法，其中大部分为眼动实验分析。该专栏标志着多模 态研究从只关注“意义创造"到同时关注“意义接受”的转变，与传媒研究、心理学等社会科学接轨。例如，Boeriis和Hobaix)(2012)通过眼动实验考察了读者处理视觉图像的认知机制；Bucher和Niemarni (2012)通过眼动实验、知 识测试和访谈考察了观众对幻灯片演讲的注意力分配和理解与模态之间的关系；Gidlof等(2012)通过问卷调查、眼动实验和访谈分析了多模态网络广告 对瑞典青少年的影响。国内也有学者开始使用调查问卷、眼动实验等进行多模态分析。例如，孟艳丽(2011)用眼动实验分析了英语培训广告中图像-文本关系的复杂性与读者兴趣之间的关系。实证研究不仅加深了我们对多模态语篇解读的认识，而且为进一步探讨多模态语篇的意义建构提供了客观理据，是多模 态研究发展的主要方向之一。

04

多模态研究对象的扩展

近年来，研究者将社会符号学等理论应用于更多模态的系统分析，例如三维空间(Stenglin 2011; Ventola 2011),副语言特征(Hood 2011；Knight 2011),图画书与漫画(Feng and O^HaUoran 2012；Painter, et al. 2012),现场即席话语(Gu 2006, 2009)等。多模态教材和课堂教学分析在理论和研究方法 上也更加系统深入，如顾曰国(2007),张德禄(2010), Chen(2010) , Lim (2011), Liu和Owyong (2011)等。而最具有开拓性的进展是多模态电影分析 和新媒体分析从无到有的发展。限于篇幅，本节我们主要讨论电影与新媒体两种复杂多模态语篇的符号学分析。

4.1多模态电影分析

由于电影语篇复杂性，对其意义构建的系统社会符号学分析刚刚起步。该领域最显著的成果是《多模态电影分析)(Bateman and Schmidt 2012) —书的出版，标志着多模态语篇分析正式进入电影研究领域。作者强调，多模态电影研 究不能简单的用语言学理论进行电影分析，而要对电影研究有理论贡献，弥补其它视角的电影理论的弱点。他们正确地指出当前电影研究的最大问题是对电影意义的文化认知解读并非基于对电影文本的系统符号学分析，导致解读的主观性太强。因此，他们提出了系统分析电影意义构建的符号学框架。他们主要关注组篇意义，即不同镜头组成连贯整体的语篇机制。与之相关，Tseng (2009)用系统功能的衔接理论分析了电影中人物表征所形成的多模态衔接链。多模态电影分析的另一重要进展是Feng (2012)对电影中评价意义多模态构建 的系统分析。他模拟了评价意义在电影叙事发展过程中的动态韵律并提出评价 韵律吸引观众情感的工作机制。该研究是融合符号学视角的语篇分析和认知视 角的实证研究的初步尝试。这种跨学科的多模态电影分析对社会心理学视角的 传媒研究具有重要意义。例如，如果能够系统阐释电影或者电视广告中吸引观 众的语篇机制，那么我们就可以超越单纯的学术分析，对电影与广告更有效的设计提供明确的指导。

4.2新媒体研究

数字技术的迅速发展使网络新闻、在线交际、网络游戏等新媒体在社会生活中占据越来越重要的地位。网络媒体的复杂性在于语言、图像、视频等资源 不仅呈现在静态的页面上，而且通过超链接实现多层次的复杂结合。研究者已 经开始探讨网络媒体中意义的多模态构建、不同模态之间的衔接等问题。Lemke (2002)最早用符号学理论分析了网站超文本中图像和文字的关系。近年来，多篇博士论文对网络媒体意义的多模态构建进行了系统研究。例如, Djonov (2005)系统阐释了超链接、文字、图像等资源之间的关系；Knox (2009)从社会符号视角对《曼谷邮报》、《人民日报》、《悉尼先驱早报》三家报 纸的网络主页进行了历时分析；Tan (2011)系统分析了布隆伯格、福克斯商业新闻、路透社等媒体的在线商业新闻中意义的多模态构建；Zhao (2011)分析了在线互动学习资料中的图像-文字关系；Zhang and O’Halloran （2012）用视觉语法理论对比了清华大学与新加坡国立大学网站设计的文化差异。可以预见，多模态研究会很快扩展到对博客、电子商务网站、网络游戏等网络媒介意 义构建与交际功能的系统阐述。

总之，迄今为止，多模态研究的对象已经几乎囊括了人类所有交际媒介和 符号形式。虽然电影语篇和新媒体的多模态分析刚刚兴起，但研究者都对其所 研究模态的工作机制有深入了解，并能将文本分析与广义的社会文化应用或读者的认知特征相结合。这种科学的分析模式为多模态研究在广度和深度上的继续发展奠定了基础。

05

结束语

经过近二十年的发展,多模态语篇分析已经远远超越了将功能语言学理论简单的引入图像、手势等非语言符号分析。纵观近五年来的研究成果，一方 面，跨学科的多模态研究理论体系逐步完善并被应用于阐释更复杂的多模态语篇；另一方面，以科学技术为基础的多模态注解、可视化模拟与实证研究逐步兴起。本文系统梳理了多模态研究在基本理论、研究方法和研究对象三个方面的最新进展，以期能为中国多模态研究与中国话语分析的进一步发展做出贡献。

多模态语篇分析是一个开放的、具有天然跨学科性质的研究领域，允许从不同的层面与角度进行研究。因此，展望未来几年的发展方向，多模态研究的跨学科理论体系会进一步完善；多模态语料库研究与实证研究会更加深入；多模态教学语篇、新媒体语篇、现场即席话语等研究会不断发展并更加注重在教育、传媒、语言工程等领域的实际应用。

荐

网络科学新闻的多模态语篇研究

荐

多模态语篇的连贯构建研究

荐

多模态警示语的整体意义建构

编者按

参考文献略，欢迎查阅《当代语言学 》2014年第1期纸质原文。

本文编辑：上海理工大学 孙雨

本文审核：吉林大学  王峰

郑重声明：本公众号推送的文章不能代表本公众号立场。本公众号推送的学术会议、博士招生不负责对接解释。有任何疑问请按照推送内容的官方联系方式对接！如果学术会议、博士招生有任何官方调整，责任不在我方。我们优先推广免费的学术会议、讲座、研修等项目。收费项目与商务合作需支持劳务费，请联系[e-mail] 商谈。

欢迎加入语言学通讯读者群，添加时请自报实名，单位和研究方向

语言学及应用语言学加群联系人：sflsy0803 孙老师

文学与翻译加群联系人：Nicole2397471433 李老师

继续为各位提供有益的学术资讯

长按二维码赞赏语言学通讯

9万学者关注了

○

语言学通讯

○

科研助力|学术观点|专著推荐|期刊动态|教师研修|招贤纳士|博士招生|读书小札

请留下你指尖的温度

让太阳拥抱你

记得这是一个有情怀的公众号

点“在看”给我一朵小黄花