张德禄 赵静｜多模态话语分析是否需要分析多模态语法？
关注应用语言学研习，一站式获取海量学术资讯
本文来源：语言学通讯
多模态话语分析是否需要分析多模态语法？
张德禄 赵静
同济大学外国语学院
张德禄教授
同济大学教授、博士生导师。中国功能语言学研究会副会长、中国语言与符号学研究会副会长、中国文体学会副会长、中国英汉语篇分析研究会副会长、中国翻译学会理事。北京师范大学、西南大学等多家高校兼职教授，享受国务院特殊津贴。研究方向：系统功能语言学、文体学、话语分析、符号学、外语教学。
语言学通讯推选文章
摘 要：本研究通过综述前人的研究成果，提出了在多模态话语分析中是否需要分析多模态语法的问题。根据语法的特点，本研究指出，在多模态话语分析中是否需要分析语法是由多种因素决定的。这些因素包括:1)进行多模态语篇分析的目标; 2)相关模态或符号系统的特点; 3)多模态语篇分析的特点。之后本文用实例说明了多模态话语组成模式，最后提出多模态话语分析的具体步骤。
关键词：多模态语法; 话语分析; 模式; 程序;
文献来源：张德禄,赵静.多模态话语分析是否需要分析多模态语法？[J].当代修辞学,2021(2):26-36.
多模态语篇分析的进展与前沿 | 冯德正 张德禄 O'Halloran,《当代语言学》2014 (1)
01
引言
从系统功能语言学的角度讲，多模态话语分析理论是基于韩礼德(M.A.K.Halliday)的“语言是社会符号”(Language as social semiotic)(Halliday 1978)的论断发展起来的。他说:“语言学是一种符号学，是研究意义的一个方面。……但在任何文化中，在语言之外确实还有许多其他表意方式，包括艺术形式，如绘画、雕刻、音乐、舞蹈等，和其他没有归在艺术中的文化行为方式，如交流方式、衣着方式、家庭结构等。”(Halliday&Hasan 1989:2)既然语言是一种符号系统，那么其他符号系统就和语言一样有表达意义的功能。这样，我们自然就会想到，我们是否也可以像研究语言那样研究其他模态的语法呢?
罗兰·巴特(Roland Barthes)在《图像的修辞》(The Rhetoric of the Image)(Barthes 1977:32-51)一文中研究了图像的意义和修辞效果。他提出了“图像词汇”概念。他认为，单纯的图像本身意义可以有多种解释，是多义性的，需要找到合适的方法来确定它的意义，其中最主要的手段是附加语言信息。他提出语言信息有两个作用:1)定位(anchorage)，把图像流动的多义性固定为确定的意义;2)转述(relay)，对已有的图像意义附加解释、说明等。他还认为图像的一系列结构项目之间具有聚合关系和组合关系，但是并没有从语法的角度研究图像和文字的关系。
欧图尔(M.O'Toole 1994)在其《展示艺术的语言》(The Language of Displayed Art)一书中开始尝试研究多模态语法。作者把展览的艺术品当作语言来进行研究。借用系统功能语言学理论中语言体现三种意义的思想，认为展示艺术品也同样实现三种意义:表现意义(representational meaning)、情态意义(modal meaning)和组篇意义(compositional meaning)，分别对应于Halliday的概念意义(ideational meaning)、人际意义(interpersonal meaning)和语篇意义(textual meaning)。另外，仿照Halliday对语法单位的级阶划分，他把艺术语篇分为不同的级阶，包括作品(work)、情节(episode)、图形(figure)、成员(member)，它们之间是包含与被包含关系。同时，根据不同级阶的艺术语篇单位，他列出了体现不同语篇单位的具体因素，或者称子系统。尽管如此，从多模态理论建构的角度讲，这个分析也存在问题。首先，语篇和语法的关系没有分清楚，他划分的这些不同级阶的单位不清楚是语篇单位，还是语法单位;其次，各个因素的系统特征不明确，即各个因素可以自成系统，但其系统内部有哪些特征，特征之间什么关系还不清楚;再次，他并没有为不同符号系统建立相应的语法系统。
克莱斯和凡·莱文(Kress&van Leeuwen 1996,2006)根据视觉符号如何体现三个元功能，即概念功能(表现功能)(representational)、人际功能(交流功能)(interactional)和语篇功能(组篇功能)(compositional)，发展了视觉语法(visual grammar)。他提出了体现表现意义的叙述表现(narrative representation)语法以及概念表现(conceptual representation)语法，类似于语言的及物性系统;体现人际意义的交流语法，包括情态(modality)、视点(angle)、距离(distance)等;和体现语篇意义的组篇语法，包括信息值(information value)、突显(salience)、框界(framing)等。Kress&van Leeuwen (1996,2006)的这一研究具有开创性意义，第一次把语言语法扩展到视觉领域，形成一个语法体系。
颜色作为一个符号模态，也具有自身的语法。从概念功能开始，色彩可以清楚地用来表示具体的人、地点、物，以及人、地、物的分类、更概括的思想等。例如，国旗的颜色表示特定的民族和国家，汽车公司越来越多地使用特定的颜色或配色方案来表示其独特的地位。颜色也用来传达“人际”意义，能使我们实现“颜色行为”。它可以被用来对彼此做事情，例如通过“权力伪装”来打动或恐吓，通过将障碍物和其他危险物涂成橙色来警告人们，甚至用来驯服他人。位于西雅图的海军惩戒中心发现，“适当地应用粉红色，可以在15分钟内使敌对分子和好斗的人放松”(Lacy 1996:89)。最后，颜色也可以在语篇层发挥作用。正如在许多建筑中，门和其他部件颜色不同，这一方面区分了不同的部门，另一方面在这些部门内创造了统一和连贯性，因此颜色也有助于创造语篇的连贯性。例如，在西班牙语教科书Pasos(Martín&Ellis 2001)中，每章的章节标题和页码都由不同的颜色表示，所有章节的标题(Vocabulario en casa,Gramática,etc．)都呈现规律性的变化。
尽管如此，克莱斯和凡·莱文的研究也存在问题。首先，在层次的确定、详尽程度的选择和语法如何用于分析语篇方面都没有说清楚，所以大家批评该研究:1)主要是印象性的(impressionistic)，具有主观性;2)对多模态的研究主要是借用语言学的理论和方法，没有建立起自己独立的理论和方法(Jewitt 2009:26)。对于第一个批评，实际上是因为对于语言之外的模态，我们没有为其建立起其词汇语法系统的结果。如果没有一个明确的系统做基础，选择就让人感到是任意的，以感觉为基础的。对于第二个批评，则是从事多模态研究开始阶段的必经之路:由于我们根本没有研究语言之外的其他模态的理论和方法，借用语言学的方法是一个捷径。而且由于它们和语言在实现社会交际目标方面的一致性，从功能的角度研究这些系统也是有理据的。
马辰(Machin 2007)从社会符号学的角度探讨了多个模态如何体现意义的功能。他认为，不同的模态具有不同的系统特征。可以分为:两个层次的系统，没有语法层，意义和实体是一一对应的，即:符号→意义;三个层次的系统，如语言，它需要一个词汇语法，即:符号→词汇语法→意义。对于有词汇语法的符号系统，我们才需要为它建立一个词汇语法系统。所以，从马辰(2007)的角度讲，多模态语法实际上是隐喻性的，也就是说，它像语法，因为它能体现意义，至于它是不是真正的语法，还需要进一步研究。
另外，马辰还研究了图像、颜色、书写符号、布局等是如何体现意义的，以及体现意义的主要因素。这应该是语法研究的范围。这里我们需要区分形式语法和功能语法，因为不是只从形式角度的研究才是语法分析。在图像是否有语法的问题上，马辰认为，把现在已经发现的一些特征视为语法还为时过早，还需要继续研究，还有许多问题需要搞清楚。例如，图像很难自然地划分为成分;符号规则难以确定，符号的任何部分都可以同时得出一些规则，或者没有规则;图像不必要通过语法来表达意义，图像符号的编码不都是在第一个层面上，即不是在字面意义层面上。由此可见，马辰虽然没有设计出新的多模态语法，但给我们发展这种语法提供了许多有意义的启示，例如，不同层次的符号系统、不同类型的符号系统等。
马辰的结论只能说明，现在研究出来的“多模态语法”的根基还不牢固，还需要继续研究，但不能否定多模态语法的存在。有两个方面我们还没有研究清楚:一是每个符号背后的符号系统，包括它们的语法系统;二是符号系统的意义范围和符号之间的关系不清楚。总言之，对多模态语法进行研究是十分必要的。
02
什么是语法
现代朗文英语词典(Longman Modern English Dictionary)记录了语法的两个定义:1)相对于单个语言，语法是指“研究某个语言的系统性规则、形式、曲折变化和句法以及正确使用它们的科学”;2)相对于所有语言，语法是指“所有语言的形式系统和句法用法”(Watson1968)。这两个定义应该是语法最基本的意义。由此可以看出，语法有三个基本特点:1)以结构为基础，是对结构的研究;2)是一个形式系统:是对语言形式的阐释，可以从功能、形式、认知等不同的角度进行研究;3)是对结构中某个成分的作用的解释。由此可见，语篇语法(text grammar)是语法的隐喻用法，并不是真正意义上的语法，因为它是对语篇结构的研究(语篇结构是意义结构)，不是对语法结构的研究。
03
是否需要分析多模态语法的决定因素
在多模态语篇分析中是否需要分析语法由多种因素决定。这些因素包括:1)多模态语篇分析的目标;2)模态或符号系统的特点;3)多模态语篇分析的特点等。
3.1多模态语篇分析的目标
进行多模态语篇分析可以有不同的目标和目的，包括:1)理论建构，探讨非语言符号及其系统的稳定的内部特征;2)解决实际问题，即解决一个实际或实践性问题;3)从不同的角度研究，例如功能、形式、认知、心理等。
3.1.1理论建构
另外，作者(Zhang 2017)曾对各类符号的名词性特征进行了研究，发现符号的名词性特征实际上形成一个连续体，不同类型的符号具有不同程度的名词性特征(见表1)。如认可了名词的存在，在三个层次的符号系统中，就可以确定语法的存在。
在探讨语言与非语言模态的配合时，要探讨语言和非语言的语法是如何共同体现意义的，同时，还要探讨其他模态的形式特征与语言语法的对接问题，所以，探讨在语法层面的对接是必要的。再看下面这个例子(图3):
图3由两个图像语篇片段和两个书面语篇片段组成，还有一些孤立的词语和表达式。图像语篇片段和书面语篇片段具有不同的功能。图像语篇片段清晰、生动、鲜明地展示了部队从一个区域到另一个区域的运动。但是，他们不能显示具体的信息，如军队的行动和在不同时间的战果。这要由书面语篇片段来补充。第一个语篇片段由一个复句实现，通过提供关于海湾战争的背景信息来增强和修饰较大的图像语篇片段，因为在图像语篇片段中没有表明以前的攻击行为。第二个语篇片段由一系列复句体现，主要对较大的图像语篇片段进行详述，它表现了伊拉克部队如何进攻，以及盟军如何给予还击。需要进一步解释的是:单独的词和词组不能独立起作用，而是作为多模态话语结构的成分(分类过程)，或作为图像语篇片段的成分。在图像语篇语法中，它们充当了结构成分，但同时也提供了关于结构终点的更多信息(见图4)。
图像语篇片段和书面语篇片段是多模态语篇的主要组成部分，其中较大的语篇片段由行动小句实现，表明本文的主要内容:伊拉克军队对卡夫奇的进攻;较小的图像语篇片段由相似的行动小句实现，为进攻行动提供了背景信息。孤立的词和词组实际上和图像语篇整合为一体，作为实现图像语篇片段的行动过程和分析过程的成分。
图3两个书面语篇片段具有相似的及物性结构(主要是物质过程)，但在多模态语篇中却有不同的功能。第一个语篇片段由一个复句体现，通过提供关于海湾战争的背景信息来增强图像语篇片段，因它表明了图像语篇片段中以前的进攻行动。第二个语篇片段由一系列复句体现，对较大的图像语篇片段进行详述，主要说明了伊拉克部队如何进行攻击，以及盟军是如何给予反击的。四个语篇片段与词和词组之间的关系可以如图4所示。需要进一步解释的是，孤立的词和词组不能独立起作用，而是作多模态语篇的成分(分类过程)，或作图像语篇片段的成分。
图3由两个图像语篇片段和两个书面语篇片段组成，并有一些独立的词语和表达式。图像语篇片段只表示行动的主要方向，即从一个地方到另一个地方的运动。书面语篇片段清楚显示详细的行动。独立的词、词组与图像语篇片段整合为一体，作为实现图像语篇片段的行为和分析过程。所有的小句，无论是书面的还是图像的，都是物质或行动过程，突出表现了战争的特点(参见表2)。
我们可以说，当多模态语篇由不同模态的语篇片段组成时，多模态语篇可以用以下方式进行语法分析:1)找出那些不同模态被整合成同一语法结构中的模式，无论是语言还是视觉的;2)分析每个语篇片段的语法，发现由特定模态体现的语篇片段的语法模式;3)把不同模态体现语篇片段的语法模式联系起来，发现它们是如何相互联系的。
3.1.3从不同的视角分析
到目前为止，多模态话语研究在语言学领域主要是从功能(Kress&van Leeuwen 1996,2006;O'Halloran 2004)、认知(Forceville 1996;Forceville&Urios-Aparisi 2009)和语用(Mubenga 2009)等视角进行的。在其他领域，如计算机、医学领域，也有从形式角度进行研究的，如图形语法(graph grammar)(Ehrig et al.1983)，指把语言形式语法延伸到研究图形结构上，如图形、地图等。大部分多模态话语研究是从功能的角度进行的，并且已经证明多模态语法研究的必要性和有效性，而从语用的角度研究，似乎刚刚开始，所以，这里主要从形式和认知角度进行研究。
从形式的视角分析，核心是找到模态的形式特征，然后分析其是否有词汇语法特征，从而为它建立词汇语法系统。例如，图6是一个小型用PASCAL类语言编辑的编程语言句法图。这个图形是计算机程序图形，具有稳定和固定的特征，又是模拟语言的形式语法编写的，所以具有形式语法的某些特性。但由于它是对整个计算机语言语篇的描述，又相似于语篇语法。无论如何，找到程序运行的句法轨迹对于这个学科领域是有效的。
从认知的角度分析，多模态语法在多模态语篇分析中基本不用，主要从概念化及投射等角度进行分析。本文以赵秀凤、冯德正(2017)的“多模态隐转喻对中国形象的建构”为例来看从认知的角度对多模态语篇的分析。从认知的角度研究多模态语篇主要以多模态隐喻和转喻为核心，主要是在语篇层面探讨多模态隐喻现象及其功能。例如，在这篇文章中，可以识别出11个“根源域”(不包括转喻或隐喻链中的次源域)，它们分别是“中国领导人”“中国地图”“人民币”“中国红”“五星红旗”“长城”“熊猫”“龙”“孔明灯”“脸谱”“植物”。其中，4个源域:“长城”“国家领导人”“熊猫”和“龙”呈现为转喻和隐喻同体，在转喻指称中国身份的同时，自身作为独立的隐喻源域，同体内部激活转喻和隐喻互动，构建意义(见图6)。这样，同一幅漫画往往涉及多个隐喻、转喻，构成系列转喻链和隐喻丛，但都没有涉及多模态语法的研究。
3.2模态或符号系统的特点
模态系统千差万别，它们之间的关系难以确定。如果我们能够为每一个模态建立一个语法系统，就能够以语法为基础把各个模态联系起来，并据此探讨它们之间的协同、互补、交叠等关系。
3.2.1不同层次的符号系统
首先，模态要建立在一定的物质基础之上，如交通信号灯的物质基础是灯光和颜色;口语的物质基础是声音。在物质基础与符号意义之间总要有一定的关系。这种关系就是模态的形式系统。这样，模态可分为两种:两层符号系统和三层符号系统。两层符号系统，即符号的物质实体和符号的意义是一一对应的，如交通信号系统。由于符号的意义和符号的物质实体体现的符号本体是对应的，符号的形式特征只表现为词汇，成为冗余的。例如，在选择[停]的过程中，首先选择的是媒介红色，但一旦选择了媒介红色，就同时选择了词汇“红色”，同时选择了“停止”意义。从这个角度讲，我们没有必要为它建立一个结构语法或功能语法，但需要描述它的系统性。
但如果某个符号系统的符号实体和意义各自有自己的系统，那就需要另一个系统把它们联系起来，这就是词汇语法系统。例如，语言是三个层次的系统。媒介系统包括音系系统和字系系统;词汇语法系统包括词汇和语法两个系统。意义系统是由概念意义、人际意义和语篇意义三个意义成分组成。这三个层次系统各自是独立的，选择了媒介系统不等于同时选择了词汇语法系统，而是要重新进行选择。对于三个层次符号系统，我们有必要分析它们的语法系统。这样，如果要对某个模态系统进行描述，首先我们需要分清它是两层次的模态系统，还是三层次的模态系统，然后探讨他们的词汇语法系统。同时，还应该为它建立媒介系统，因为仅仅为它建立词汇语法系统是不够的。
3.2.2不同类别的符号
在多模态语法建构中，是否需要为不同类型的符号系统建构不同特点的语法系统是第二个需要研究的问题。皮尔斯(C.Pierce 1985:34-42)把符号的类别归纳为三个类型:图像(icon)，图像符号的基础是它的能指、所指的相似性(similarity);索引(index)，索引符号的基础是它的能指、所指的关联性;象征(symbol)，象征符号的基础是在能指和所指之间存在一种约定俗成的规定，一种“定律”(law)。
符号的类别似乎和是否需要建立语法系统无关，无论图像符号、索引符号还是象征符号都可以是两个层次的符号系统，也可以是三个层次的符号系统。但从符号的识别和解释的角度看，图像符号的基本特点是相似性，而相似性的识别主要是在感觉和直接识别的层面上。也就是说，对这类符号的识别和解释可以不通过语法，直接通过感觉即可。
例如，一张照片是一个符号，照片上的图像和某个人、某个场景或者某个物体相似，释者会把它解释为那个人、那个场景，或者那个物体，不需要通过语法来解释。至于是否为这种符号系统建立语法使理解更加精确、有规律可循，或者有利于与其他符号对接和联系，则是需要进一步研究的问题。对于索引性符号，识别的重点是发现关联性。例如，“冒烟了”可以解释为“着火了”。烟和火的关系是因果关系，有火才产生烟。然而具体的识别过程还要复杂得多。“冒烟”可以表示“做饭”，或“有人在这里”。索引性要靠推理，通过思考把它们的关系建立起来。如许多破案线索的推理过程。如果是三个层次的系统，则需要建立结构(功能)语法系统，从而把解读的过程规则化。象征符号的能指和所指之间没有自然的联系，是通过人约定俗成的行为和习惯形成的。例如，通过技术手段，交通信号通过红灯、绿灯、黄灯来表示;通过多年的习惯形成，如语言;通过立法，用某种旗帜代表其国家，用某种花代表其城市，用标志代表不同的警种或者兵种。这种符号系统是建立多模态语法的理想符号系统，因为它们无论是从直观上，还是从推理上都没有办法把两者联系起来，唯一的办法是通过学习认识能指和所指的象征关系。即使是能够认识这种关系，如认识某个语言的词汇，但仍然不能解释它们的意义时，就需要通过语法把媒介和意义联系起来，把符号媒介通过语法解释为有意义的符号或符号组合。当需要多个符号同时出现组成一个新的更大的符号或者符号组合时，仅仅认识词汇是不够的，还需要语法把选择的符号组成一个有意义的符号组合。
综上所述，对于任何类别的符号系统，如果是图像性的，就可以通过相似性直接识别和解释，一般情况下不需要为它建立结构(功能)语法系统。这样，需要建立语法系统的符号系统就只有具有三个层次的索引符号系统和象征符号系统。
3.3多模态语篇分析的特点
当我们谈论视觉设计语法时，我们假设不同模态在词汇语法层面是互补的。但是，如果仔细研究多模态语篇，可以发现，结果并非总是如此，与之互动和互补的大多是小语篇或由不同模态实现的语篇片段(成分)。这样，我们至少可以识别多模态语篇分析中不同类型的组合模式。
在图7中，图像表示一个多模态语篇(不是句子或小句)，它由三部分组成:1)饮水图像;2)书面词语;3)水瓶图像。每一部分都是通过某种逻辑语义关系相互关联的小语篇(或称“语篇片段”)。在图像部分，男人似乎试图从水池里喝水(这是可以看到的)，而女人则面带微笑地看着他。在语篇部分，“纯粹的活力”可以被看作是文章的标题，它显示了水的来源和矿泉水所含的健康成分。然后是正文，由七个小句组成，主要是描述水的质量和来源。水瓶图像本身可以独立地作为一个“单字”语篇，因为它代表一个真实的实体。另外，它还包含瓶子上的品牌和产品介绍，这是水瓶的嵌入型语篇。三个“段落”或语篇片段连接在一起，形成一个多模态语篇，其中每一个语篇片段充当语篇中的一个组成部分，并有自己的功能。水瓶语篇片段显示了广告产品的标志;外部的文字和图片一起显示产品的质量和功能。图像语篇片段通过表现这样的事件来吸引观众的购买欲望，而书面文字则通过增加更详细的关于水的质量、用途和来源的信息来补充它。
在图8中，词汇部分似乎与视觉结构的成分相结合，用以实现多模态语篇。从图像上看，澳大利亚地图分为六个部分，每一部分占据一定的比例。如果它是一个小句，它是一个及物性的分析过程。词汇部分可以看作是一系列具有相同结构的关系过程(标记—过程—价值):奋斗者(strivers)占23%;适应者(Adapters)占13%;成功者(Achievers)占27%;有压力者(Pressared)占13%;传统者(Traditional)占14%;其他人(Unassigned)占10%。因此，这个多模态语篇被视为由一个图像语篇片段和六个语言片段组成的，每一个都被视为一个单独的成分。语言片段首先和图像语篇片段的一个独立成分相关，然后相互联系形成互文衔接。
一个二维图形单位中的意义实际上与语言中的一系列小句的意义相当。由于语言是线性的，所以二维图像中的部分可以成为语言语篇的一个整体。这表明不同的符号系统可能有不同的语法模式。语言有线性语法，而图像有二维语法。在这个意义上，在多模态话语分析中，我们应该首先从多模态语篇中区分语言片段与图像片段;然后，根据语法分析每个片段(语言或图像)的意义。如果可行，比较不同模态的片段的意义，看看它们是如何协调、合作和相互关联的;如果不可行，将它们整合到另一种模态的语篇片段的语法单位中，反之亦然，然后作多模态分析。
事实上，大部分的多模态语篇都是由单模态语篇片段组成的。只有当一个模态所实现的片段不能独立地作为小句或小句结构时，多模态语法才能从另一种模态中吸收成分构成一个完整的小句或小句结构。
语言部分可以根据情景语境的需要通过词、词组、从句、句子或一系列句子来实现。同时，图像部分可以在简单符号系统中通过一个词符号或一系列符号来实现(如交通信号语篇)，或一个复句符号，或一个多符号系统中的一系列复句。
04
结语
多模态语篇分析是否需要同时分析多模态语法受到多种因素的制约。首先，分析的目标是一个关键因素，如果不分析多模态语法即可达到既定的研究目标，就可以不分析多模态语法。第二，多模态语篇中不同符号所在的层次和结构，如果在语篇层面，则首先在语篇层面分析它们各自的功能和作用，然后看是否有必要再在语法层面进行分析;如果涉及语法层面，则需要同时分析多模态语法。第三，多模态语法分析的理论视角，有些研究视角提倡研究多模态语法，如系统功能语言学，有些则不提倡，如认知角度等。
当然，还可能有其他因素需要考虑，这个研究还是初步的，还需要进一步深入的研究。
如需购买国际原版学术著作，可以联系我们询价，支持对公转账，可以制订合同，开具电子发票和购物清单。订购联系人：孙老师 18321711365（电话同微信）
编者按
参考文献略，欢迎查阅知网或《当代修辞学》2021年第2期原文。
本文编辑：上海理工大学 孙雨
本文审核：吉林大学 王峰
公众号外联：我们优先推广免费的学术会议、讲座、研修等项目。收费项目与商务合作需支持劳务费，请联系dianzishu@126.com 商谈。
欢迎加入语言学通讯读者群，添加时请自报实名，单位和研究方向
语言学通讯加群联系人：sflsy0803 孙老师
相关文献延伸阅读（研习人指引）
本平台友情整理相关文献索引链接，
感兴趣的老师、研友可自行选购
精选推荐
点击左下方阅读原文发现更多语言学好书！
扫码关注，即可获取最新入群二维码
目前已有2.53万语言文学、国别区域
研习者关注↑↑↑本公众号，
欢迎加入我们，交流分享，共同学习！