多模态话语分析：以“疫情防控外语通”为例
The following article is from 美国学与国际研究 Author Americanstudies
【在线讨论】张伟年、段宛云、吴悠也、王钰茹
多模态视角：“疫情防控外语通”分析
copyright@作者授权本公众号，仅代表作者本人观点
随着当今社会信息化和多媒体技术的发展，人们的交流不再以单一的文字为主，而是加入了图片、声音、动画、色彩等多种表达方式。模态指“可对比和对立的符号系统”，包括语言、音乐、图像等；媒体则是“符号分布印记的物质手段”（胡壮麟 2007）。多模态话语指“运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象”（张德禄 2009），可以分解为同时表达意义的多个单模态（Bernsen 2002）。判断一种话语是否为多模态话语有两种方式：一是看是否使用了至少两种模态，二是看是否包括至少两个符号系统（朱永生 2007）。根据Royce提出的符际互补理论（Royce 1999，2002，2007），多模态语篇中不同符号之间可以通过纯理特征、人际特征和语篇特征相互关联。在实践当中，各个模态也可以从效力、读者群等方面相互补充、相互增强，构成一个整体（成文&田海龙 2006）。
多模态话语分析在20 世纪 90年代蓬勃发展，近年来在国内外都成为研究的热点。目前多模态话语分析可分为系统功能语言学多模态话语分析、社会符号学、多模态隐喻分析、多模态互动分析、会话分析、地理符号学、多模态民族志、多模态语料库分析、多模态感知分析等不同的研究流派（潘艳艳&李战子 2017），它们之间互有联系，但在侧重点上也有不同。
社会符号学流派以Kress和Van leeuwen（1996，2001，2006）为重要代表。他们延续了Saussure（2011）的符号学语言观，以系统功能语言学为基础，将语言、图像、音乐、影像等都视为符号资源的一种，将语法延伸到图像分析当中，并提出了“多模态”这一术语。系统功能语言学认为语言具有三大元功能：概念意义、人际意义和语篇意义（Halliday & Matthiessen 2004）。其中，概念意义用于传递信息，表达对世界的意识；人际意义表明说话者的情感态度、动机和推断等；语篇意义是指将不同的语言成分组合成语篇，实现连贯性的功能。社会符号学将这三种功能进行了拓展，提出了视觉语法理论体系，主张从再现意义、构图意义、互动意义三个方面来研究多模态话语。（李战子2003）
再现意义通过叙述过程和概念过程实现。其中包含矢量元素的为叙事再现，包括行动过程、反应过程、言语和心理过程，反映事情的发展变化。不包含矢量元素的为概念再现，反映属性、类别和特征等图像具有的本质特征，具有一定稳定性。
构图意义表现了各个模态之间的互补关系和整体布局，通过信息值、取景和显著性三个方面实现。信息值即语篇中不同位置的元素所表达出的不同价值，例如很多情况下，放在左边的是已知信息，右边是新信息；上方的信息是“理想”的，下方的信息是“真实”的。取景指的是通过留白、分割线等方式形成信息的独立。显著性即通过尺寸、色彩、亮度等让语篇中某一元素显得更加突出，富有吸引力。另外，通过调整语篇中图像与文字的比例和排列也能达到特定的社会文化、交流目的以及不同的语式功能。（叶起昌 2005）
互动意义则体现了图像与受众之间的关系，由接触、社会距离、态度和情态这几个要素构成。“接触”并非真实的触碰，而是图像和受众之间建立起的想象的联系，可分为索取类和提供类两种。社会距离能影响图像和受众之间的亲疏关系，从而达到一定的目的，距离越远，关系越冷漠；距离越近，关系越亲密。图像的视角可以影响态度，通过平视、仰视、俯视的差异暗示受众应当持有的态度。情态表示符号资源表达意义的真实性程度，这样的真实是社会性的，不是绝对的真实（韦琴红2009）。情态受到色彩饱和度、色彩区分度、色彩调和度、语境化、再现、深度、照明和亮度等因素的影响。高情态的语篇显得更符合现实，能让受众觉得感同身受。
印刷版式也是一种能参与构建意义的符号模态，包括版面设计、字体字号、行距间隔、边缘大小等(Van leeuwen 2005，2006)。印刷版式能同时实现意义的三个元功能：能通过字体、标点等反映整体设计风格特点，实现概念意义；能通过突出前景和背景等提示受众关注重要信息，实现语篇意义；能通过图片、版面设计等提示受众应当持有的态度，实现互动意义。因此从多模态分析角度来看，印刷版式是书面语篇中的重要分析对象。
本文提到的多媒体信息平台，指的是以信息技术为基础，包括文本、声音和图像等多种模态，向用户提供信息资源，并支持组织、存储、管理和互动等服务的网络平台。这类信息平台可以是网页、软件、公众号等不同形式，能呈现更多种模态的结合，拥有更丰富的外延。针对多媒体信息平台的特点，本文以Kress和Van leeuwen的视觉语法理论体系、Djonov 和 Knox的网页分析框架，以及Van leeuwen将印刷板式作为模态的理论基础，构建了一个新的分析框架，主要分为以下六个部分（如图）：
（1）目的与主题，包括开发目的，主要针对的目标人群，希望达到的效果等。对其它几个分析模块起到引导的作用。
（2）再现意义，如该平台的整体风格特点，包含或不包含了哪些文字、图片、声音等信息，以及信息的分类方式等。
（3）构图意义，分析各个模态之间是如何构成一个有机整体，同时突出重要信息。
（4）互动意义，分析该平台如何从距离、角度、色彩等方面与受众之间建立联系，把握受众的感受，并引导受众持有正确的态度。
（5）印刷板式，即运用的版面设计、字体字号、行距间隔、边缘大小等，是概念意义、语篇意义和互动意义的集中展现。
（6）社会语境及阐释意义，即该平台如何将各个模态与相关的社会文化背景相关联。
本文将尝试运用该框架对多媒体语言服务产品“疫情防控外语通”（以下简称“外语通”）微视频版、多媒体卡片版、在线查询系统三个平台成果逐一进行分析，从而提出可行的优化建议。
2020年初，在国内新型冠状病毒肺炎疫情防控工作初见成效，而国际疫情形势日趋严峻背景下，北京语言大学语言资源高精尖创新中心制作并发布了“疫情防控外语通”，主要用于在华来华留学生和外籍人士疫情防控、治疗方面的知识普及，从而控制境外疫情输入，巩固国内抗疫形势，传播国内抗疫经验。
目前“外语通”内容包括新型冠状病毒肺炎防控工作中的日常注意事项、入境注意事项、就诊常用句、个人防护措施等四个方面的常用语句，截至2020年4月29日，语种囊括全球41种语言且还在不断更新中，成果类型包括视频版、多媒体卡片版、在线查询系统，成果通过微信、网页、抖音、印刷品等方式推出，并开发了微信平台版和网页版在线查询系统。《疫情防控外语通》可提供给机场港口、航空公司、外交外事机构、海关、教育机构、医疗机构、社区管理部门使用，也可以直接提供给外籍人士使用。
“外语通”在线查询系统分为微信版和网页版，两个版本大致设计相似，但也有细节的不同之处。
（1）目的与主题。在线查询系统突出“查询”功能，主要用于快速筛选出所需的双语有声语料。可以看出，微信版主要针对手机用户设计，适合身边只有移动设备防疫工作人员或境内外籍人士使用，相较之下更加快捷；网页版则适合办公地点稳定且配有电脑的人士查找和剪辑语料，满足信息的二次加工需求。
（2）再现意义。“外语通”在线查询系统包括提示用语、诊疗用语、个人防护措施三个主题，其中提示用语21条，诊疗用语28条，个人防护措施25条，皆由制作者根据国家卫健委发布的新冠肺炎防控方案、诊疗方案和公众防护指南整理而成。每条语料都包括一句外语提示语和对应中文翻译，并标注了序号，不会让读者在阅读时产生混淆。选择菜单都是双语标注，方便外籍人士阅读。
（3）构图意义。“外语通”在线查询系统的微信版和网页版在设计上都主次分明、结构清晰。语种和主题的选择菜单集中在页面上方，用户可以在下拉菜单选择语种和主题，微信版中也可以直接输入关键词进行查找所需内容。用户在筛选语种和主题的时候，可以快速了解到目前语料库中总共收集了多少语种，对语料的更新速度有一个宏观的把控。双语语料占据了页面的大部分。微信版当中，每一条语料用深红色方框进行划分取景，节省空间，且中文译文都用红色书写，更加显眼易读，便于中国工作人员的查找，当用户点击一条语料，该方框内就会变换成红底白字，并播放外语朗读录音；网络版用浅色横线划分每一行，因为空间比较宽松，点击播放语音时没有像微信版那样用红色突出显示当前文字，只是播放键会变为蓝色，看起来更简洁清新。这样的设计充分考虑到了使用者的需求，以高效、便利、美观为重点。
（4）互动意义。“外语通”微信平台在线查询系统总体设计简洁。颜色搭配上，微信版以红白配色为基础，沉稳又不单调的颜色搭配体现了疫情防控工作的严肃性，又足够吸引用户的注意；网页版则以豆绿色为主，与语言资源高精尖创新中心官网的主题配色相统一，科技感当中也不失亲和力，同时减少了用户的视觉疲劳。
从语音播放的方式上看，微信版可以通过点击整个文本框来播放语音，范围较大，适合用手指点选；而网页版则是通过点击播放键播放，范围较小，适合用鼠标点选。与微信版相比，网络版暂不支持关键词查询，但提供语音下载功能，能方便用户将语音进行编辑加工。网络版与微信版这样功能互补的特性，反映出制作者的全局观，体现了以人为本和实用主义的理念。
（5）印刷板式。“外语通”在线查询系统文字部分统一使用微软雅黑字体，美观而不花哨，以传达信息为主要目的。微信版采用纵向排版，汉语翻译放在外语文字的下方，满足手机用户从上而下滑动浏览的习惯，而网络版采取的是横向表格式排版，从左到右分为外语文字、汉语文字、操作，结构宽松但清晰，每行之间存在大量留白，避免文字拥挤而使读者感到疲惫。
（6）社会语境及阐释意义。为了更好地帮助新型冠状病毒肺炎防控工作，设计者需要对相关信息有足够的了解，例如掌握全球疫情最新动态，了解我国境外输入疫情的主要来源，以及语言障碍对疫情防控工作带来的影响等，才能向受众展示最有价值的信息。同时受众集中在机场港口、航空公司、外交外事机构、海关等部门工作人员以及在华外籍人士当中，前者对防疫工作比较熟悉，但无法用外语沟通；后者可能对疫情防治较为陌生。“外语通”在线查询系统的设计充分考虑到了两种受众的需求，在保证相互理解的前提下传递关键信息，提高工作效率。
（1）目的与主题。微视频版具有更广泛的传播媒介，适合在电视上，海关、地铁、公交车的电子宣传屏幕上，以及抖音等视频网站传播，突出“警示”的功能，适合提供给不同机构或个人使用，并可以根据需求自由剪辑组合。
（2）再现意义。“外语通”微视频版分为入境注意事项、日常注意事项、个人防护措施、诊疗用语四个主题，其中“入境注意事项”对应在线查询系统中“提示用语”类语句前12条和第17条，“日常注意事项”则对应后9条。另外，“诊疗用语”分类又被细化成“症状和接触史”与“病史和用药史”两个小节。微视频基本长度都在五分钟以内，风格简洁明了，由双语文字展示和语音朗读结合而成，类似于演示文稿，总体来说，微视频版提供的信息与在线查询系统中基本相同，没有更多的图片、声音等元素，只是语料分类上更加细化一些，并多了文字切换的动画效果。
（3）构图意义。可以看出，“微视频”版不以设计美观为重点，而更注重传达信息，让文字部分显眼突出。入境注意事项、日常注意事项、个人防护措施、诊疗用语四个主题的视频设计风格统一规范，只是背景颜色和文字边框上医生的卡通形象有所不同。
以“日常注意事项——日语版”为例，视频开头的标题页中，“新冠肺炎疫情期间日常注意事项”、“日语版”双语标题文字伴随柔和的音乐缓缓出现，占据了画面中间大半部分，且文字加了白色描边和阴影效果，显得更加突出。左上角用较小的字体标注了“疫情防控外语通”中日双语。画面下方写明了制作团队的名字：“语言资源高精尖创新中心”和“战疫服务语言团”。背景图片以较暗淡的靛青色为主要配色，下方隐约可见一个转动的地球，象征着全世界人民齐心战疫；一个肺部的图片、几个大的十字和一个听诊器，表明了视频的主题；上方黄鹤楼、电视塔等建筑物的小剪影，体现了全国各个省市团结一心。标题页之后的文字页，每页仅由一条语料构成，日语在上，中文在下，全部采用居中排版，且根据标点符号来分行，显得条理清晰。语料文字以白色半透明文本框为背景，右下角有一个医生的卡通图像，给画面增添了一点趣味。每切换一页文字，都会播放标准日语语音朗读，最后由一个“高精尖创新中心”的标志作为结尾。
总体来说，微视频在结构设计上重点突出，通过加粗字体，较大的字号，以及居中的排版，使得“日常注意事项”每一条语句都足够显眼。旁边装饰性的图片囊括了各种不同的元素，简单中带着一些科技感，同时也重申了视频的主题。
（4）互动意义。从色彩上看，微视频以亮度较低的靛青色、绿色或蓝色为主题色彩，会让观众感到心情沉重和严肃认真。微视频内容以文字为主，没有太多图片，因此大部分文字都用居中排版，且频繁分行，这样既可以瞬间吸引观众的目光，又让他们的视线始终集中在画面中央，模拟阅读机场告示的感觉，让文字显得更有说服力，且不会让观众连续阅读几分钟后感到疲惫。每一页文字的切换采取的是渐变效果，让画面变化更加自然，不会太过突兀，减少观众的紧张感。
（5）印刷板式。微视频中使用的字体变化较多，仅标题页的中文部分就使用了四到五个不同字体，并搭配不同的描边和阴影特效，但由于色彩的统一，并不显得过于花哨。除了标题页排版较为紧凑以外，后面的语料朗读展示页面的排版都很宽松，大部分文字采取居中分布且字号较大，并搭配了文本框的使用，所以虽然字数不多，但能占满大部分屏幕，不会让观众觉得画面空旷。
（6）社会语境及阐释意义。目前，短视频是我国广为流行的一种互联网移动传播方式，能够在各个传播平台利用较短的时间实现大流量传播，制作门槛低，具有很大的传播价值。在这样的背景下，“外语通”微视频版成为一种贴近生活的知识普及平台，保证了传播率，也更容易得到社会的接纳。
（1）目的与主题。“外语通”卡片版用于收集外籍人士的个人信息（包括姓名，国籍，性别，护照号码，境内手机号码，境内住址），并帮助医护人员快速了解患者的症状，接触史，病史和用药史。
（2）再现意义。卡片包括在线查询系统中28条诊疗用语，填表者可以通过打勾来快速选择自己符合的情况，提高了效率，也能帮助医护人员根据情况提出适宜的诊疗方案。
（3）构图意义。第一页包括标题，个人信息填写处，和与症状相关的描述，第二页则包括接触史，病史和用药史的相关描述。表格每一行分为两栏，外语在左，对应的汉语翻译在右。当外语句子比较长的时候，排版会进行适当调整，避免一句话断成两行，影响美观。整体来看，卡片上的外语文字都占据了每一行较大的空间，暗示了对外籍填表者的关注和重视。
（4）互动意义。由于卡片版采取调查表格的形式，所以个人信息栏放在第一页上方最显眼的地方，占据页面五分之二的部分，方便医护人员进行查找。整份卡片没有很多需要手动书写的地方，基本只需要打勾就可以完成信息采纳，能够让填写者感到舒适，减轻诊疗带来的焦虑感。此外，虽然卡片以黑白为主，但当中部分提示语句选择用灰色印刷，增加了色彩的变化，看起来更加美观生动，但不会增加印刷的压力。
（5）印刷板式。卡片版是一张黑白双面印刷的A4表格，整体排版宽松，文字不拥挤，中文字体为宋体，外文字体为Times New Roman，且外文标题采用斜体书写，整体设计美观大方，体现了设计者的用心。
（6）社会语境及阐释意义。医护人员在疫情防治当中起到不可替代的作用，因此解决医患沟通问题也是语言战疫的关键。症状，接触史，病史和用药史是诊疗过程中必须了解的信息，医护人员利用卡片提供的信息能够快速掌握病情并做出判断，让患者感到安心。
“外语通”是多名学者专家为了以语言知识助力抗疫，以极高的效率制作完成的，但由于开发时间紧凑，在一些细节上还可以更加完善。本文依据以上分析，提出以下优化建议。
（1）统一每个语种的语音音量。目前部分语种，例如英语、日语的有声语料音量过小，在使用体验上可能会带来一定影响，可以进行集中调整，将音量统一到合适的大小。
（2）优化语种选择菜单的排序。语种选择的下拉菜单是根据更新顺序进行排序的，但随着语种的不断扩充，查询会有一些困难，可以改为以汉语拼音或英文首字母排序。
（3）修改提示语的外语翻译。尽管用户可以随意切换语种，但软件中的提示语只有英文翻译。例如“主题”菜单翻译为“Subject”，而用户切换到日文之后，主题菜单依旧显示“Subject”，可能会给不懂英语的外籍用户造成不便。
（4）修改网页版语音下载的默认文件名。网页版查询系统支持语音下载功能，但是下载所有音频的时候，默认文件名都是“DOWNLOAD”。如果用户同时下载了多个音频，可能会造成混淆，为了解决这个问题，可以把默认文件名改为当前音频的序号。
（1）修改标题页译文疏漏。个别语种的微视频的标题页存在一些小问题，例如诊疗用语系列视频当中，标题“新冠肺炎诊疗用语”皆缺少外语译文；西班牙语版“日常注意事项”标题页搭配的是英语翻译。此类错误需要进行核查并统一修改。
（2）调整视频色彩亮度。由于“外语通”系列微视频以暗淡的靛青色、绿色或蓝色为主题色彩，可能会让观众视觉上感到沉重压抑。在疫情防控的关键时期，乐观的心态与强健的体魄同样重要，为此可以将视频的背景颜色调整的更为鲜艳明亮，或是改为淡黄色、淡红色等暖色调，从而在心理上给予观众更为积极的暗示。
（3）添加动画或录像，丰富视频内容。目前微视频内容形式较为单调，以文字展示为主，与幻灯片类似，并没有足够的发挥出视频宣传片的优势。建议给视频加上更丰富的画面，例如“经常用流水认真洗手，洗手时要使用肥皂或洗手液”这一条提示，可以配以一个小孩认真洗手的录像或者动画，这样能增加画面趣味感，让观众印象更深刻，起到更好的宣传与警示效果。
（1）统一标点。有的语种卡片版标题末尾带有句点，而有的语种没有，需要进一步统一和规范。
（2）增加补充填写栏。通过打勾来快速选择症状、接触史、病史和用药史，的确能够大大提高填表人的效率，但另一方面也可能造成一些信息遗漏，例如填表人可能会有表上没有提到的症状、疾病史或接触史。为此可以在表上增加补充填写栏，例如“我有其它症状：___________”、“我最近服用了其它药品：_____________”，从而让信息采集更加全面。
“疫情防控外语通”根据国内外疫情最新形势，不断丰富其内容和语种，为防止境外疫情输入、继续防控好国内疫情以及对外传播中国抗疫经验，贡献了一份力量。此次新冠肺炎疫情全球蔓延，也是语言资源投入到国家语言应急服务的一次重要实践，极大地助力了抗击新冠肺炎疫情的行动。本研究构建多模态分析框架对其各平台中的目的与主题、再现意义、构图意义、互动意义、印刷板式及社会语境及阐释意义进行了分析、提出了建议，以期能够对语言应急研究提供新的视角，进一步提升国家应急语言能力（张伟年，王钰茹，段宛云，吴悠也 2020）。
参考文献
Djonov, E. & J. S. Knox. 2014. How to analyze webpages[C]// S. Norris & C. D. Maier. Interactions, Images and Texts. Boston/Berlin: Mouton De Gruyter:171-193.
F. de Saussure. 2011.Course in general linguistics. [M]. Columbia University Press.
Halliday, M.A.K. & Matthiessen, Christian M.I.M. 2004. Matthiessen. An Introduction to Functional Grammar[M]. 外语教学与研究出版社.
Kress, G.& Theo van Leeuwen.1996. Reading Images: The Grammar of Visual Design[M]. Routledge.
Kress, G.& Theo van Leeuwen.2006. Reading Images: The Grammar of Visual Design (2nd Edition) [M]. London: Routledge.
Kress, G.& Van Leeuwen, T.2001. Multimodal Discourse: The Modes and Media of Contemporary Communication[J]. College Composition and Communication 54(2).
Royce, T.D.1999.Visual-verbal Intersemiotic Complementarity in The Economist Magazine. Unpublished PhD thesis, University of Reading.
Royce, T.D.2002. Multimodality in the TESOL classroom: Exploring visual-verbal synergy[J]. TESOL Quarterly,36(2), 191-205.
Royce, T.D.2007.Intersemiotic Complementarity: A Frame work for Multimodal Discourse Analysis[C]//T．Royce＆ W．Bowcher．New Directions in the Analysis of Multimodal Discourse. New Jersey: Lawrence Erlbaum Associates.
Van Leeuwen, T.2005. Typographic meaning[J]. Visual Communication,4(2):137-143.
Van Leeuwen, T.2006. Towards a Semiotics of Typography[J]. Informational Design (14)
成文&田海龙.2006.多模式话语的社会实践性[J]. 南京社会科学,000(008):135-141.
胡壮麟.2007.社会符号学研究中的多模态化
[J].语言教学与研究(01):1-10.
李战子.2003.多模式话语的社会符号学分析[J].外语研究(05):1-8.
李战子.2018.中国军事公共外交建设的话语分析视角[J].外语研究,v.35, No.170(04):3-9+114.
潘艳艳&李战子.2017.国内多模态话语分析综论(2003—2017)——以CSSCI来源期刊发表成果为考察对象[J]. 福建师范大学学报：哲学社会科学版(05):55-65+174-175.
韦琴红.2009.论多模态话语中的模态、媒介与情态[J].外语教学,30(4).
叶起昌.2005.论后印刷时代话语中图像与文字的关系[J]. 北京交通大学学报(社会科学版), 4(4):61-65.
张德禄.2009.多模态话语分析综合理论框架探索[J].中国外语(1):24-30.
张伟年，王钰茹，段宛云，吴悠也.2020.何谓国家应急语言能力?语言与安全.
张伟年，王钰茹，段宛云，吴悠也.2020.国家应急语言能力新探.美国学与国际研究.
朱永生.2007.多模态话语分析的理论基础与研究方法[J].外语学刊(05):86-90.
【美国学与国际研究】致力于对美国和其它重要国家（区域）的历史、文化、社会、政治、经济、外交、军事、文学、语言等多领域议题进行跨学科的研究。欢迎分享！ |
编辑微信号：hlwb2018 投稿邮箱：2250538663@qq.com 交流互动：打开全部消息，发送消息即可 往期文章查找：打开全部消息，搜索框内输入关键词 |
推荐阅读
重磅资源 | 外语教学论文写作与发表（免费下载论文写作资料大礼包）
精选 | 应用语言学研习丛书（13种）一览：回顾经典 分析热点
Forceville等：《多模态隐喻》| 德古意特认知语言学应用丛书
讲座视频 | 乔姆斯基: 语言学的基本问题 (上) Fundamental Issues in Lingui. (at MIT)
讲座视频 | 乔姆斯基: 语言学的基本问题 (下) Fundamental Issues in Ling. (at MIT)
重磅资源丨第四批发布！外文局审定新冠疫情相关词汇英文表达（1-4批大合集）
招生简章 | 北京外国语大学2020年“一带一路”外语专业“综合评价”方式招生简章
语言学家 Lakoff ＆ Duran：特朗普正在将言语变成武器，对民众进行洗脑！