吴赟：媒介转向下的多模态翻译研究
欢迎点击上方关注我们，欢迎转发此文
本文来源：语言学通讯微信公众号
点击上方关注我们
媒介转向下的多模态翻译研究
吴赟教授
同济大学特聘教授；博士生导师、新中国第一批翻译学博士。研究方向：翻译学；中国文化英译；大中小学英语教育；美国电影；中国电影
语言学通讯推选文章
摘 要：翻译研究长期以来以语言研究为中心，但实际上文本并非只有语言一种模态，在媒介形态与方式日趋丰富复杂的语境下，翻译研究有必要探索其他模态符号在翻译过程中意义的构建与转换。本文从多模态及多模态翻译的概念及意义出发，回溯多模态翻译研究的历史，陈述媒介转向之下多模态翻译研究的必要性与重要性，界定其内涵、类型及特征，同时阐明相关研究的基本问题以及研究方法。
关键词：多模态; 翻译研究; 媒介转向;
项目基金：国家社科基金重大项目“中国特色对外话语体系在英语世界的译介与传播研究(1949-2019)”(19ZDA339);
文献来源：吴赟.媒介转向下的多模态翻译研究[J].外国语,2021(1):115-123.
01
引言
长期以来，翻译研究以语言研究为中心，以探索语言转换的现象、原则和方法为目的，对语言维度的理论和方法论分析构成翻译学研究的主要内容。但实际上文本并非只有语言一种模态，“严格意义上说，没有文本是单模态的”(Gambier 2006:6)，交际的意义由多种符号资源共同建构。尤其在数字化时代的社会发展中，多模态已经成为意义表达、阐释与接受的基本特征。音乐、动画、图像等多种符号系统与词语一起互动，生成多模态意义，服务于人类交际的目的。随着交际互动从互联化走向智能化，话语意义的形态表现出日益鲜明的多符号、多元化特征，受众与媒介接触的方式和习惯发生改变，受众的文本阅读行为与接受效果也随之转变。
在媒介形态与方式日趋丰富复杂的语境下，多模态翻译研究成为翻译学随时代与社会变迁提出的又一重要研究面向。交际方式的发展与文本形态的变化使得翻译研究有必要拓展以语言为中心的研究疆域，探索除文字之外的其他模态符号在翻译过程中意义的构建与转换，这对于重新认识翻译研究的内涵与性质有至关重要的意义。有鉴于此，本文从多模态及多模态翻译的概念及意义出发，陈述媒介转向之下多模态翻译的必要性与重要性，界定其内涵、类型及特征，同时阐明相关研究的基本问题以及研究方法，以推动解决具体语境中涉及多符号、多模态系统的翻译理论与实践问题。
02
多模态与话语意义生成
翻译研究自20世纪中期肇始至今，其理论探索多以言语为研究对象。随着数字科技的快速发展，话语意义经由语言、图像、声音、技术等多种复杂媒介共同生成与传播，多媒介性(multimediality)成为社会文化实践的基本模式，多模态化(multimodality)也相应成为意义构建与互动的普遍特征。
“模态”是指“在社会文化中形成的创造意义的符号资源”(Kress&van Leeuwen 2001:20)。这一概念的核心在于模态可以建构意义，由特定的社会文化塑造并约束。“多模态”指“在设计一个符号产品或事件时使用的多个符号模态”(同上)。意义的生成根据具体的情景语境，由包括言语、图像、听觉符号等在内的符号模态以特定方式组合，通过一定的媒介系统实现。
语篇研究的重心历来是言语交际。早在20世纪70年代，罗兰·巴特认为，言语和其他符号交际模态的联系存在不对称的等级差异性。言语占据主导地位，其他符号都是从属性的(Barthes1977:39)。罗兰·巴特的观点比较有代表性，甘比尔总结说，“人们非常自相矛盾，虽然承认言语和视觉符号，语言和非言语之间存在互动联系，但是主导性的研究视角一直普遍都是语言性的”(Gambier 2006:6)。
不过，随着媒介形态的多元化发展，多模态符号系统日益渗透到生活交际的各个维度，当今学者们已认识到视觉符号具有独立的组织与结构，开始强调视觉符号的主导性和自治性，与言语信息之间并非是依附从属的关系(Kress&van Leeuwen 1996:18)。意义生成是一个跨符号的过程，为达交际目的，话语从设计到生产和接受的各个环节都由各个模态塑造且彼此互动。不同的模态符号构建了意义的不同维度，符际之间的联系与作用形成意义建构中的复杂关系，共同促成了读者对于意义的认知、理解与诠释。
03
多模态翻译研究的历史演进
翻译学研究在较长时间内并未充分关注多模态翻译现象，虽然言语符号与图画、音乐等视觉与听觉符号系统共生，但翻译研究多只关注语言维度，鲜有研究涉及对非言语符号意义生成以及翻译转换的过程、属性、方法的论述。雅各布森(Jakobson 1959:233)最早从符际编码的角度划分了翻译类型，提出了语内翻译、语际翻译和符际翻译的三分法。其中，语际翻译指“用其他语言对言语符号的阐释”，被称之为“真正的翻译(translation proper)”。符际翻译指“以非语言符号系统的符号阐释语言符号”。雅各布森明确了语篇的符号特性，为翻译研究提供了新的视角，但是将言语符号置于绝对的核心地位说明其圉于传统的翻译认知框架，且对于“真正的翻译”的认定将符际翻译的研究推至边缘地位;符际翻译的定义排除了非言语符号之间以及言语符号到非言语符号的转换，这说明雅各布森对于符际翻译的概念与功能认识存在一定的局限性。
雅各布森之后，西方翻译学研究日渐关注符号模态在翻译过程中的性质与作用。图里(Toury1994:1114)在雅各布森符际翻译基础上，拓展了翻译的概念边际，认为翻译是“一个符号体系被转换成为另一个符号体系”，并进一步把符际翻译定义为两个不同符号系统间不同符号编码的转换。Mayoral等(1988:356-367)用“受限制的翻译”(constrained translation)概念来意指漫画、电影、歌曲等语篇形式。在这一概念中，如图画、音乐等非语言因素被视为翻译时的障碍，这表明非言语因素同样参与了意义的建构，但是其交际性功能仍没有得到充分重视。
步入飞速发展的全球化时代，翻译的发展环境前所未有地丰富充沛，翻译活动穿行的媒介发生了巨大变革，也因此推动翻译研究的对象、内容、工具等都发生了重要变化。一些学者开始重新审视翻译的本质与内涵，其中不乏对翻译进行重新界定与定义的呼吁。如Gottlieb(1997:111)、Remael(2001:13-14)将符际翻译重新定义为不同媒介之间的意义转换。小说绘本(Oittinen 2003,2008:128-141;Alvstad 2008:90-103;Pereira 2008:114-119)、电影(Baumgarten 2008:53,6-25)等由文字、图像、声音、音乐等组成的多模态语篇成为翻译的研究对象，探索不同模态之间的翻译转换。
大众媒介的普及标志着媒体时代的来临，翻译学研究也随之面临前所未有的挑战。语篇转换过程中媒介的形式和内容直接影响了符号模态的面貌与功能，也改变了翻译活动的基本属性和特征。Littau(2011:261-81)提出了媒介转向(medial turn)的概念，正式将媒介影响下的多模态符号翻译列为翻译研究的主要内容。根茨勒(Gentzler 2016)也提出了激进的后翻译的理念，将改写、改编、诠释等多种活动同样视为翻译，探讨了如《追忆似水年华》各译本和电影、戏剧、小说等不同媒介下多模态改写本、节略本、衍生本的生成与意义。我国学者王宁也提出要重视“跨越语言与文化界限的符际翻译”(Wang 2009:41-42)，反问“是否将自己禁锢在语言的囚笼中才算是执着于翻译的本体?”(王宁2015:13)。这些研究表明翻译学界开始探索非言语模态如何与言语信息一起编织成符际网络，从不同的维度完成意义在不同文化中的转换与重构。这一对翻译基本内涵的重新定位冲击了翻译的定义，言语符号与非言语符号在源语及译语文化所处的交际语境中共同促成了读者的感知、理解和诠释，其转换过程中多模态符号系统的复制、变异与改写成为翻译研究的基本构成。
04
媒介转向下的多模态翻译研究
传统翻译研究在很大程度上忽略了文化产出和文化转换中的多模态属性。随着翻译活动日渐摆脱纸质文本书写的单一特质，我们对于翻译活动的剖析不仅要考虑言语系统，也须考虑因翻译活动穿行的介质不同而产生的模态编码系统。尤其在科技迅猛发展的21世纪，人际交往方式与特征的变化，将多模态翻译研究从翻译研究的边缘地带推至显著位置，这对于重新认定翻译研究的内涵与性质意义深远。
Littau于2011年提出翻译研究的“媒介转向”，这既是对包括视听翻译、翻译与新技术等新兴研究动向的提炼，更是对新语境下翻译研究疆域拓展的总结。模态与媒介密不可分，在媒介转向之下，不同媒介形态推动不同模态交互参与翻译过程，使得多模态介入已经成为翻译活动不可分割的一部分，拥有建构内容及思想的权力，它们不只是意义生成的辅助系统，相反这些模态符号参与到意义构建的整个过程，成为理解翻译行为的关键构成。媒介的运用与更新为翻译活动提供了更为多元的生命语境，同时影响不同符号体系翻译转换的表现形态、运作规则和内涵机理。媒介转向之下的翻译活动摆脱了语言符号参与的局限性，使得翻译研究更加关注转换过程中的媒介性概念，并相应扩展符际翻译的内涵为以一种符号系统中的符号阐释另一种符号系统中的符号，借此可用来解决具体语境中多符号系统的翻译理论与实践问题。
4.1 多模态翻译的基本类型
因媒介与模态的差异，多模态语篇呈现不同类型特征，经过设计、生产并传播至受众群体被接受。Reiss(1981,2000)最初将语言的听觉媒体(audio-medial)功能作为对于信息性(informative)、操作性(operative)和表达性(expressive)功能的补充，又指出多模态语篇可视为超文本(hyper-type)，同样具有信息性、操作性和表达性功能。
Snell-Hornby(2009:41-51)将多模态语篇分为四大类型:由光和声在内的技术和/或电子媒介传输的多媒介语篇，如电影或电视字幕;包括言语和非言语表达不同模式的多模态语篇，如戏剧和歌剧中的声与光;言语和非言语的不同图画符号系统的多符号语篇，如漫画或广告;用于口头表达的声媒语篇，如政治演讲。Snell-Hornby强调了模态、媒介和符号系统之间的差异，将多模态语篇定义为用于舞台现场的书写文本。尽管模态、媒介和符号系统的区别很重要，但一个语篇中往往同时包括视觉与听觉的意义以及不同的图画符号系统，这些类别又互相渗透，因此影视、戏剧、歌剧、漫画、广告、演讲等都可列入多模态研究的视域之中，用以描述及表现符号系统的复杂性和丰富性。
根据多模态语篇的不同类型，多模态翻译活动与研究基本表现为模态内翻译和模态间翻译两种属性(Kaindl 2013:261)。模态内翻译指同一种模态形式的转换，如图像模态译为另一个图像模态，言语模态译为另一种言语模态。模态内翻译可分为同文化和跨文化两种类型:如德国歌剧翻译成维也纳歌剧属于模态内同文化翻译，维也纳是仅次于柏林的德语区第二大都市，这一多模态翻译是在同一德语文化内不同受众间实现的交际活动;美国米老鼠漫画翻译成阿拉伯语版本进入埃及则属于模态内跨文化翻译，译者通过用阿拉伯姓名重命名迪士尼角色，加入填字游戏等非漫画页面，在译本前增加本土漫画页面等手段为埃及读者进行本地化的翻译处理。
模态间翻译指不同模态形式间的转换，如言语模态译为视听模态等。模态间翻译同样可分为同文化和跨文化两种类型:如话剧《茶馆》改编为同名电影，音乐剧Chicago改编为同名好莱坞电影，小说《霸王别姬》、Gone with the Wind改编为同名电影等等，这些都是在同一文化内的多模态改写与翻译，其中媒介与模态的变化引发交际活动的机制或表演形式也发生变化。跨文化模态间翻译指不同模态不同文化间的翻译转换，如中国的乐府诗《木兰辞》在美国被译为一系列有关花木兰的儿童绘本，还分别在1998年和2020年改编为迪士尼动画及真人版电影，绘本和电影的模态转译将花木兰在美国塑造为深入民心的华裔女英雄;再如莎士比亚的《哈姆雷特》改编为美国动画片《狮子王》是美国文化对于欧洲作品的改编再创作，基于欧美文化的共性较多，美国翻拍改编再创作欧洲作品更容易抓住精髓。跨文化模态间的翻译改写为翻译研究拓宽了空间，需要对翻译研究内涵、形式与工具做全新的批判审视，并可与文学批评等其他研究领域交叉借鉴。
此外，数字时代信息化的高速发展催生了除上述四大分类之外的多模态语篇形态。数字科技作为驱动文化生产的行动主体，深刻作用于言语和非言语符号资源之间的协调联动，也影响了受众对语篇的消费和运作。相比于印刷文本的不可更改性，数字时代的电子语篇构建了超文本的语境，这使得多重符号系统的多模态形态成为可能，例如网站、软件、游戏等翻译即属于复杂的超文本多模态翻译。不同于传统文本的线性序列，超文本呈现出多线性特征，文字、图像、音频、视频等多种模态嵌入其中，形成不同的信息节点，读者在超链接中选择进入路径，并不断穿梭跳转，构成超文本多模态语篇的开放性、动态性、无中心的特点。超文本的这些新特征也使得翻译的形式、过程、目标、语境等发生了较大变化，同时原文本、原作者、译者、读者之间的关系也发生了本质改变，甚至可以说颠覆了传统翻译活动中的认知模式、判断标准和内涵本质。
4.2 多模态翻译的基本特征
4.2.1 图像语篇的视觉主导性
在漫画和广告等图像丰富的多模态语篇中，视觉模态在意义建构过程中呈主导性作用。传统的翻译研究将图像视为辅助功能，图像环绕文字文本构成语境的一部分，为语篇的阐释提供装饰性和辅助性信息，即热奈特在其副文本理论中所称的“副文本”，如封面、图画等副文本信息在小说书面语篇中帮助正文文本完成整体建构。
事实上，在漫画和广告等语篇中，言语与视觉图像的结合与互动是意义生成的关键，两者之间多呈互补关系，有时分指意义的不同层面(Jewitt 2009:25)。在多数情况下，图像不再仅仅是隶属屈从的副文本地位，相反则是言语模态充当从属性和补充性功能。具体而言，言语模态对图像起到了细化解读、扩展意义以及提供时间和空间等环境背景信息的作用。
在翻译过程中，视觉图像模态与言语模态的互动会依据源语与目的语文化语境及社会习俗之间的协商而发生一系列变化，如图像的颜色、尺寸、内容会被修改，充当副文本的言语也会相应经历缩减、扩充、改写等调整和修改。经典作品的新译本中承载了包括译者、编辑在内的各方对于原著的解读和叙述，通过选择具体的图像和插图以及不同版式，译者把经典文本框架化，内含当下政治话语和辩论，并借此向公众传播自我的诉求与意旨，比如把焦点从审美品质转移到历史价值上。
4.2.2 视听语篇的可表演性
可表演性(performability)是多模态语篇翻译的一个显著特征。对原文本展开的戏剧或影视等表演性改写“要求同时在几个维度上具备编剧能力，能把视觉、手势、听觉和语言能指融入翻译”(Terry&Upton 2000:2)。
传统的影视及戏剧翻译多只注重文字性剧本的翻译，把非语言符号系统排除在翻译讨论之外。事实上，表演作为意义的表达方式，也是一种翻译，其中动作语态的翻译和非言语能指的再创造与字词翻译一样都具有强大的修辞性，共同成为语篇的重要构成。在书面文字变成表演性的语篇之后，多重能指构建并完善了词语和语言意义，意义通过视觉和听觉的两个渠道传送到观众，视觉符号的表达包括舞台背景、灯光、镜头和手势、动作等非言语符号资源，听觉符号的表达包括声音质量、节奏、音调、语速在内的副言语听觉符号和音乐、特效等在内的非言语听觉符号。
在以可表演性为主要特征的语篇翻译中，配音、字幕、手势、身体语言以及海报、DVD封面、标题等通过对多种符号体系的综合叙事影响译者对于影视符号集合的阐释，并进而影响翻译的对话与其他意义构成系统的互动，译者通过翻译向目的语受众表达对于价值观念以及对于社会阶层、性别、种族等议题的立场和文化沟通。
4.2.3 超文本语篇的多线性、交互性与多维符号性
超文本语篇改变了传统的读写模式，将言语嵌入言语，并在言语和图像之间建立链接，使得语篇中的言语文字可以摆脱单线性序列，文字、图像和声音等要素集于一身，形成由超链接连接的多线性交互式语篇。在超文本环境下，复杂语篇的多线性特征会使受众在互文和言语与非言语能指的互动中形成不同的阅读体验。这一在文本形态、诠释手段、传播渠道、市场需求等方面的重大变革导致翻译活动的内涵与性质也发生了巨大变革。
超文本语篇的多线性与交互性以及多维符号特征使得翻译活动越发复杂，图片、声音文件、图标、超链接以及各种媒体元素构成了多种符号的翻译、转换与处理，从根本上改变了翻译活动中原作、译者、读者之间的关系。链接、标签以及节点的分割使得原作呈现了一种非连贯性，形成Landow(1992:117)指出的“中心的漂移”，即阅读焦点的漂移，令读者缺乏对超文本整体连贯性的认知，言语和非言语能指间的互相指涉更是增加了文本的碎片化程度，为用户重新配置阅读节点与路径。
超文本语篇的多种特性均要求翻译在超文本的语境中得到认可并传递出去，并借此完成对翻译的概念重构。超文本语篇并不是作家作品的简单承载物或被动消费者，实际上语篇自身也参与生产并协调文本内容与形态，因此也成为意义的积极创造者。同时，超文本使得“厚翻译”的符际维度成为可能。文本杂合了书面和口语等不同材料，不同作者对媒介内容的标注和再传播形成了非线性多重文本的复杂产品，并通过不同界面的回声以及言语和非言语能指互动使得多重阅读体验成为可能。在处理这种超文本语篇时，“翻译不再被视为原作的复制，而成为原作复本的改写”(Littau 1997:81)。超文本语篇淡化了原文本和原作者的中心位置，也模糊了译者、读者、作者之间的界限，读者可以参与到翻译的流程中来，成为数字产品的用户及译者乃至作者，“用户生成翻译”(user-generated translation)乃至“众包翻译”(crowdsourcing translation)等群众性、团队化协作的参与性、交际性翻译现象成为超文本语篇翻译中的新模式。
4.3 多模态翻译研究的基本问题
在多模态翻译研究中，虽然语言维度仍然是研究在传统意义上的核心，但是非言语因素通过不同媒介运作下的多模态作用，与语言维度一起构成语篇转换中的标志性特征。翻译研究从单模态视角走向多模态视角引发了语篇的再定义，言语因素与非言语因素的互动，非言语因素翻译分析工具、方法、效用等一系列复杂问题。总体而言，多模态翻译研究涉及的几大关键问题分别为:
译文的模态符号如何再现原文，不同模态在翻译中如何进行转码，如何实现对于意义的构建是多模态翻译研究的核心问题。各个模态都有各自的形态、功能与认知原则，通过不同的方式和路径来建构意义，而翻译学研究迄今仍未有针对非言语模态的具体分析模式，如图像和音乐等模态均是作为模糊而囫囵的整体来被理解和被分析。这种语义的模糊和不确定性使得解读图像和音乐等模态具有宽广的空间，如何通过多模态话语分析方法分析翻译转换过程中的模态特征与功能是关键性问题。
翻译过程中，各个模态之间怎样进行互动和联系是多模态翻译研究的另一关键问题，如歌剧翻译中语言模态与音乐模态的联系，漫画翻译中语言和图像之间的联系，影视翻译中言语符号和非言语符号之间的联系。不同模态在意义建构过程中相互组合，发挥包括说明性、评价性、延展性、冲突性等在内的不同功能，翻译转换过程中为实现既定功能，模态彼此之间的变化与配合也是多模态翻译研究的主要关注点。
行动者在翻译过程中如何做出决策，发挥文本中多模态元素的能动作用也是多模态翻译研究的一大问题。译者、出版商、编辑、图画或视听设计师协调合作，产生的多模态译作相比原作往往会经历删减、增加或其他改动。这些变化涉及的不仅是言语模态与非言语模态之间的互动，如图像、音乐等非言语模态内部也会经过编译而发生改变。不同的意识形态、译者惯习等构成复杂的译介场域，影响其中的行动主体做出并不断修正翻译的决策，也进而形成多模态翻译研究的一大维度。
随着数字时代的科技发展，不同模态资源互相依存成为常态，多模态符号体系的意义生成和翻译呈现越发重要的研究意义。不同模态文化下产生的翻译行为以及新型参与性和交际性翻译模式等都成为值得关注的重要问题。如信息技术催生了翻译合作行为与技术的发展，翻译过程中不同符号之间的协调互动呈现出了哪些新方法;以网络为介质开展的参与性、交际性翻译如何不同于传统意义生成路径，改变了传统翻译流程中文本的使用、批评和传播特征，且如何不同于以往出版社等赞助及操纵体系，受到网站和论坛用户的监督和协调。一些典型性个案可以用作解析相关问题，如日本网民译者不满商业翻译忽视动漫中的文化元素，自发组织了群体性翻译行为，将语言和其他视觉符号创新性地融入异域文化，同时保留原著动漫中的他者。对类似个案的分析可聚焦用户与译者的身份切换与融合，用户参与译语语篇的建构与协调，翻译文本作为文化资本、译者权力、粉丝知识等多维视角的连接点。
4.4 多模态翻译研究基本方法
媒介转向之下，大量被翻译的语篇呈现了多种模态同时在场、交织互动的特征，漫画、网站、影视、电子游戏、童书、科技手册等多种文本形式构成了丰富的多模态景观。由于多模态翻译的鲜明特性，在研究具体问题时，除常见的翻译研究方法之外，还需引入富有针对性的研究方法，去解决诸如意义构建中言语符号和非言语符号模态互动的关键问题。
4.4.1 系统功能多模态话语分析方法
系统功能多模态话语分析方法源自系统功能语言学与社会符号学的理论体系。这种分析方法将概念功能、人际功能和语篇功能这三大元功能延伸到视觉层面，从多模态语篇分析的视觉语法这一视角，赋予多模态资源再现意义、互动意义和构图意义，是研究多模态语篇翻译的主要方法之一。
该分析方法中的概念功能指的是语篇中的人物、物体与环境共同构成的外部现实，十分适用于广告翻译、儿童图书和杂志翻译等图像语篇的分析，描述不同图像如何在一定语境中再现意义和叙事。人际功能指语篇中作者、文本和读者之间的互动关系，作者通过指示、协商、劝说或命令等言语符号和读者交流;在图像符号的人际功能层面，通过信息接触、成像大小和观看视角等维度，指明图像设计者、读者和图像中人物之间的关系和互动意义。语篇功能在分析言语符号层面，指连接词语与句子的话语，包括衔接、信息、主题结构等建构意义，在分析非言语符号层面，指图像的构成、颜色、显著性、参与者位置等构图意义。
总体来说，系统功能多模态话语分析方法分析各符号模态运作特征，能够描述或再现所包含符号的复杂性和丰富性，不过这一研究方法对各个模态符号的描述虽然条分缕析，但因涉及太多块面与细节，缺乏对于多模态意义建构规律的总结与归纳。
4.4.2 基于语料库的多模态翻译研究方法
语料库技术自20世纪80年代起便已被运用于翻译研究(Baker 1995)，尤其用于以翻译过程和以翻译产品为核心的描写性译学研究。当下的多模态翻译研究也开始借助语料库的分析方法，以达到相对客观缜密的研究结论。
与传统的文字文本相比，语料库技术对多模态语篇的分段(segmentation)与对齐(alignment)不止停留在词素、词汇、短语及分句等语言层面，而是将文本分解成可供分析的声画单位。这就需要进一步研究不同模态文本的符号或语法构成，如对视听文本组成的电影库进行分段，将电影片段拆分成二维图像乃至更小的单位，从而分析译制片的艺术构成、表现模式及艺术功能。此外，语料库对于文本标注系统的开发也是研究重点。如通过ELAN(EUDICO Linguistic Annotator)对手势进行词性标注，以及对具有语义关系的语音-手势对进行系统性的功能标注，分析具体的模态间交际实践。
目前多模态翻译研究中甚少应用语料库技术，因不同模态存在不同的语法体系，而分段、对齐、标注等技术手段也均不及运用于传统语言文字语篇的手段完备，此外，现有多模态语篇库以电影等特定领域为主，语料不足使得分析结果的典型性及普遍性意义不足，因此基于语料库的多模态翻译研究路径需要继续扩大语篇种类与容量，开发出相对统一的多模态语料库对齐与标注系统，以此为基础量质性分析可以作为一种“自下而上”的研究路径，与传统“自上而下”的翻译文本分析路径互补。
4.4.3 对多模态翻译产品的接受研究
立足受众的接受研究是翻译研究的一个重要面向。对读者、听众等不同层面受众进行的实证考察可以让研究者了解相关受众群体对于翻译产品的阐释以及翻译产品对目标语文化社会语境的影响，进而思索哪些翻译策略与方法可以相对有效地为目标受众所接受。在多模态译本研究中，接受研究可经由不同范式与方法开展，因地制宜地处理多模态语篇的复杂信息。
传统的接受研究范式为调查问卷、个别访谈等，通过收集研究对象的自我评价和主观反馈，以此反观翻译产品的特征以及在进入目的语语境之后形成的影响力。此类接受研究可针对多模态译文中的不同模态介质展开调研，如了解受众对相关图像、视听片段等的态度与认同，阐释多模态译文中不同模态的互动联系、情感色彩，以及源语语境与译本语境的共性与差异。
随着媒介转向下新技术革命的普及与发展，接受研究也出现了一些新兴的范式，如眼动实验、心率测试、皮肤电反应测试、脑电图描记等等，从科学分析的角度描写受众在阅读和赏析译文过程中的心理及认知变化。如在电影、电视等视听模态翻译语篇的接受过程中，可通过眼动实验获取相关数据，如追踪受众的字幕阅读时长、字幕理解程度、对错译字幕的情绪反应等，了解受众对于图像、言语、声音等多种模态的整体感知与针对性的态度判断，从而解析多模态译文的翻译质量与效果。
新兴接受范式的研究具有鲜明的跨学科色彩，融合了认知心理学、神经科学、计算机科学等学科的特征与属性。相较于传统范式研究，新兴接受范式研究更加呈现出理性客观、以微见著的特点，但是由于样本数据有限，个体化的接受语境往往不能折射典型语境的完整性。因此将传统范式与新兴范式相结合，可以更为全面地进入接受研究的不同复杂层面，了解受众如何阅读、阐释和理解多模态翻译信息，丰富并完善多模态语篇的翻译研究路径。
05
结语
在人类交际方式日益多媒介化的格局下，话语生成与语篇转换的各个环节都由多个模态交互影响、共同塑造，呈现出多符号与多元化特征。受“媒介转向”影响，不同形态的媒介推动不同模态交互参与翻译过程，翻译活动的内涵与特征愈加丰富复杂。语言、图像、音乐、视频、超文本等不同模态资源在多种语篇形态的意义重构过程中相互作用，创造了跨符际、跨语际的符号网络，再现被翻译产品乃至品牌的文化形象。
“媒介转向”下的多模态翻译活动具有异于言语翻译的特征、类型、内涵与方法，与此相适应的是译者的职责也在发生变化。除需翻译言语之外，译者还需阐释语篇生产、转换和接受过程中不同符号与模态之间的互动，以达到特定的交际目的。在传媒科技迅速发展的当今社会，认识与明确多模态翻译的属性与特征、内容与方法，能够解决复杂语境中多元符号模态系统的翻译理论与实践问题。尤其在当下提出“讲好中国故事，传播好中国声音”这一国家命题之际，探索中国故事的多模态翻译路径，开拓文字、图画、视听等多模态融合的翻译叙事，成为“打造融通中外的新概念新范畴新表述”的题中应有之义。正因如此，对于多模态翻译的研究需要予以重视与强化，推动“中国故事”改变文字讲述的单一模式，以多模态叙事拓宽表达范式与疆域，以多样化方式满足世界对中国的认知需求。
扫码
进入
如需购买国际原版学术著作，可以联系我们询价，支持对公转账，可以制订合同，开具电子发票和购物清单。订购联系人：孙老师 18321711365（电话同微信）
编者按
欢迎查阅知网或《外国语》2021年第1期纸质原文。
本文编辑：上海理工大学 孙雨
本文审核：吉林大学 王峰
本公众号推送的文章不能代表本公众号立场。本公众号推送的学术会议、博士招生不负责对接解释。有任何疑问请按照推送内容的官方联系方式对接！如果学术会议、博士招生有任何官方调整，责任不在我方。我们优先推广免费的学术会议、讲座、研修等项目。收费项目与商务合作需支持劳务费，请联系dianzishu@126.com 商谈。
相关文献延伸阅读（研习人指引）
本公号友情整理相关文献索引链接，
敬请研习者自行选购
精选推荐
点击左下方阅读原文发现更多语言学好书！
扫码关注，即可获取最新入群二维码
目前已有2.38万语言文学、国别区域
研习者关注↑↑↑本公众号，
欢迎加入我们，交流分享，共同学习！