学术观点| 翻译的多模态视角研究：插图技术文本翻译研究的认知框架

 

点击蓝字

关注我们

翻译的多模态视角研究：插图技术文本翻译研究的认知框架

安妮·凯托拉 著 王明树1 张婷2 译

（1. 四川外国语大学 国际关系学院； 2. 四川外国语大学 翻译学院）

摘要：本文属于翻译研究与插图技术文本认知理解研究的界面研究，为插图技术文本的翻译提供了一个基于认知视角的理论框架，认为插图技术文本的译者既需处理语言信息又需处理非语言的视觉信息，因此译者的翻译方法建立在两种不同模态共同提供的信息基础之上。文章通过考查翻译的认知特性并将其与插图文本的两种认知模型（CTM和ITPC）进行对比，从而证明了提出的假设，并为这方面的研究构建了一个理论框架。另外，文章还指出了本研究对未来插图文本翻译研究的启示及意义，强调了本研究的重要性。

关键词：多模态；科技翻译；插图；认知翻译研究；多媒体学习的认知模型

基金项目：本文系四川外国语大学校级科研项目“概念隐喻视角下译者身份与翻译策略研究”( SISU201404)的阶段性成果。

译者简介：王明树，男，四川外国语大学国际关系学院教授，博士，主要从事认知语言学、认知翻译学、翻译理论与实践研究。

张婷，女，四川外国语大学翻译学院2013级在读研究生，主要从事翻译理论与实践研究。

学习文献：安妮·凯托拉（著）,王明树,张婷（译）.翻译的多模态视角研究:插图技术文本翻译研究的认知框架[J].英语研究, 2016 (4):131-144.

期刊查询：

《英语研究》官网：http://column.sisu.edu.cn/engstudy/

《英语研究》知网主页：

http://navi.cnki.net/knavi/JournalDetail?pcode=CJFD&pykm=ENYJ

注：1. 本文获得作者和期刊社授权推出。

2. 原文文献：Anne Ketola. Towards a Multimodally Oriented Theory of Translation: A Cognitive Framework for the Translation of Illustrated Technical Texts［J］. Translation Studies, 2015,10: 1-15.

0. 引言

事实上，多模态指的是在给定的语境中两种及两种以上不同模态（譬如书面语、口语、图像等等）的共存现象（Gibbons，2012：8）。多模态视角的研究认为多模态文本中的所有模态都会参与意义的构建。虽然语言分析是多模态文本研究的重点，但是语言信息总是镶嵌在更大的多模态语境中，并在这种多模态关系中被理解（Jewitt，2009a：2）。在所有关于交流沟通的领域包括翻译领域，对多模态问题的关注越来越多，毕竟如今大部分翻译文本属于多模态性质（Hirvonen & Tiittula,2010:1）。因此，近年来翻译研究者努力使传统的、以语言为中心的翻译学科适应这种挑战（如O’Sullivan， 2013：6; Kaindl，2013：266）。

翻译研究已经迈出了研究多模态文本的第一步。Kaindl（2004）关于传达漫画文本幽默感可能采用的翻译方法的探索，可视为插图文本翻译方面的开创性研究。Oittinen（ 如1990,2000,2008）基于对语言信息和非语言信息的考虑，在其著作里讨论了图画书的翻译方法。前人关于插图技术文本的研究主要集中在图片选择的适切性和翻译过程中对图片信息进行调整的必要性两个方面，下文会对此加以详细介绍。对插图技术文本的翻译作进一步的深入研究很有必要：第一，科技翻译是翻译领域的重要部分，占了整个翻译市场很大的份额（Byrne，2012：6）。第二，不同类型的图片是科技文献的一个重要特点（Byrne，2012：26,54; Tercedor, et al.， 2009：143）。在进一步研究之前我们需要一个基于认知视角的理论框架。

本文旨在探索插图技术文本翻译的认知意义。多模态作为一种研究对象自然可以从不同视角进行研究。本文是基于认知视角的研究，即从不同模态意义获取的认知过程考察多模态的意义构建。本文的前提是：当读者阅读插图文本时，读者既要处理语言信息也要处理视觉信息（文字和插图），基于这两种信息读者才能理解多模态文本的意义。不同的插图文本研究已经证明了该观点，从儿童的图画书到技术文本（当然，相应的读者从小学生到接受过教育的成年人），所采用的研究方法包括读者采访法（Connors，2013; Youngs & Serafini,2013）、阅读理解测试法（Mayer，2002；Schnotz，2005）、视线跟踪法（Hegarty & Just,1993）。因为插图文本的译者首先是作为读者，因此本文认为关于读者的这些理论同样适用于译者。本文认为译者的翻译方法或策略是在语言信息和视觉信息共同作用下作出的选择。这反过来说明插图会影响语言信息的翻译。

本文尝试性地探讨插图文本（尤其是插图技术文本）翻译过程中原文的阅读理解所涉及的认知过程，从而为这些假设提供了一个基本的理论框架。通过介绍两种不同的多媒体学习模型，即多媒体学习的认知理论，简称CTML（Mayer,2002,2005）和文本插图整合理论，简称ITPC（Schnotz,2005; Schnotz and Kurschner, 2008）实现了这一论证过程。这两种模型是教育心理学领域的研究成果，它们描述了插图文本理解所涉及的认知过程。这两种模型的基础都是将人类认知视为信息处理的过程，因此和大部分翻译认知研究的理论框架相符合（O’Brien，2010：2）。这两种模型是在大量理论研究和实证研究的基础上建立起来的，因此对翻译研究有很大的贡献，也有助于我们理解视觉模态如何影响我们的翻译行为。

本文有两个目的：首先，本文试图为翻译的多模态研究建立一个理论基础，并扩展翻译学科的研究范围，使其将图片也作为文本翻译的研究对象之一。其次，本文构建起来的框架清楚地阐述了对未来研究的启示及意义，因此本文试图引起人们对过去被忽视问题的研究的重视，鼓励其他研究者进一步探讨、分析，以便对这一初步成果加以完善。本文将首先介绍前人对插图技术文本翻译所做的研究及其成果，讨论翻译作为一种认知活动的具体内容。接着论述在以往的多模态研究中图片信息的理解方式以及多模态文本意义构建被概念化的过程。然后通过批判性地检验和比较多媒体学习的认知模型，探讨读者如何理解插图文本。最后，本文将解释译者如何根据两种不同模态理解插图文本的意义，并且提出了新的实证探索方法。

1. 技术和认知翻译研究现状

Franco Aixela（2004：32）对技术文本的定义为“任何包含某一专业领域或学术领域术语的文本或文本类型”。Byrne（2012：26-28）从文本功能的角度描述了这一文本类型， 即包括所有帮助某一特定用户理解某事或如何做某事的任务型文本。讨论插图技术文本时，本文集中于信息型和指示型文本。这里的指示型文本指的是：解释某物如何运作，并且包括为文字内容所配的图片，比如物理课本的使用指南就属于这类文本。诸如技术数据表、专家技术报告、合格证等之类的指示型文本不在本研究的关注范围之内。所以本文使用的是Byrne对技术文本所下的定义，当然也不能否定Franco Aixela的观点，即专业性很强的术语也是技术文献一个重要的特点（Byrne，2012：51）。

翻译需要考虑、分析诸多因素。分析视觉信息在翻译中的重要性早在Christiane Nord（1991）的文本分析模型中就得到了重视。这个模型主张分析图片以及其它非语言因素，当然还包括一些文本内因素和文本外因素，文本内因素是关于文本本身的因素，比如题材、句子结构、词汇等；文本外因素是关于文本功能的因素，比如作者、作者意图、目标读者等（Nord，1991：36-37）。事实上，Nord（1991：110）提到的技术文本比如使用手册、操作说明等作为插图文本的例子，其中图片扮演了非常重要的作用。

尽管图片对技术文本很重要，但是鲜有人研究图片在技术文本翻译中的作用。在一个视听翻译的综述中，Remael 和Neves（2007：15）简短地提到，图片在科技文献中产生了“新的限制、新的可能性和需要用创新性方法解决的问题”，虽然他们没有详细论述这些问题在实践中的具体情况。一个旨在帮助技术翻译方向学生熟悉图片分析的教学项目（Tercedor, et al.， 2009：144, 165）证实了图片确实为译者带来了新的可能性：该研究表明，给原语语言文本配上合适的图片能够产生更多具有创造性的术语翻译方法，并且减少了原语的干扰。

从理论的角度来看，以前对插图技术文本翻译所做的研究都是基于插图和文字恰当匹配的情况。Tercedor-Sanchez 和Abadia-Molina（2005）讨论了在翻译过程中为了确保图片信息准确地传达给目标受众而需要替换原语插图的情况，并且还提供了一个为技术文本选择插图的标准〔本地化研究中关于类似问题的讨论见Hiippala（2012）和Horton（2005）〕。Prieto Velasco（2009,2012）的主要研究兴趣是多模态术语库，他划分了技术类和科学类文本，并且依据规范层次给图片分类，解释了什么类型的图片最适合表现不同规范层次的技术和科学概念。换句话说，前人对插图技术文本所做的研究集中于原文本（或数据库词条）的生产阶段。至于这些原文本是如何被理解的还有待进一步探讨。

在过去的几十年中，译者的思维过程受到了广泛关注和研究，并且得到了认知科学的相关次学科发展的青睐，当然也得益于新的数据获取方式〔详细综述见Shreve和Angelone（2010：2-9）和Gopferich等（2009：1-2）〕。翻译过程的认知研究旨在阐明翻译过程中涉及到的认知活动的本质，一般可以分为原文本理解、两种语言间的转换和所获信息在目标语中的表达这三个部分（Dimitrova，2010：406）。本文关注的并不是翻译的全过程，而只是原文本的理解及其理解的结果，用Jensen（2010：216-217）的话说就是对原语信息所构建的心理表征。

认知翻译研究领域的数据获取方式有了新的发展，比如用按键记录法来检测翻译的生产过程，用视线跟踪法来解释原文本阅读理解过程（Jesen，2010：215-216）；视线跟踪法获得的数据通常被认为能够显示相关的认知过程（O’Brien，2006：186）。比如用视线跟踪法来确定为了翻译而阅读是否与单纯的阅读行为不同。Jakobsen和Jensen（2008）的研究发现，当译者被要求在阅读之后翻译所读文章时，他们的阅读时间和单纯的阅读行为相比增加了。对这一点的解释是，他们的阅读过程受到一些“前翻译”因素的影响。Jesen（2010）做了相似的观察研究并总结出：一定程度上，在为了翻译而阅读的过程中原语文本的理解和目标文本的生产是同时被激发的。Ruiz等（2008）进一步发现（虽然他没有使用视线跟踪法）为了翻译而阅读的过程涉及到原语词汇和句法与目标语的配对。因此可以说，为了翻译而阅读是一种特定类型的阅读活动，即不管译者是否意识到，这个过程都可能涉及译者翻译方法的选取问题。

有阅读必然有对文本的理解。哪怕只是细微的差异，不同译者对原语文本的理解可能不同，正如Munoz Martin（2010：175-176）所言：“每一次理解都是独一无二的，因此翻译也一样。”实际上，Munoz Martin强调了翻译认知理论的一个主要原则，即我们翻译的不是文本而是个人的阐释。也就是说，翻译的目标是一种个人独一无二的阐释，是一种心理表征，这种心理表征既靠原语文本片段产生，又靠阅读理解过程激活。接下来，我们将为我们的假设提供一种理论支撑。我们的假设是：多模态文本的译者不仅需要理解语言信息和视觉信息，而且对这些信息的心理表征是从这两种不同模态中获取的。

2.意义构建模型

认知器官对图片的处理可以分为两个阶段：第一个阶段是从图片中获取信息（比如从形状、颜色、大小、深度）；第二个阶段是对这些信息进行加工理解（参考Eysenck & Keane，2005; Anderson，1995）。Parkin（2014：28）强调视觉感知是重建性的。我们对一个图片的理解在大脑中的呈现方式不是像照相机的感光胶卷一样一成不变地呈现，相反，眼睛视网膜摄入的信息提供了一系列线索，这些线索经过推理处理，从而对图像内容产生了一种独特的心理表征。

“读”图的过程远不如读语言那么直接，因为这个过程在一定程度上以一种既定的顺序进行。过去就有关于读者浏览图片上不同元素的顺序的假设，传统的假设通常认为由于颜色、色调对比或相对尺寸等因素，越显眼的部分越先被注意到。而且通常图片的浏览路径受到以下几个因素的影响：阅读时眼神朝某一特定方向的移动（在西方文化里是从左向右移动）、目光向图片中心焦点集中的趋势（Foulsham & Underwood, 2008）和将注意力集中于人物面部以及视线方向的趋势（Lautenbacher，2012）。

然而，除了图片的性质，读者的目光还受到读者的观察目的、预期、情感、前知识还有个人喜好的影响（Boeriis & Holsanova,2012:262）。实际上视觉认知研究领域越来越多的研究表明，一个人的视线更多地受信息收集的认知需要影响，而不是受图片本身的视觉显著性影响（Mills, et al., 2011; Henderson, et al.,2007）。也就是说，看图是个任务型活动。这些观点对本研究很重要，因为这些观点说明不同译者可能对同一图片赋予不同的意义， 同一个译者也可能由于不同的读图目的而对同一图片赋予不同的目的。这与前文所述对语言文本的阅读的假设是一样的。

单独描述单个模态所产生的意义具有挑战性，但描述不同模态相互作用产生的意义则更难。尽管如此，还是有人经常从不同理论角度来研究这个问题。最常见且已经确立下来的有，基于Halliday（1978）的系统功能语言学进行的研究，包括社会语义学方法（Kress & van Leeuwen,2006），这一方法主要集中于模态的纯理功能；还有话语分析方法（O’Halloran,2008），这一方法探索了微观语篇层面多模态话语的纯理功能。尽管本文从认知视角来研究多模态而不是集中于模态纯理功能的研究，但是不同方法的基本理据都是文字与图片相互作用的概念化过程。

Hull和Lemke（2005,225）的研究主要建立在Kress 和van Leeuwen（2001,2006）的研究基础上，认为不同模态的相互作用产生了全新的意义系统，这些意义超过了单个模态所产生的意义总和。该观点跟Lemke（2002:303）的观点相似，Lemke也认为不同模态的相互作用产生了全新的意义，因此属于多模态性质。O’Halloran（2008:452）将这种成倍增加的相互作用称为符号间性，并认为这种符号间性导致意义的扩展。Lemke（2002:303）进一步指出当两种模态一起呈现时，这两种模态的意义会彼此加强或补充，并且比任何一个单一模态表示的意义更准确。然而，在多模态文本中各个模态传达的意义并不总是十分契合，也有可能相互矛盾或彼此抵触。多模态文本的不同模态之间也有可能造成意义的不同方面之间的张力（Jewitt,2009b:26）。这些方法的主要观点是当读者阅读多模态文本时，读者不是单一地从文字模态或图片模态来推断意义：意义只存在于文字和图片的结合体中，而且为了某一特定的阅读目的，读者可以对此进行加工。不同模态间可能互为补充、相互加强，也可能相互抵触，所有这些取决于两种模态传达的意义是否相一致。

3.插图技术文本的阅读理解

早在1993年，Hegarty 和Just作了一个研究，在该研究中，他们监控了测试对象在阅读插图文本时的眼神注视的情况。他们发现读者频繁地打断文字阅读，停下查看图片（140字的一页平均停顿6次）。读者的眼神在图片上并不是随意停留的，相反，他们只查看和他们刚才读过的文字相匹配的图片（Hegarty & Just,1993:730-731）。尽管这一发现对我们目前的研究有很重要的作用，但是它并没有对读者阅读插图文本时大脑的思维过程作出理论上的解释。

教育心理学为多媒体学习提供了一个探索插图文本阅读理解过程的认知模型。本文将介绍并比较两种最有影响力的模型，即多媒体学习的认知理论（CTML）（如Mayer，2002, 2005）和文字-图片整合理解理论（ITPC）（Schnotz, Bannet & Seufert, 2002; Schnotz & Bannert,2003; Schnotz & Lowe,2003; Schnotz, 2005; Schnotz & Kurschner,2008）。而且本文还会考虑对插图原语文本建立心理表征的过程在这两种模型中是如何展开的，并且探讨这两种模型对实证研究的意义。在此，我们将首先讨论这些问题的定义。多媒体学习模型对本文的适用程度取决于如何定义“多媒体”和“学习”。毕竟多媒体学习理论是否适用于多模态翻译可能会遭到质疑。

3.1多媒体学习的定义

如Kress 和van Leeuwen（2001:66-67）强调的一样，“多媒体性”（multimediality）指的是对媒介的分析；“多模态性”（multimodality）指的是对构建意义的符号资源的分析。这是两个既有联系又相互独立的概念。然而不同的研究者或不同学科给这两个术语下了不同的定义（详情见Lauer,2009）。Mayer（2005:32）和Schnotz（2005:50）出于其研究目的，都将多媒体信息定义为包括以任何媒介传递的语言文字（书面的或口头的）和图片（静态或动态）在内的交流方式。但是这个定义比Kress和van Leeuwen（2006:177）对多模态信息所下的定义要窄，Kress和 van Leeuwen认为任何包含两种或两种以上模态或“符码”的信息都是多模态信息，不管这些模态或“符码”是图片、口头语、书面语、音乐还是手势等，毫无疑问，该定义当然包括我们本文的研究对象——插图文本。

一般来说，译者完成翻译任务后能够重新获取并应用这些信息，从这个意义上来讲，译者无需学习他们翻译的文本（Sager，1994：199）。但是Mayer（2005：36）的定义将学习描述为这样一个过程：“将认知策略应用到输入信息上以便能够理解这些信息”。这个意义构建过程产生的结果是储存在长期记忆中的单个或多个心理表征（下文将会讨论）。这些模型都没有明确指出，这些可被重新获取的心理表征在长期记忆中储存多久才能把这个过程称为学习。用来检测这些理论的实验设计表明这样一个观点，即习得信息从长期记忆中的可获取性并不重要：测试主体是否获得了呈现给他们的信息是通过信息传递效果（比如：在阅读完以后能立即用这些信息解决新的问题）来衡量的（Mayer & Gallini,1990:719; Schnotz & Bannert,2003:151; Schnotz & Kurschner,2008:183；Schnotz, Bannert & Seufert,2002:405）。我们可以这样认为：这些模型将学习看成理解某事物本质内容的过程，而这也是成功翻译的先决条件。

另外，多媒体模型的作者并没有明确规定他们的模型解释的是哪种类型的图片，但是他们在实验中所用的图片和他们的实验一样都是技术性的，比如描述雷雨是如何形成的（Mayer，2002），地理上的时间差是由什么决定的（Schnotz & Kurschner,2008），或者解释滑轮系统（Hegarty & Just,1993）、抽水机和汽车制动装置（Mayer,2002）的运行原理。也就是说，这些模型是建立在分析插图技术文本的基础上，而插图技术文本正是本文的研究对象，因此这些模型为本研究奠定了一个合理的理论基础。

3.2插图文本的理解模型

多媒体学习的认知理论（以下简称CTML）和图-文整合理解理论（以下简称ITPC）关于插图文本的阅读理解过程有一些共同的假设。它们都认为人脑对信息的处理是在两个独立的通道进行，即语言处理通道和非语言处理通道。并且，读者为了理解插图文本，会对语言信息和视觉信息进行积极的选择、组织、整合（Schnotz,2005:57; Mayer,2005:31），但是这两个模型在基本假设上也有所不同，主要体现在对语言和非语言信息进行整合的阶段。

Mayer的CTML模型假设读者对插图文本的处理以小片段的方式进行，即从文字文本中选相关的内容然后再选择与其匹配的图片。如果我们将其与Hegary 和Just（1993）的观察实验作比较的话，就会发现这个假设似乎很合理。Hegarty 和Just的实验发现，测试对象先读一段文字然后查看描绘所读文字的图片。CTML因此认为语言信息和视觉信息分别在语言处理通道和非语言处理通道被组织起来（Mayer,2005:38-40）。CTML 认为这两种独立的模态通过彼此相应元素的映射以及读者的前知识被整合起来。也就是说读者通过建立两者之间的指称联系，从这两种模态中提取信息，从而形成一个单一整合的心理表征（Mayer,2005:40）。Mayer 将整合的心理表征看作信息管理和重新获取的有效方式。Mayer（2002:352-353；2005:31-32）的研究得出的一个主要结论就是他的“多媒体”原则，该原则称，插图文本比纯语言的无插图文本要更容易理解。

如果我们用Mayer的插图文本理解模型来解释插图技术文本的翻译，那么我们如何解释原语文本的理解过程呢？首先译者以小片段的方式阅读插图原语文本，对语言和非语言信息进行选择，然后将所选的语言信息构建成一个连贯的心理表征，将非语言信息也构建成一个连贯的心理表征，再通过前知识将这两个心理表征整合起来。因此一个特定翻译任务的输入可以看成一个由语言和非语言信息构成的单一心理表征，译者的任务是用目标语来明确描述这一心理表征。基于我们前面关于为了翻译而阅读的讨论，我们可以认为原语文本的理解过程也包括前知识，即译者在阅读原语文本的时候已经开始思考选取何种翻译方法来表示这些心理表征。

ITPC模型对阅读理解过程提出了不同的假设。最重要的一点是，它对Mayer的模型所提出的文字和图片处理过程平行进行的观点表示质疑。ITPC强调语言文本和图像以不同的符号系统为基础，而且采用的是不同的表征原则：语言文本是由不同符号组成的描述性表征，因此它和所代表的内容之间是约定俗成的联系。相反，图片是刻画性的，由图画符号组成，和所表示内容之间通过一般的结构特征相联系（Schnotz & Kurschner,2008:177）。因此ITPC模型认为读者在处理语言文本和图片时，构建起的心理表征要么是描述性的，要么是刻画性的，因为这两种模态是完全不同的，因此不可能相互映射而产生单一整合的表征（Schnotz & Bannert,2003:143; Schnotz & Kurschner,2008:177）。

根据ITPC模型，读者在理解文字文本和图片信息的过程中均会建立多重的和互为补充的心理表征。描述性表征又称为命题表征，刻画性表征也可称为心理模型。在读者阅读文字文本时，读者会对所阅读内容构建描述性命题表征，这个命题表征又会激发相应的刻画性心理表征，从而呈现出文字描述部分的典型性视觉特征。同样，读图时读者会构建刻画性心理表征，还会构建命题表征作为补充，以文字形式描述所看到的信息（Schnotz & Bannert,2003:145-146）。这些心理模型和命题表征不是单一整合的，而是以一种连续的方式彼此不断相互作用，ITPC将这种连续的过程称为“心理模型构建和审查”。这些模态中的任何一个都可能受到其他模态的解释或质疑（Schnotz & Bannert,2003:147; Schnotz & Kurschner,2008:180）。

根据ITPC的观点，插图技术文本的译者可能从选择相关的视觉或语言信息片段开始。然而，关于原语文本理解过程中所构建的心理表征的数目，ITPC和CTML模型的主张不同。ITPC模型认为，当译者阅读语言文本时，译者不但会对所阅读文字文本建立起命题性表征，还会建立相应的刻画性心理表征，以视觉的形式描绘所读的文字内容。同样，当译者获取视觉信息时，译者也会同时建立刻画性心理模型和描述性命题表征，以文字形式描述所获信息的典型特征。翻译任务的输入可能包括所有这些表征形式，它们之间既有可能相互补充也有可能相互抵触。而且，译者在考虑选取翻译方法前不一定会阅读完整个原语文本，而是在刚建立起一个或几个心理表征时就考虑其翻译方法。

3.3模型评价

20世纪80年代和90年代初，实证心理学领域做了大量的实验（如Hegarty & Just，1989,1993; Mayer，1998; Glenberg & Langston，1992）并得出结论：给一个文本插图会使其更容易理解，这个结论证明了前面介绍的Mayer的多媒体原则。在这些实验中，读插图文本的测试对象比对照组读纯文字文本的读者能更好地理解并回忆所读内容。这样的研究结果证实了以下结论：读者整合文字和图片信息，从而对它们构建起一个有效的单一整合模型，而不是对两者建立独立的心理表征（Hegarty & Just，1993：718），这也证实了Mayer的观点。

然而所有这些实验的设置背景均是图片和文字信息相匹配的情况：图片是专门为了以最佳方式支持文字内容而设计的。尽管实验结果对教材设计很有帮助，但是需要强调的是这些实验只是从有限的视角研究了对插图文本的理解。正如Schnotz和其合作者（Schnotz & Lowe,2003:119; Schnotz & Bannert,2003:153; Schnotz & Kurschner,2008:181）指出的那样，CTML模型忽视了一个事实，即对一个研究对象可以有多种研究方式。Schnotz和Bannert（2003）与Kurschner（2008）认为并不是所有插图都有助于一个文本的理解。他们的研究结果证实了他们的观点。图片只有以最佳方式和文字文本配对时，才有助于文字文本的理解，但是如果所配图片与文字主题不符的话，那么图片可能对文字文本的理解有消极影响（Schnotz & Bannert,2003:153-154; Schnotz & Kurschner,2008:187-188）。需要注意的是，此研究进一步证实了本文的假设，即插图文本的理解建立在两种不同模态共同作用的基础上。否则就无法解释为何插图的匹配程度会影响文字信息的理解。

因此，尽管CTML比ITPC更直接，但是它是否适用于两种模态意义不一致的情况，这一点仍需进一步证实。尤其是当两种模态明显地相互矛盾，读者是否还能够对语言信息和视觉信息建立起一个单一的、相一致的理解，ITPC模型则更适合解释这种情况，但是它也有自身的不足。比如，Reimann（2003:250）要求对这一模型的构建和审查阶段作更清楚的解释，这对本文的研究也至关重要。Reimann也怀疑这个模型对复杂模态在实际操作中的可测试性，他认为为了获得实证性支撑应该设计新的实验，虽然并没有说新的实验具体该如何设计。而且，近几年对人类大脑信息处理方式的怀疑越来越多，而这正是这些模型建立的基础（参考Sorden,2013）。比如，插图文本理解涉及到的情感因素开始引起研究者的兴趣，而在这些模型中情感因素的作用还没有考虑在内（Sorden,2013: 21）。总之，仅凭一篇文章很难说清楚哪种模型能更准确地描述相关的认知过程。但是尽管不能确定哪个模型更准确，我们前面的论述对翻译研究仍然有启示意义：当译者翻译插图技术文本时，译者对语言文本的理解以及相应的翻译方法都会受到视觉信息的影响。

4.结语及对未来研究的启示

本文的目的是探讨在科技插图文本翻译中考虑图片的认知意义。我们可以认为，译者的阅读理解过程从对两种模态传递的信息建立独立的心理表征开始。如果不同模态传递的信息相一致，那么它们会加强彼此的理解，因此很容易在不同的心理表征之间建立起紧密的联系。这样的结果就是，会形成一个单一的、整合的心理表征（如CTML模型）。但是如果两种不同模态传递的信息不相符，那么就不可能在各心理表征之间建立起有意义的联系。因此对文本的理解过程就涉及不同模态所表达的意义之间的协商、调停（如ITPC模型）。我们得出的结论是：不管原语文本传递的语言信息和视觉信息是融合在一起，还是相互抵触形成对比，这两者中的一个无疑会影响另一个的理解。于是译者所采取的翻译方法也是在两种不同模态之间协商、调停后作出的选择。

从更具体的层面来说，本文所讨论的内容对未来这方面的研究有以下几点启示：

（1）同样的语言文本，配有图片的和不配图片的文本，翻译方式可能不同；同理，同一篇语言文本如果所配插图不同，其翻译方式也可能不同。

因此，图片和文字配合才可能产生意义，缺少其中任何一种，都不可能有意义，可以假定，给文字文本配插图会改变译者对文本内容的阐释。那么，插图不同，译者的阐释也就不同。

（2）同样的图片对不同译者翻译方法的选择有不同的影响。因为个人对图片的理解会受到自身喜好和前知识的影响，因此我们可以推测，译者会以自己独特的方式理解图片。因此图片对翻译的影响视不同的译者而定。

（3）图片可能会加强译者对原语文字文本的阐释。

如本文前面论述的一样，当语言模态和视觉模态传递的信息相符合时，视觉模态可以更详细地说明语言模态的内容，那么图片所提供的信息就可能加强译者对文本的理解，减少文字文本中表达模糊的部分。

（4）如果语言信息和视觉信息相互矛盾，译者的任务可能会受到影响。

回到我们之前介绍的Schnotz 和Bannert（2003）还有Schnotz和Kurschner（2008）的实验，可以假设，如果文字文本所配图片不支持其内容，那么图片就可能对文字文本的理解产生消极影响。如同普通读者一样，译者的语言处理过程也涉及语言文本理解，所以这种情况会使译者的理解过程复杂化，加大了译者需要付出更多的努力，才能选择正确的翻译方法。遗憾的是，关于视觉和语言模态相结合的研究都没有解释当这两种模态传达的意义相矛盾时该如何处理，但是我们可以推理，这种情况同样加大了译者任务的难度。

（5）图片类型不同，对翻译过程的影响的方式也就不同。

以上的论述都是以技术翻译为例，建立在研究科技图片翻译的实验之上，但是也给我们一定的启示：即不同类型的图片对相应的文字文本的指导程度是不同的，在认知系统内，解释性的技术图片可能会影响它所说明的文字内容的组织和整合方式，但是如果所配图片仅仅是为了起装饰作用，那么它对文字文本的认知处理就没有很显著的指导（Mayer,1993:263-267），比如随便插入一束花的图片来装饰一首爱情诗。因此我们可以推断不同类型的图片以不同的方式影响译者对语言文本的理解，所以也就以不同的方式影响到译者对语言文本的翻译。也就是说，一个原语文本包括图片不一定意味着它就会受到图片内容的影响。

综上所述，本文认为，翻译插图技术文本时，翻译方法建立在对两种不同模态所表示的意义相互协商、调停的基础上。需要再次强调的是，读者自主决定在多大程度上对图片进行处理，因此插图技术文本的翻译中不可能每个阶段都出现对多模态意义的整合。这一点对翻译研究有很重要的意义。图片对插图文本的整体意义构建起着非常重要的作用：图片能够影响文字文本的理解方式，进而影响对文字文本的翻译，因此插图文本翻译研究应该重视对图片本身的考虑，而且本研究对相邻学科也有重要意义。如果插图文本片段的翻译能够反映意义从语言和非语言模态的相互作用中获取的方式，那么对这些翻译方法进行研究，就能为我们阐释两种模态之间的符号空间的性质提供一种可能的工具。换言之，翻译研究对多模态意义的生成可以提供很多帮助。然而要理解这方面更为复杂的问题，还需要进行大量深入的研究。因此，本文鼓励未来的研究对本文的研究结果进行引用、检测或完善。

注：参考文献略。请查阅《英语研究》纸质期刊或者知网下载原文学习。

卜键教授详解《金瓶梅》

让旅行带上文学与文艺的气息，止庵老师带你文化深度旅游日本

杨早博士带你领读中国历史的点、线、面

11位国内文学研究顶尖学者带你领略11位世界文学顶尖小说家

八万学者关注了语言学通讯