读书小札| 从多媒体外语教学到多模态话语设计 ：《多模态话语分析与外语教学》

多模态话语分析是最近语言学界受关注较多的新兴理论，在社会符号学的理论基础上发展而来，该理论能够帮助分析众多的多模态话语现象。张德禄教授是多模态话语分析研究领域的重要代表人物，其新作《多模态话语分析与外语教学》能够推进中国外语教学的多模态话语设计建设。本文将对该著作进行内容的引介和分析,希望起到抛砖引玉的作用并推进多模态话语分析的进一步发展。 

一、引言

第一个提出研究多模态语法必要性的学者首推Roland Barthes。他在“图像的修辞”（The Rhetoric of the Image）但是直到20世纪90年代多模态话语分析才算真正发展起来。从系统功能语言学角度探讨多模态话语的首先是O’Toole(1994)与Kress和van Leeuven(1996)。21世纪之后，西方语言学界涌现出理论框架探索（Norris,2007）、多样体裁实证（O’Halloran,2003/2004, Hampel&Baber 2003）、转写技术研究（Baldry,2000）等多种研究视角（详见张德禄，2015）。我国多模态话语分析尚处于初创摸索阶段，张德禄教授主持并以“优秀”为鉴定的国家社会科学基金项目“外语教学课堂多模态话语研究”（08BYY030）重点探讨外语课堂教学多模态话语特点以及设计，近期出版了新作《多模态话语分析理论与外语教学》，全书18个章节涵盖了以下4个问题：课堂使用媒体研究、课堂教学各模态之间的关系、多模态话语分析理论框架设计和多模态教学选择系统。

二、主要内容

第一章多模态话语分析的理论基础是社会符号学。作者回顾了Saussure的语言符号学和Peirce的普通符号学的主要观点之后，指出多模态话语分析的理论主要源于Halliday在《作为社会符号的语言》提出“语言作为社会符号”的论断。社会符号学和以上提到的两种理论之间的主要差异在于，后者主要研究单个符号，而前者主要对符号系统如何在社会语境中生成意义的功能展开探讨。从社会交际现实看，语言是交际的首要媒介，但往往涉及其他媒介，比如广告可以体现为书法、书写、框架设计、演讲、绘画等不同的模态。每个模态系统在整个话语意义创建中都扮演者独特的角色，并与话语整体意义的建构中可以体现为：分离、隔离、融合、重叠、押韵和对比六种关系。

第二章多模态话语分析的理论框架。作者认为系统功能语言学给多模态话语分析提供了一个现成的理论框架：语境（情景语境和文化语境）、意义、词汇语法和音系。这样多模态话语分析理论框架也相应由上面五个系统组成，最后由物质实体声音或者书写印迹体现。元思想仍然是各种符号系统组织的基本原则，所以O’Toole(1994)与Kress和van Leeuven(1996/2006)也在讨论多模态语法建构时借用了Halliday的元功能思想创建了自己的分析框架。事实上，描述多模态话语的媒体系统就意味着对世界上所有事物描述，这当然是不实际的。因此，作者将研究范围聚焦在外语教学课堂中多模态话语媒体系统。笔者认为，这既符合我国众多英语语言学研究者身兼外语教育的社会现实，也是响应了Halliday提出功能语言学是“适用语言学”的学理基础。

第三章多模态话语的符号资源系统以及媒体系统。符号资源是一个言语社团进行社会交际的资源，是文化的表现形式，是所有符号系统的通称。本章重点探讨了物质的模态化过程。PPT主要为视觉媒体又兼具听觉媒体功能，可以播放图片、动画、音频、电影等。笔者认为，外语课堂教学中如果PPT多媒体功能没有被合理设计，不能协同各种模态实现教学目的，就会出现秦秀白（2012）批评的“课堂教学娱乐化倾向。”这也是第四章“多模态话语设计”的现实意义。

第四章是对多模态话语研究主要概念之一“设计”的探讨。设计是一个综合利用交际模态进行有效交际的概念。一方面，要把所需要的模态选择出来；另一方面还要组织模态，形成组合整体，最有效地完成任务。外语教学实际过程中，教师一般不会把所有的模态都精心设计，那样不仅会浪费大量精力和劳动力，也会禁锢教师的灵活发挥，所以设计者要把重心放在重点模态上。从设计的角度说，多模态话语设计与外语教学设计是不谋而合的，强调系统观、层次观和动态观（王峰等，2011）。

第五章构建多模态语法。O’Toole(1994)的《展示艺术的语言》是最早借用Halliday的理论研究视觉语法专著之一，具有开拓意义。但本书也发现了以往研究存在语法和语篇关系不清的弊端，提出了语法构建的原则和程序。

第六章多模态话语分析的研究方法。作者结合电视天气预报和交通标志牌的案例，详细阐述了定性方法、定量方法、比率一致法、体裁功能成分分层法和主位分栏分析法共六种方法。特别是后两种方法与系统功能语言学领域的体裁分析和主位分析有界面接口。目前多模态话语分析多数会选择图片结合文字作为分析对象，但是对视频等动态多模态语篇切分比较棘手。作者提出三个切分标准：语篇的最小意义单位是由视频切分的最小单位图像实现；经验意义转折点，意味着新过程的开始；前景化的事物和特征。

第七章多元读写能力的培养模式。在多模态交际中阅读路线（reading path）不同于单模态的线性发展，比如阅读图像就没有确定的规定如何读，因此有必要发展学生的多元读写能力。所谓多元读写能力（multiliteracies）是通过语言与非语言符号系统进行识解语篇和写作语篇的能力。从设计角度看，多元读写能力可以表现为：通过再设计来发展已有资源；在设计过程中发展模态选择能力；从提高多远读写能力角度设计学习目标。作者在本章就以上发展方式提出相应的培养策略。

第八章多模态课堂设计的环境和制约因素。西方外语教学界在90年代后，轰轰烈烈的教学方法改革热潮陷入司机，许多学者Pennycook、Prabhu提出我们已经进入“后方法时代”，不在于采用什么方法，而是如何使不同需求产生满意效果，即提升到设计的层面审视教学方法（王峰等，2011）。作者指出我国外语教学也曾出现“一窝蜂”、“一时热”、“一锅煮”等现象，这扎根于我国“以同统异”的文化语境，所以才表现出外语教学曾力图寻求放之四海而皆准的方法。那么怎样应对上述困境？作者采纳了Kress和van Leeuven(2001:51)“修辞/认识立场”的理念，即教材权威型、知识获取型、技能训练型、经历体验型和资源发展型。教学设计要以教学理念为指导，根据现在的教学环境、对象分析基础上才能制定自己的教学方法。

第九章多模态课堂设计的理论框架是对第八章的扩充。作者首先设计了教学理念与教学方法的匹配系统。比如知识获取型教学理念就适合选择语法翻译法、解释分析法；而技能训练型教学理念就较适合模式训练法、听说法等。本章还探讨了多模态选择最佳原则：有效原则、适配原则和经济原则。

第十章在综述Royce(1999)、Kress(2001/2003)、Jewitt等（2003）关于模态之间关系基础上，提出了一个都多模态语篇中模态互补性分析框架，其优势体现为：一是把体裁系统看作文化语境的一个主要组成部分，从而包含所有符号系统。这样在语篇建构中就可以对所有的符号系统进行选择；二是本模式把体裁系统和具体的体裁区分。交际者可以在体裁结构框架支配下，根据交际目的选择模态，不仅可以同时选择几个模态，也可以在语篇发展不同阶段选择不同的模态（张德禄，2015:187）。

第十一章多模态话语模态配合探索。作者选择一个大学英语竞赛录像，总长度28分钟，研究课堂教学涉及的口头模态（课堂师生口头话语）、PPT为载体的模态组合（图、文、音、影等）、师生课堂活动、师生手势身势、表情、课堂空间布局及其周围环境。诸多模态不可能面面俱到地分析，作者选用ELAN工具分析了口语和PPT模态组合，结果发现教师话语与PPT图像之间配合灵活，有时候是互补关系，有时候幻灯片的文字为话语模态提供指导，为口语语篇的发展提供了路径。在PPT形成的录像、配乐和配音之间共建意义，配乐烘托主题，抒发情感，配音是最明晰的话语，明确阐明话语整体意义和每个话步的意义，录像则是对配音的演示，即用具体事实说明。

第十二章多模态外语教学对学习态度的影响、第十三章PPT演示教学与学生学习绩效的相关性、第十四章课堂教学中多模态话语与学生学习绩效的关系，这三章是作者采取定量研究为主的实证研究，主要研究工具是里克特五分量表和测试法，共同点是从设计落地到多模态学习者的主观感受和实际学习绩效考察来验证已有理论设计。

第十六章作者发展了New London Group在1996年提出的“设计学习”（learning by design）。作者把整个学习置入“已有设计—设计过程—再设计”的框架中，突出了设计过程。通过“亲身经历、理论概念、批判分析、应用创新”形成的循环模式实施设计学习。本章强调意义是学习转换的对象，多元能力是学习的结果。转换时代的意义和能力又通过“学习者路径”转化为已有设计，进行下一轮学习。笔者认为多模态时代发展学生多元读写能力的理念，与我国教育技术学所提倡的“让有意义的学习活动发生”看法不谋而合（张祖忻，2009）。

第十七章多模态教学编写原则。作者分别阐述了纸质教材、电子教材和演示教材的编写原则，包括宏观编写原则和具体编写原则。宏观原则是任何教材都必须遵循的原则，比如协同、多维、共时、动态、链接性和网络性。具体编写原则又因教材类型各有不同，比如纸质教材与演示性教材比较，后者更凸显纲要性、重点突出性和整合性等。

第十八章是对整本书的小结。

三、简评

1.创新之处

作为一个发展历史不足二十年的新理论，多模态话语分析尚不成熟，也存在诸多争议，如多模态语法（特别是视觉语法）。张德禄教授的研究在理论上承先继后，注重外语部语境和人的认知因素对实践的支配和控制因素，提出了多模态教学的文化、认知、情景、认知、交际目的等支配和控制因素，这对于把理论应用于实践提供了有效的选择模式，如设计的外部和内部环境、多元读写能力培养的外部和内部环境等。

多媒体、多模态学习好比双刃剑。处理好可以把学习者注意力集中在知识点上，以达到强化记忆的作用，从而提高学习效果；处理不好相反会分散学习者的注意力，发生对知识点的记忆力的干扰，导致瞬间“热闹”而事后“空空”之感（顾曰国，2007）。笔者相信多模态话语设计和多元读写能力这些领域的研究深入有助于将多媒体教学和多模态学习落到实处。

笔者认为张德禄教授的这本书既重视发展理论创新意识又关注理论适用性和实际效果，总的说来具有以下特色：(1)旗帜鲜明地提出了多模态话语分析的学理基础是社会符号学；(2)多元读写能力是多模态话语分析理论在外语教学应用的必然结果也是社会发展结果；(3)批判性继承、扩充、发展了以Kress和van Leeuven(1996/2006)为代表的西方学者的研究成果；(4)总结了多模态话语分析研究方法；（5）展开了从多模态话语设计到课堂教学实施、教学效果的实证分析。

2．不足之处

笔者不揣深浅，指出书中“微瑕”。首先，第八章和第九章紧邻的两章有关于教学理念部分的内容重复，其实完全可以按照本书在第十七章提出的教材编写原则那样采用“链接性”。再者，本书在实际操作视频切分、标注的案例展示方面还略显单薄，特别是ELAN的软件比一般的语料库检索标注软件更为复杂，初学者不易掌握。第三，作者认为多模态话语分析有三种不同的方法：社会符号学、系统功能语言学和多模态互动分析。实际上，这三种方法都与系统功能语言学密不可分：它们都把多模态视作多种社会符号系统的使用（张德禄，2015:64）。但是，多模态意义建构是交际双方互动的过程，所以理想的理论框架应该融入大语言学学科生态，整合系统功能语言学、语用学、认知语言学等“功能主义阵营”的研究视角和工具。我国多模态话语分析尚未呈现这一趋势，而是“分而治之”的局面。比如，王毓等（2012）用心理空间和概念整合理论在解决多模态场景中指称歧义方面的应用。黄建玲（2012）从语用学经济原则解读国际学术会议PPT演示稿。戴建敏等（2013）借用Lankoff“理想认知模型”（ICM）理论框架，王林海等（2013）基于概念整合理论对隐喻识解机制进行解读。

笔者相信今后系统功能语言学、语用学、认知语言学、文体学等各个领域的语言学跨学科专家，以及来自教育技术学（特别是教学讯息设计、教学媒体设计）、人工智能等超学科同行，通力合作，打破学科壁垒，一定可以将多模态话语分析和外语教学设计领域日臻完善。

【推荐书目】张德禄.多模态话语分析理论与外语教学[M].北京：高等教育出版社,2015.

【本文】王峰、陈文.从多媒体外语教学到多模态话语设计——《多模态话语分析与外语教学》评介[J].语言教育.2016:(3)

上海语言学通讯【上海语言学通讯】公众号由同济大学博士王峰（电话[phone]）负责更新。主要收集发布1全国范围内英语语言文学的学术会议、研修班讯息；2上海各大高校的英语语言文学的学术讲座；3学术期刊和学术观点推送。我们也可以协助各地外国语学院邀请专家来讲学和科研指导。欢迎大家在平台留言更多精彩内容点击“历史消息”

推荐阅读：投稿与出版

读书小札：功能与语用

读书小札：认知与哲学

读书小札：翻译与文学

读书小札：外语教学