观点丨黄立鹤：多模态范式与后疫情时代的外语教学
摘要:全球已进入百年未遇之大疫情的持续影响期，而教育是受疫情影响最深的领域之一，外语教学呈现出了新的形态与方式。面对新冠肺炎疫情给教育关系、教育形态与教育技术等多个方面所带来的变革，多模态范式为外语教学创新提供了主体性、系统性、动态性、协同性等方面的思维启示。新冠肺炎疫情期间，师生互动的多模态亲历形式发生了改变，所构建的多模态充盈意义也相应发生了变化。探究如何调用多种感官模态，贴近语言学习的亲历过程，提升学习效率，是多模态范式带来的创新启示。同时，本次疫情作为社会发展进程中的重大事件，提示教育工作者要在外语教学中承担起超越语言本体教学的育人责任，结合世界与中国的重大事件与时间节点进行外语教学内容的多模态设计，在实践中构建多元能力教学框架，培养学生对现实世界和社会发展的关切与责任，实现中国特色社会主义大学的人才培养目标。从视角和方法来看，外语教学作为鲜活的社会活动，可从主体、活动、系统三个建模视角出发，结合多模态话语分析、多模态互动分析、多模态语料库研究、多模态认知研究、多模态教学技术研发等具体路径与方法，进行教学创新与科学研究。在此过程中，要特别注意四个方面的问题：（1）将多元读写能力的培养与学生的认知关联起来；（2）提升教师自身的多元能力以及信息素养；（3）重视从多维度、跨学科的视角对教学活动进行研究；（4）创新教育形态，优化外语教学系统。
关键词:后疫情；多模态；外语教学；研究范式；综合育人
1. 后疫情时代下高等教育格局与外语教学生态的改变
联合国于2020年8月专门发布了“Education During COVID19 and Beyond”的报告，指出新冠肺炎疫情对教育的冲击是史无前例且全方位的，包括外语教学在内的高等教育将受到新冠疫情的持续影响。目前，正值我国高等教育人才培养质量全面升级、高等教育人才培养体系全面创新、高等教育学习革命全面推进的历史机遇期。持续影响期与历史机遇期重叠交汇，既使得该时代背景下的外语教学充满挑战，同时也为其提供了转型升级的新契机。1.1变革与重构教育关系
联合国教科文组织早在2015年发行的《反思教育：向“全球共同利益”的理念转变》（2017年6月教育科学出版社出版）中指出：“当今的教育正在从传统的教育机构转向混合、多样化和复杂的学习格局……学校教育、正规教育机构与其他非正规教育机构开展更加密切的互动。”新冠肺炎疫情发生以后，不同形式的教育机构之间的关系发生了变革并开始重构。在学校组织形式上，原有各个学校、机构间相对封闭独立的状态被逐渐打破，通过网络虚拟联合体，各校间可共同开发、汇聚、享用教育资源。随着教师与教学资源的相互渗透，学校正规教育与课外非正规教育的关系、课堂教学与家庭辅导的关系、国内外教育资源的关系、整体化固定式学习与碎片化移动式学习的关系等都发生了改变。1.2拓展与融合教育形态
受疫情影响，教学话语活动从地面承载为主，逐步转向地面承载、网络承载及书面文字承载混合的多种话语活动形态。传统外语教学较大程度地依赖语言交际教学或课堂现场互动等方式（Walsh 2006，2011），即属于面对面的地面承载话语活动，这也是外语教学的固有教学形态。虽然在新冠肺炎疫情之前，同样存在着线上教学、书面自学等网络承载、书面文字承载的形态，但新冠肺炎疫情之后，传统的课堂教学形态在学生学习中的绝对主导地位下降，多种教学形态得以拓展，教学活动的话语不再以地面承载为绝对指导，而是转向了多种教学形态并行的混合形态，教学活动为师生提供跨时空、跨地域、沉浸式的融合互动体验。同时，以往外语教学作为正式学校教育的一种，是一种典型的机构话语形式，但随着线上线下教学形式的融合，外语教学话语成为机构话语与非机构话语融合的一种形态。1.3应用和升级教育技术
近年来，我国信息技术发展迅速，5G、人工智能、虚拟仿真、云转播、超高清视频等新兴技术迅速传播应用，相应的技术优势和市场潜力为包括外语教学在内的高等教育提供了跨越式发展契机，正成为推动我国高等教育变革的重要引擎。在这样的背景下，众多优质教育资源得以通过网络广泛传播。目前，我国高校的慕课数量和应用规模位居世界第一。外语教学界还专门成立了中国高校外语慕课联盟，建设了UMOOCs中国高校外语慕课平台。新冠肺炎疫情触发了“在线教学”及教育技术升级发展的快捷键。疫情暴发后，我国高校迅速反应，加速了智能教育与传统教育的融合创新，信息技术手段在教学中深度融合，给原有的教育理念、教学设计、教学方式、课堂组织等带来挑战，同时也释放了变革红利。当然，这场危机也使人们对地区间的数字鸿沟和相关的公平差距有了更深刻的理解。由于信息基础设施建设、互联网普及率的差异，各国和各地区在疫情期间的在线教育可及率或质量均不相同，教育的“数字鸿沟”亟待解决。2. 多模态范式与新语言观、新教学观
后疫情时代的语言教学发生了一系列变化。其中，多模态范式能够为外语教学与研究带来新的思考。多模态范式的兴起，实际上代表着一种新的语言观，同时也深刻改变着外语教学。2.1多模态与语言互动的本质属性
大脑神经影像研究的最新证据并不支持语言因素和非语言因素之间的原则性区分（Perniss 2018）。无论是从脑神经科学研究证据，还是从语言进化起源角度来看，多模态语言观正在被不断证实并普遍接受。有学者认为应当提出一种新的语言理论范式，与真实交际中的语言现象一致，并将其称为“语言行为”（doing language）（Andresen 2014；Kendon 2014）。“语言”存在于说该语言的人们的鲜活亲历中，这种鲜活亲历是多模态的。一个鲜活的、完整的人在交际中通过多模态感官系统参加造义活动（meaning making），这种造义活动涵盖了多种符号资源，并且涉及符号制造者、传递者及解读者的情感、心理、社会性等各个方面。本质上说，鲜活整人与外界之间的互动及造义过程是多模态的。语言的本质具备多模态属性，语言活动是人们通过与外界及他人进行多模态意义理解和表达的过程；语言的发生与发展需要多模态感官系统的支持，由此产生“多模态感官为基点”的语言学理论，是对语言能力天赋论的否定（但并不是否认语言的生物基础）；语言学习需要调用多模态感官系统，不断发展学习者在多模态环境中识解和构建意义的能力（顾曰国 2015）。目前，国外越来越多的学者明确提出，应该把语言作为面对面互动语境中的多模态表现形式加以研究。因此，研究对象应该包括各类模态信息，如韵律、手势、表情、身体动作等（Perniss 2018）。语言研究的对象并不仅仅是书面语言，应该是在真实世界中的语言使用与实践。2.2外语教学活动中的多模态现象
随着多媒体信息技术的普及与多模态研究的发展，学者们对语言学习过程的阐释超越了传统的“生成学派—心理语言学”和“互动学派—社会文化”等视角，开始重视其他表征模态（言语、视觉、音乐、手势等）和多种媒体（书籍、光盘、姿态、声音等）（Orrego, Farías & Obilinovic 2007）。多模态范式对于教学而言，是一种融合建构主义指导实践的教学策略应用。诸多研究都试图证明，通过多模态学习形成的体验意义，可增强学习者对知识和技能的内化度、提高记忆持久性，从而增强学习效果（顾曰国 2007）。在实际教学中，多模态概念以不同形式呈现，深入到各个环节，包括：利用多模态资源（文本、图像、视频、音频等）
构建多模态环境（空间、资源、布局等）
触发多模态互动（调用师生的多种感官模态进行意义理解与表达）
形成多模态教学策略（学习过程、评价方法和反馈机制）
发展多模态能力（多元读写能力）
产生多模态数据（用于教学反思与研究）
2.3外语教学的多模态亲历过程
前文已述，疫情之前的外语教学，以地面承载的话语形态为主，绝大多数师生互动属于现场即席会话（reallife face-to-face discourse），是典型的多模态互动。认知活动是亲历过程的一部分，师生在某个具体、真实、特定的时空里调用多模态感官系统，在教学和学习中不断亲历过程。因此，传统的外语教学是一种多模态感官系统支撑下的当下亲历与认知过程，形成了多模态充盈意义（Gu 2009；黄立鹤 2016）。在当下亲历过程中，个体调用全身的感官模态与外界进行交互，由此产生的经历是多模态的。如果外界环境有所框束（如无法在面对面的真实环境中交互，只能通过网络的音频或视频进行交互），虽然多数情况下个体仍然调用多种模态感官，但所调用的模态感官受到了限制，这就是环境框束性对交互的影响。我们知道，场景具有记忆激活、工作记忆减负和情感依附的功能，例如一时想不起来的事件到了当下场景时就想起来了（顾曰国 2016）。因此，在外语教学中尽量贴近学生今后真实外语交际的场景进行教学就显得非常重要，教学中使用多模态资源、构建多模态环境，包括虚拟仿真教学等，就是应用了这种原理。 新冠肺炎疫情期间，学生以线上学习为主，师生互动的多模态亲历形式发生了改变，所构建的多模态充盈意义也相应发生了变化。师生无法实现面对面完全真实的多模态互动，但可依赖信息技术，形成多模态亲历的“贴真”（或称仿真）状态，即尽量贴近真实的、面对面的现场即席会话，构拟贴近真实完整的多模态亲历过程。从实时语音到视频，再到虚拟仿真教学技术的应用，都是为师生尽量贴近真实的互动环境而创造的条件。外语教学研究既要关注师生互动的当下行为，如在地面承载的现场即席会话中的教学、学习行为，也要考察非当下行为，包括不同个体在不同时间和空间的学习行为等。如何调用多种感官模态，贴近语言学习的亲历过程，提升学习效率，就是多模态范式带来的研究创新。3. 后疫情时代的机遇与挑战：基于多模态范式的外语教学研究创新
面对新冠肺炎疫情给教育关系、教育形态与教育技术等多个方面所带来的改变，多模态范式为外语教学提供了思维上的启示。3.1多模态范式的思维启示
从思维方式上说，多模态范式带给外语教学的启示至少包括主体性、系统性、动态性、协同性。(1) 主体性
多模态范式之所以在外语教学中越来越受到重视，很重要的原因是教育者、研究者认识到多模态感官互动是人类沟通、学习与活动的本质属性。一般认为，在外语教学活动中存在教师和学生“双主体”。“双主体”之间存在多模态互动，且与教学效率密切相关。要提升外语教学的有效性，必须遵守教学活动中“双主体”与外界进行多模态意义互动的客观规律，包括客观认知规律、基本教学规律等。以学生作为学习主体的认知规律为例，多模态教学活动设计的根本是基于学生多感官模态的互动规律，提升教学互动作为一种人际互动的有效性。相关研究表明，在面对面现场即席会话时， 有效互动可增强人际神经同步（Jiang et al. 2012），且与多模态感官信息整合（multimodal sensory information integration）、话轮交替转换等行为显著相关，并不是简单的言语信号传递。同时，人际神经同步机制在非面对面、非实时互动的条件下也起作用，双方的脑活动同步性有助于听者或观众对后续信息的预测，以及预测成功时的愉悦感和持续参与感。外语教学中的师生互动也是一种社会互动情境，虽然面对面教学有其不可取代的优势，但知识成功迁移的根本原因在于交际双方对信息内容和加工过程的预测、基于预测的互动和调整，以及预测和传递成功基础上的愉悦感，人际间脑活动的同步性在不同教学生态下都可实现（冯丽萍 2020）。因此，多模态教学设计很重要的一条原则，就是要促进在各种教学生态下提升人际间脑活动的同步性，而在不同教学生态下各种实现手段的适用性，应当是教学设计中重点考虑的方面。强调主体性还意味着要完整地看待教学活动中的主体。从语言学流派上讲，这和伦敦学派创始人Firth呼吁从整人出发构建语言学理论（Firth 1957:19）是一致的。他提出，应当停止心灵与身体（mind and body）、思想与话语（thought and word）的二元对立，要把会话人视为与他人相联系、思维与行动形成整体的一个“整人”（the whole man)。同时意味着在外语教学与研究中要重视学生和教师的认知、情感过程以及各种行为。在外语教学活动中，师生是声情并茂、体貌丰富的“鲜活整人”，因此情感对于教学的影响不可忽略。(2) 系统性
系统是一个内涵十分丰富、多个学科领域共同使用的基本概念。人类的言语交际本质上也是一种系统——动态复杂系统。语言研究者要注重分析该系统中元素构成及其互动关系。从多模态的定义上看，无论是感官及相应的神经系统，还是社会文化中创造意义的符号资源系统，抑或是其定义为人机交互中的多种信息呈现方式，都属于“系统”的概念。事实上，多模态研究的一个主要任务，就要对不同符号资源表达意义的机制进行系统性分析。在复杂系统中，系统结构和系统环境以及它们之间的各类关系，决定了关联系统整体性及其功能。“系统性”在外语教学的过程中体现在多个方面，研究者要考虑涉及主体、环境、资源以及多个维度、多种因素的问题。例如，外语学习资源的系统性建设、教师对多种模态资源的系统性掌握、教学生态的系统性等。这里尤其要指出的是，思考后疫情时代的外语教学创新，不能只在教育体系的纵向序列中思考其定位和发展（如外语教学的知识能力衔接、难度变化等）、忽视横向的教学生态关系，而应兼顾系统中对外语教学效度产生影响的各类因素。(3) 动态性
言语交际本质上是动态复杂系统，因此语言并不是静止的物件，而是动态过程。正常人只要活着，就在与外界进行多模态交互，不停地做当下亲历与认知。这种鲜活亲历是一种不断填充信息的过程，会产生巨大的数据。因此，话语活动的亲历者就好比一个大数据存放与集成库，当下亲历与认知就是这个数据库的动态源泉，亲历过程就是在动态地往该数据库填写数据。同样地，外语教学也是一个不断填充多种类型数据的动态过程。无论是线上还是线下教学，个体通过多模态亲历过程，进行当下的鲜活体验（experiencing）；亲历所产生的结果成为认知记忆中的体验、经验(experience)，内化成知识、发展为能力。这种动态性特征要求研究者注重外语教学的过程，学习主体的体验，以及对语言能力发展过程的追踪等，在研究过程中要注意动态数据的收集。(4) 协同性
协同问题是多模态研究的核心，只有充分认识大脑的多模态协同机制以及人们与外界的多模态交互规律，才能开发服务于人类自身发展（如多模态学习）以及提升与外界交互维度和水平（如多模态人机交互）的相关技术。无论是教学话语，还是其他类型的话语，多模态研究要从机制上揭示不同模态之间的协同关系。在外语教学中，尤其要重视不同符号资源在多模态话语中的互补性以及在线上线下教学中多模态的协同性问题。这里的协同性不仅指外语教学实践中各种模态资源的协同，还包括教师、学生等主体如何识解模态的协同，在话语产出中如何构建协同，在多模态转换（multimodal exchange）、多模态搭配（multimodal congruence）等过程中的特征与规律（顾曰国 2015），以及外语教学情景下“多模态话语系统”是如何经过形式层面的组织和模式化后具备表达意义等问题。3.2疫情对外语教学中培养综合能力的呼唤：从多模态到多元能力
科技的迅速发展使人类构建意义的方式发生了巨大变化。随着人们对多模态话语意义构建的深入，学界认识到手势、眼神、身势、图像和动作等都是重要的社会交际手段，“意义”由视觉、听觉、触觉、姿态、空间等多重模态来构建，个体认知过程、情感表达及交流沟通等均需要调用多模态资源完成，形成了个体在“社会、文化和技术多样性背景下构建、交流和解释思想的一种方式”（Thwaites 2003），即“多元能力”。这是教育界的一种思维范式转变。因此，国际上已经提出要培养学生的多元读写能力（multiliteracy），学习的主要任务是发展多种模态符号系统的意义潜势、供用特征（affordance）等（张德禄 2012）。新伦敦小组（New London Group）针对语言文化多元化、交际技术多样化的挑战，探讨了多元读写教学的内容与方法，把“设计”（design）作为实现多元读写能力的重要概念。学生的学习过程是基于已有的各种资源进行选择，产出新语篇的过程（Kress et al. 2001）。显然，资源类型是多模态性质的，教师的任务是在多模态环境下培养学生的多元读写能力。例如，学生能够学会“设计”多模态文本表达意义、立场和态度等。在这样的背景下，外语学习的重点虽然是语言，但是要在真实的跨文化语境下实现有效交际，必须面向多种模态资源的实际语篇意义，掌握语言模态和其他各类模态的特征，认识到不同模态资源的优势或局限，了解在不同语境中的协同问题，以及模态资源的识解、选择和设计。教师要思考如何在教学中体现语言设计、视觉设计、听觉设计、姿态设计、空间设计等。同时，要思考如何充分利用数字技术帮助外语学习者在与多模态环境的互动中提高创新能力、领导力、多学科和跨学科合作能力，以及批判性能力、集体问题识别和解决能力（Greenhow et al. 2009）。事实上，多元读写能力的范围是很广的。从外语教学的角度出发，虽然语言能力是主要学习目标，但可以通过语言学习提升其他方面的能力，即要通过多种模态的学习，将语言能力提升与其他知识、能力的发展有机结合起来。有学者提出，外语专业本科生应该具有多元能力，包括：(1)与语言相关的能力；(2)现代社会、科技发展和形势变化要求培养的新能力；(3)除以上能力之外本科生应该具备的通识能力（张德禄、陈一希 2015）。结合这次疫情来看，疫情呼唤各类教育应该更加重视科学素养和理性判断。最为经典的例子是，2020年2月中国开始建立和运行方舱医院。这是一项重要举措，在疫情防控中发挥了不可替代的作用，也成为具有重要推广价值的全球公共卫生突发事件处理的“中国智慧”。方舱医院的设立和运行固然需要医学专业知识，但方舱医院具有三大特点和五大功能，包括工程设计施工、医疗资源分配、基本生活管理、病人心理疏导等多个方面（Chen et al. 2020），远非医学专业知识所及，提出并落实方舱医院这个建议需要相关人员具备跨学科的综合能力。可见，要真正解决社会发展面临的问题，不是单靠一个学科或专业就能实现的。外语教学内容和手段应该有跨学科思维，要涉及人文社会科学及自然科学的知识。教师要从上述这些认识出发，应该在外语教学中承担起超越原先仅仅是语言教学的综合育人责任，结合世界与中国的重大事件与时间节点进行外语教学内容的多模态设计（Huang 2018），在实践中构建多元能力教学框架，培养学生对现实世界和社会发展的关切与责任，体现中国特色社会主义大学的人才培养目标。4. 多模态范式下后疫情时代的外语教学创新与研究：维度与议题
基于多模态范式对后疫情时代的外语教学创新可从多个方面入手，相应的研究也可从这些不同视角进行建模观察。一般认为，对鲜活的社会活动进行建模通常有三个视角：主体、活动与系统（如图1），外语教学是一种特殊的社会活动，因此也可以从这三个方面加以分析。多模态话语分析：外语教材研究、教学课件设计、课堂话语与教育目标研究、外语教学价值观教育与课程思政
多模态互动分析：教师行为研究、学习行为研究、多模态设计与学习效率的关系、课堂话语与师生互动、碎片化移动式学习策略
多模态语料库：教学语料库建设与研究、学习行为语料库建设与研究、不同模态资源对学习过程的影响、教学评价与课堂“复盘”
多模态认知研究：教学资源与学生认知负荷、教学资源设计的认知原理、学生记忆力与注意力研究、多模态信息产生的促进或干扰效应
多模态教学技术：外语虚拟仿真实验教学、人机耦合教学技术、线上课程开发
（1） 要将多元读写能力的培养与学生的认知关联起来。要研究学生的“学习行为”，其中一个重要的内容就是多模态学习的认知荷载问题。该问题与教师的多模态教学资源设计密切相关。在多模态学习的过程中，学习者进行大量的认知加工，但其认知加工能力可能受到限制，即预期认知过程可能超过学习者的可用认知能力，从而导致学习效果的下降(Mayer & Moreno 2003)。因此，研究者就要弄清在什么情况下，学习者可能产生这样的认知过载问题（cognitive overload），同时多模态教学设计如何尽量减少不必要的认知负荷。这些都应该是多模态教学设计的核心考虑因素。在这一方面，Mayer的多媒体认知理论具有启示性，他构建了从感官记忆到工作记忆，再到长期记忆的认知学习理论。有兴趣的读者可以参考Mayer（2001）及Mayer 和 Moreno（2003）等。
（2） 要提升教师自身的多元能力以及信息素养。优秀的外语教师能力应当是多元化的，除人文社科相关知识外，还应有一定的科学素养和综合能力。同时，教师基于数字技术进行教学资源开发、利用多种模态资源进行教学内容设计的素养和能力，也将直接影响到多模态学习环境的构建、多模态意义的理解与表达。特别是在疫情影响之下产生的混合式学习语境中，教师如何才能为学习者提供更为灵活和个性化的学习途径及资源，为了达到这样的目的教师应该具备怎样的素养，都是值得思考的问题。事实上，疫情的发生给教师的教学能力提出了更多、更高的要求。因此，在线上线下教育形态融合的情况下，教师研究也应该受到高度重视。
（3） 要重视从多维度、跨学科的视角对教学活动进行研究，并形成提升教学实效的原则。首先要创新课堂教学“复盘”模式，改进教学评价体系。后疫情时代的外语教学评价模式呈现多元化趋势。无论是在评价内容和形式上都应该有所拓展与提升。在此基础上，教师可采用认知神经科学研究方法、教育学方法、行为学研究方法、社会分析方法、话语分析或语料库方法等，综合地对教学活动、学习主体认知规律等进行分析研究。例如，基于多模态语料库方法的研究，通过对课堂教学语料进行多层次切分与分析，实现对教师“教”行为和学生“学”行为的深入剖析，考察教学过程中师生使用各种意义创造资源的情况，如语言、手势、物件等，分析师生的认知过程、情感特征与学习效率等问题。在这一方面，有兴趣的读者可了解基于多模态范式的教师教学、科研和自身发展一体化“大师复盘模式”（Gu 2012）。
（4） 要创新教育形态，优化外语教学系统。除了线上线下的课堂教学或学生自学之外，还可以基于多模态范式，对外语教学的拓展学习体系进行构建和研究。所谓外语拓展学习活动，是较传统课堂教学而言在形式、内容与目标上更为丰富和创新的教学领域，如线上线下融合、多种形式的演讲、辩论、配音、戏剧、模拟联合国等主题性外语学习活动。学生在此类活动中进行多模态学习，运用多种感官对某种特定的学习内容或主题进行体验，从而形成对该内容或主题立体的意义感知（黄立鹤 2014）。
5. 结语
面对新冠肺炎疫情给教育关系、教育形态与教育技术等多个方面所带来的变革，多模态范式给语言研究、外语教学研究带来新的视角和方法，更是革新了思维方式。如何充分利用多模态范式研究外语教学、提升教学效果，对研究内容与视野方法等有所拓展与创新，是高校面临的现实问题。无论形式如何变化，教师及研究者都应充分认识到外语教学的多模态互动本质，充分利用多模态教学规律，使学习者亲历更加有意义的认知和社会实践，以及批判性理解的学习过程。从多模态范式到多元能力培养，后疫情时代下的外语教学不仅要在形式和内容上进行创新，更要从综合育人的高度加以考虑，这样才能符合世界高等教育格局的整体发展趋势，完成习近平新时代中国特色社会主义高等教育改革发展任务，顺应新技术革命对高等教育发展的影响。这是后疫情时代外语教学应该始终坚持的原则。节选自《当代外语研究》2021年第1期。
相关阅读