今日一词｜多模态 Multimodality

“语言学心得”

第 208 篇

【今日一词】

每天一词，一步一个脚印

一同扎进语言的海洋

多模态

Multimodality

多模态（multimodality）是指交流和表达总是依靠包括语言在内的多种符号模态（mode）来实现（Kress, 2001, p. 67-68）。

历史视角：

“多模态”一词最早于1990年代后期出现，在社会科学领域广泛使用。

多模态在不同且彼此独立的学术环境中几乎同时出现。例如，在美国，Charles Goodwin于2000年在Action and embodiment within situated human interaction一文中使用了多模态一词；在英国，Kress 和van Leeuwen 于2001年在Multimodal Discourse: The Modes and Media of Contemporary Communication一书标题中使用了该词。因此，多模态扎根于不同的认识论、理论以及方法论立场。

持多模态视角的学者认为，为了理解社会互动和意义生成（meaning-making）的片段，研究者应不止关注口语和文字信息。如若忽略图像、肢体动作等模态（mode），就不足以反映参与者建构出的完整意义。故，多模态认可所有信息的符号意义，对于口语、手势、图像、文字等信息给予同等的关注。

重要议题与争论：

多模态点明了研究对象，但不规定研究方法。故多模态可以被放置在任何主要的研究框架下，使用任何社会与认知科学研究的研究方法进行研究（Bateman et al., 2017）。许多多模态研究采用民族志（ethnographic）的研究方法，但一些多模态研究也基于语料库分析和试验性研究。

多模态致力于推动对于社会的批判性理解，涉及意识形态、权力、结构、能动性、声音、身份、社会变化、流动性、多元性等话题。

多模态强调对于社会互动、交流以及人造物（human artefacts）深入细节的记录和分析。它立足于对于信息“微小且缓慢（smallness and slowness）”（Silverman, 1999）的把握。

多模态聚焦于意义生成（meaning-making），致力于记录并分析信息的符号学意义。多模态认为，可以从审视细节的信息来研究社会世界。解释社会与符号学现象，细节信息，如页面的标点、肢体动作、对话交流中的音高变化都可成为分析对象。信息的选择并非基于形式与介质，而是基于它们生成意义的能力。

多模态也是片面的。记录和分析细节意味着研究者仅能分析微小的片段，对于所有模态（mode）的分析无法达到同样的细致程度；同时，目前学界呈现多模态的分析工具（analytical apparatus）以及符号资源（semiotic resources）十分有限。需要更多时间以及学者的协同合作构建多模态理论与分析框架以达到成熟。

资料选自 Bezemer. J., & Abdullahi. S. (2019). Multimodality: An introduction for linguistic ethnographers. In The Routledge Handbook of Linguistic Ethnography (pp. 125-137). London: Routledge.

参考资料：

Bateman, J., Wildfeuer, J., & Hippala, T. (2017). Multimodality. Foundations, research and analysis: A problem-oriented introduction. Berlin: Walter de Gruyter. 

Kress, G. (2001). Sociolinguistics and social semiotics. In Cobley, P. (Ed.) The Routledge Companion to Semiotics and Linguistics. London and New York: Routledge．

Silverman, D. (1999). Warriors or collaborators: Reworking methodological controversies in the study of institutional interaction. In S. Sarangi & C. Roberts (Eds.), Talk, work and institutional order: Discourse in medical, mediation and management settings (pp. 401–426). Berlin: Mouton de Gruyter.

相关研究

(1) Cowan, K. (2020). Tracing the ephemeral: Mapping young children's running games. Designs for Learning, 12(1), 81-93.

摘要：

幼儿的游戏是高度多模态的，手势、凝视、动作和言语通常同时结合在一起，共同创造意义。本文主张采用多模态社会符号学视角来看待游戏，仔细考虑引用多模态元素呈现数据。在本文中，多模态转录用于检查三、四岁儿童在英国幼儿园玩追逐游戏的视频记录。类似地图的抄本（transcription），包括动画抄本，用于记录他们的游戏过程，尤其注意参与者随着时间的推移在空间中的位置。虽然这样的游戏时刻起初可能显得短暂而混乱，但多模态转录以多种形式揭示了幼儿的交流、创造能力和主观能动性。抄本突出显示了角色和游戏规则在多种模态下每时每刻仔细协商的方式。类似地图的多模态抄本通常可能不会被看到或认同，但本文通过这种方式将多模态抄本视为突出意义的工具。

关键词：多模态；视频；转录；玩耍；早期教育

(2) Mavers, D. (2009). Student text making as semiotic work, Journal of Early Childhood Literacy, 9(2), 141-155.

摘要：

符号学工作是有原则地参与意义的生成。学校环境下学习的符号学工作需要以课程和课堂社会实践为框架解释和表达，并在不同的教学互动和活动中以多模态实现。本文对教师多模态构成的任务框架与学生在个人白板上绘画和书写的反应之间的关系进行微观检查，探究他们选择的资源，以呈现他们在课堂上的参与，使他们的文本契合他们使用文本的方式，并以适合该领域的方式呈现这些文本。这些转瞬即逝的文本只是在课程符号流中实现意义多种方式中的一种。尽管这些文本产生和擦除的速度很快，但是学生对符号学工作的投入是有原则的。认真研究他们的行为，对他们学习制作文本以适应不同的话语和体裁提供了支持。

关键词：绘图、干擦白板；多模态；符号学工作；社会符号学；文本制作；写作

注：所有摘要原文均为英文。

往期推荐

欢迎加入
“语言学心得交流分享群”“语言学考博/考研/保研交流群”请添加“心得君”入群

今日小编：栗子

审     核：心得小蔓

转载&合作请联系

"心得君"

微信：xindejun_yyxxd