黄立鹤 | 多模态语言研究发展前景广阔

来源：中国社会科学网-中国社会科学报 

多模态语言研究就是关注人类语言使用的多模态本质，运用社会符号学及系统功能语言学视角下的多模态话语分析方法、多模态语料库语言学方法等，通过多种技术手段采集人们使用语言时各种类型的多模态数据。 

　　如今，“多模态”已成为横跨自然科学、工程以及语言学等领域的热门词，出现了多模态对话系统、多模态学习、多模态话语分析等前沿研究领域。不同的研究领域和范式对“模态”的定义和理解不尽相同。语言研究及相关领域中的多模态概念可归结为三种用法：一是沿用脑科学或生理学对模态的定义，将其视为感官及其相应的神经系统，多模态是人类通过感官与外部环境之间的一种互动方式；二是从符号学出发，将模态视为在社会文化中形成的创造意义的符号资源，多模态话语由多种表意资源符号形成；三是将模态定义为人机交互中的信息呈现方式，多模态就是人们使用多种感官模态，通过多种物理媒介，与计算机等机器进行信息交互。

　　无论上述哪一种用法，本质上都表明人类语言交际与发展均需要多模态感官系统支撑。人类的语言交际本质上是多模态的，除词句结构和话语内容之外，我们还可以通过手势、表情、韵律等非语言媒介进行意义构建。但传统上对语言问题的研究只关注言语文本的使用，而忽略了意义由多模态构建的事实，具有一定的局限性。

　　因此，多模态语言研究就是关注人类语言使用的多模态本质，运用社会符号学及系统功能语言学视角下的多模态话语分析方法、多模态语料库语言学方法等，通过多种技术手段采集人们使用语言时各种类型的多模态数据，发掘蕴含在音频、视频、脑电、图像等各种媒介中的各种信号、数据，从而多维地解读人们言语交际的意义及其发生机制。

　　相应地，语言学中与多模态相关的研究范式大致包括：符号属性的多模态研究范式、依托多模态语料库进行的研究范式以及神经语言学、人机交互及学习研究中的多模态范式。

　　有学者认为意义可以通过任何符号、任何模态、在任何层面进行构建。因此，符号属性的“多模态”研究范式将话语中的各种表意渠道或资源均视为承载意义的符号系统，这一范式的研究就是要考察这些话语是如何通过各种符号的组合、设计布局以及变化进行意义传递的。

　　多模态语料库是指音频、视频和文字语料等多种信息集成，研究者可调用多模态手段进行语料处理、检索（如视觉、听觉等）。多模态语料库的语料采集、转写、切分、标注以及建库与传统文本语料库均不相同。语言研究以人们与外界的多模态互动作为重要的数据来源，面对具有充盈意义的现场即时话语，多模态语料库语言学提供了目前较为理想的研究范式。

多模态研究在神经语言学、人机交互及学习研究等领域也有广泛前景。现代科技为研究者获取、加工、分析和检索多模态语料及开展人类语言使用的神经机制研究提供了充分条件。现代信息技术与人工智能的发展使得人类与外界信息交互的渠道和方式不断拓展，而人类语言交流的多模态本质又是人工智能、人机交互等前沿研究必须面对的关键问题。多模态学习研究则旨在考察如何充分利用计算机网络等多媒体材料进行学习，并验证多模态学习对所学内容的内化度、内容记忆的持久性、提高学习效率以及可穿戴设备、网络信息平台等对于学习方式、效果的影响等。

　　未来的多模态语言研究及相关领域应当重视以下几个方面：人类与外界多模态交互的脑机制究竟如何，言语障碍人士、其他脑功能受损人士或特殊人群的多模态交互有何特点（如阿尔茨海默症患者、文盲、自闭症儿童的言语交互），多模态交互技术如何帮助残障人士更好地与外界交互，多模态话语在社会传播中有何作用，多模态交互本质对语用学甚至语言学的经典理论有何改变或发展，多模态交互在语言与文化传承、人类文明发展中有何作用，如何利用多模态技术服务于人类学习，如何提升人工智能的多模态交互准确度等。此外，还可开展刑侦、法庭话语研究；可以利用多模态语言研究的方法，基于师生课堂现场即时话语，对课堂教学、教师发展、学习认知，甚至计算机辅助教学、网络远程教育等进行研究。

　　多模态语料库还可以进一步用于人文社会科学相关领域的研究，如戏剧表演、社会心理、政治行为、商业行为研究，等等。目前，国外已有运用大数据及相应分析技术的人文社会学研究，称为e-Social Science以及Digital Humanities，旨在通过大规模数据分析考察人们的交互模式和社会行为。

　　多模态研究与科技发展之间具有紧密联系，基于现代科技发展的多模态应用性研发不断拓展。从语言研究者的角度而言，多模态研究的蓬勃发展让我们看到了语言学承担的共同揭示人类行为本质、推动相关应用科技发展的学术使命，以及语言学跻身于先进学科、前沿科学的发展前景。

　　（作者单位：同济大学外国语学院）