好文荐读｜王帅、谷露芳：网络互动中的模态补充机制研究

 好文荐读（第24期）网络互动中的模态补充机制研究。

“好文荐读”不定期更新，为大家带来最新的核心期刊亮眼论文，希望大家多多支持，也欢迎给我们留言推荐更多值得一荐的好文哦~

网络互动中的模态补充机制研究

王帅 ，谷露芳 南开大学汉语言文化学院，天津，300071

文章简介

文章来源：王帅,谷露芳.网络互动中的模态补充机制研究[J].语言文字应用,2023(02):131-143.

摘要：网络互动正日益成为当代社会日常交际的重要形式。相对于面对面交际而言，网络互动存在“模态缺失”的情况，也形成了与之相对的“模态补充”机制。本文收集了以微信、QQ为代表的深层取向人际交流和以微博超话为代表的表层取向人际交流两类语料，基于这两类语料，我们探讨了网络互动中的模态补充机制。研究发现，在网络互动中，人们主要通过标点来补充语言模态中语调、停顿、重音、声音延长的缺失，通过各类表情包的使用来补充动作、表情及眼神模态的缺失。同时，本文还发现模态补充机制中存在“模态错位”现象，并探讨了该现象产生的原因以及网络互动与面对面交际的不同。

关键词：网络互动；多模态；模态补充；表情包

基金项目: 本文获教育部人文社会科学研究青年基金项目“互动语言学视角下的汉语语用教学库构建研究”（22YJC740079）的资助。

感谢《语言文字应用》授权推广，全文下载请点击文末“阅读原文”。

一.引言   

截至2022年12月，我国网民规模已达10.67亿，互联网普及率达到75.6%。网络已经成为我国公民获取信息、进行社会交往和社会参与的主要公共领域（方曙光，2014）。互联网的普及深刻改变了人类的交往方式及互动模式。网络互动已经深入社会生活，并逐步成为人类互动的一种主流方式。施春宏（2010）指出，网络语言研究同时具备“语言价值”和“语言学价值”。从语言生活的视角看，网络语言是当代语言生活的重要组成部分，对网络语言进行研究有助于和谐语言生活的构建。从语言学研究的角度看，网络互动是一种鲜活的语言现象，对其进行分析有助于探索语言在网络环境下的交际功能。

面对面交际可以同时传递听觉信息（词语、语调、语气、停顿、重音等）和视觉信息（表情的、眼神的、肢体动作的等）（韩志刚，2009），相比之下，网络互动的语码输出比较低效。以文字为主要载体的网络互动，信息传输受到诸多限制，如在网络聊天中，仅仅输入“好吃”“呵呵”这样的内容，听话人无法准确把握说话人所表达的意图和情绪。从模态使用角度看，面对面交际具有多模态性，网络文字互动则基本上是一种单模态表达，而这往往容易引起误解或造成不得体。在这种情况下，人们往往会采用一些手段来避免或化解这些误解，如使用表情包、使用特定的标点等等。这些手段我们可以称之为网络互动中的“模态补充机制”。

网络互动包括了文字互动、语音互动和视频互动三种基本形式。相对于面对面交际，这三种形式均存在“模态缺失”的情况，如视频互动可能缺失手势、身体姿势等模态，语音互动则进一步缺失了表情、眼神等模态。模态缺失最严重的无疑是文字互动，不仅缺失以上模态，还缺失了语言模态中的语调、停顿等。因此，本研究以网络文字互动为主要研究对象，梳理网络互动中的模态使用情况，并分析网络互动中的模态补充机制。

二.前人研究

（一）对电子语言及网络语言的研究

20世纪90年代，随着网络的普及，“电子语言”（包括网络即时聊天、博客、电子邮件、BBS等网络互动中的语言）开始受到研究者的关注，并逐步形成一个单独的研究领域——“计算机媒介交流”（Computer-Mediated Communication，简称CMC）。该领域的研究者对网络互动语言进行了开拓性的研究，代表性成果如Danet(2001）总结了电子语言的九大特征，包括多重标点、非常规拼写、大写、小写、强调用星号、图标、缩写、笑声描写、动作描述等。胡壮麟（2007）也曾探讨计算机中介交流在人机对话、虚拟社区、在线身份、性别差异、权势、公开性与隐私性以及文化方面的影响。但从语种看，电子语言的研究还是以英语、西班牙语、德语等西方语言为主，对汉语的研究还不够。尽管未形成专门研究领域，但针对汉语网络语言的研究也取得了一些成果。首先是对网络语言的类型，如祁伟（2002）认为网络语言包括了新词新语、英译词、英汉混合、图形符号、数字、缩略语等6种类型。其次是网络语言的特征，可基本概括为简略性、杂糅性/创造性、形象性和多媒体性（彭育波，2001；钟吉娅，2001；张晓苏，2012等）。对非文字语言符号的研究是汉语网络语言研究的又一重点，邓文彬（2009）探讨了网络互动中的标点变体应用，如表达开心的“：）”和表达难过的“：（”；赵爽英等（2013）探讨了表情包的功能，认为其有传达表情和表达情绪的功能，并增强了网络交流的虚拟性；郑满宁（2016）梳理了表情包流行的三个阶段，并探讨了其背后的传播逻辑。
（二）多模态及多模态视角下的网络互动话语研究模态（modality）是指一种以符号、文本或其他样式将信息呈现给人类的特殊编码方式，而多模态是“人类交流的正常状态”（Kress,2010）。多模态话语分析已成为广受关注的研究领域，如Norris(2004、2011a、2011b）构建了多模态话语分析的基本框架，具体包括了活动、模态密度、媒介等层次；Kress等（2001）提出了话语、设计、生产、分布等多模态话语分析的四个层次；张德禄（2018）则从系统功能理论的视角构建了更为完善的多模态话语分析综合框架，包括了文化语境、意义系统、词汇语法系统、媒介系统、实体系统等五个层次。这些研究为多模态话语分析提供了路径和工具。随着社交媒体的发展与普及，针对网络互动话语的多模态分析也越来越受到关注。如Pauwels(2012）构建了网络话语的多模态分析框架，用于分析不同网站的文化表达；Chan(2015）探讨了网络互动的多模态性与幸福感的关系。还有一些研究聚焦网络互动中表情包的运用，如Parkwell(2019）分析了公众人物雪儿（Cher）在Twitter中是如何通过表情包使用来构建意义和亲和力；Gray等（2020）从修辞角度探讨了表情包的作用，并为构建公共修辞的表情包体系提出建议。总体来看，前人对网络互动已有较全面的认识，对网络语言特征也有了初步的总结。但当前研究还须更深层次的思考，即模态使用和网络互动的特征存在怎样的内在关系？本文拟提出“模态补充”的概念来探讨二者的深层次关系。

三. 网络互动中的模态类型及使用特征

本研究基于网络文字互动来探讨网络互动中的模态补充机制。首先，我们收集了网络互动语料，归纳网络互动中的模态类型及其使用特征。所收集的语料可分为两类：一类是深层取向的人际交流，互动双方熟悉度较高，互动范围仅限于互动双方，如亲友通过微信进行互动，达到传递信息、交流情感、增进关系等目的；另外一类是表层取向的人际交流，互动双方或多方熟悉度较低，如粉丝通过微博超话的评论，来表达对公众人物的支持和喜爱等，这类互动主要是一种情感的表达和寄托。

对于第一类深层取向的人际交流，以语段为单位进行语料收集。所谓语段，指的是一个互动的发起、进行及结束的整个过程。我们收集的网络互动语段共计759段，语句10758句，共计41076字，其中包括118种表情包。语料主要来自微信聊天及QQ聊天，收集对象共计103人。所有语料均为自然语料，并取得语料提供者的书面许可。对于第二类表层取向的人际交流，我们收集了包含“热门”“明星”“飙升”“红人”“动漫”“影视综”“游戏”在内的7类微博超话，共计评论2159条38945字。

（一）网络互动中的模态类型

我们首先对网络互动中出现的模态类型进行归纳，发现文字互动中出现的模态包括了文字、标点、图片、表情包等4种类型，详见表1。下面分别对这4种模态进行说明。

(1）文字模态。文字模态又可分为规范文字和文字变体。规范文字承担了绝大部分传递交际信息的任务。从模态角度看，规范文字也有模态补充的功能，如网络互动中表达回应的拟声词“嗯嗯”“哦哦”等，就是补充了声音模态。

文字变体指的是以文字（本研究中主要为汉字）为基础，但在形式上又异于规范汉字的文字或符号。网络互动中的文字变体可分为字母类、数字类、“火星文”、混合类等4种。如网络互动中的“plmm”通过借用“漂亮妹妹”的首字母来进行交流；“886”和“521”属于数字类的文字变体，分别表示“拜拜了”和“我爱你”；“伱傃谁”和“你↓到我了”等是由符号、冷僻字或汉字拆分后的部分等非正规化文字符号组合而成的“火星文”；“I服了U”属于中英文混合类文字变体。

(2）标点模态。在网络互动中，标点模态可以分为两类，一类是标点的规范使用，如“……”“！”“？”，这些标点可用于补充停顿或语调的升降。另一类是网络互动中标点的特殊用法，如“：）”和“：（”，这些标点组合在网络互动中较为常见，但其作用不是为了表示停顿，而是用来表达说话人的情绪。

(3）图片模态。图片是网络互动中常用的模态之一。在网络互动中，图片可分为两种：一种是实物图片，主要功能在于传递信息或资料；一种是具有交际功能的图片，主要用于表情达意，例如一个男孩给女孩发送带有“今晚月色真美”字样的图片，其目的不是为了传达信息，而是为了表达爱意。本研究重点关注的也是具有交际功能的图片。

(4）表情包模态。网络互动中的表情包模态可分为姿势与动作类、情绪与情感类、直接行为类、表达形象类等4种（见表1）。其中姿势与动作类表情包又可分为手势动作、头部运动和身体姿势3种，如“”用于表达称赞、“”用于表达同意、“”用于表达拒绝、“”用于表达拥抱与安慰。情绪与情感类表情包又可分为面部表情和眼神两类，其中面部表情类常常通过面部多个器官的组合来表达情绪，如“”表达悲伤情绪，“”表达愤怒情绪；眼神类则主要通过眼神表达情绪，如“”通常表达无奈或鄙弃的情绪。直接行为类表情包用于表达特定动作或行为，有时包含文字注释，如“”表达飞吻，“”表达道歉。表达形象类表情包通常呈现为卡通形象，是对客观世界的形象化，不表达情绪或意图，如“”表示西瓜、“”表示房屋。

（二）网络互动中的模态使用特征

(1）互动文本的多模态性。我们通过调查发现，网络互动总体呈现出多模态性，很少有纯文字互动。在所收集的759段深层取向互动语段中，多模态语段（即同时使用两种及以上模态）共计636段，占总数的84%，而纯文字互动的占比不到17%；在2159条表层取向评论中，具有多模态性的评论共计1964条，占总数的91%。可见，无论是在深层还是表层取向的人际交流中，互动文本都具有多模态性。

(2）模态使用体现出个性和共性特征。在个性方面，我们发现不同性别、年龄、职业、文化程度乃至社会阶层等因素都可能造成模态使用的个性化差异，本研究着重探讨网络互动中呈共性特征的模态补充机制，对这些差异不做深入分析。

在共性方面，我们发现被试在网络互动中普遍倾向于使用表情包。根据我们的统计，在所收集的759段网络互动语段中有589段使用了表情包，占比达到78%；在收集的2159条评论中有1854条使用了表情包，占比达到86%。因此，无论是深层还是表层取向的交流，均倾向于使用表情包，其使用频率都明显高于标点模态和图片模态。此外，在特定类别表情包的使用上，也体现出一定的共性，如在深层取向的互动中，被试更倾向于使用手势动作类表情包，如“（抱拳）”“（OK）”“（点赞）”“（握手）”“（666）”“（胜利）”等，在589个语段中使用手势动作类表情包的共计363段，占比达到62%，在所有表情包中使用频率最高。而在表层取向的人际交流中，出现频率较高的是表达形象类和面部表情类表情包，如“”和“”，在2159条评论中出现的频率分别为18%和21%，但手势动作类表情包在表层取向的人际交流中占比不到7%。

(3）模态使用体现出修辞性。从修辞角度看，模态使用也是一种修辞行为。在网络互动中，模态的使用不仅能传递信息，还具有修饰语言表达的功能，如例1和例2。

例1:

例1中，说话双方是第一次交流，在互动中双方通过使用标点模态“～”和表情包模态“”，缓解了初次交流的尴尬，起到了缓和语气和拉近距离的作用，便于进一步沟通。

例2:

例2中，网友在偶像的微博动态下进行评论，通过在文字后使用标点模态“！”和表情包模态“”，来表达内心的激动和对偶像的赞美。

四.网络互动中的模态补充机制

前文归纳了网络文字互动中出现的模态类型，本部分探讨网络互动中进行模态补充的方式。

（一）面对面交际中的模态类型

Norris(2004）将互动中出现的模态资源分为空间距离、手势、眼神、身体姿势、头部动作、凝视等9大类。借鉴此分类，并基于日常生活中出现的实际交际模态，我们将面对面交际中出现的模态分为语言模态、动作模态、眼神模态、表情模态等4种类型（见表2），其中语言模态主要表现为语调的升降、声音延长、停顿、重音等；动作模态包括手势、头部运动和身体姿势等3类，每种类别又包括若干具体动作；眼神模态主要有凝视、斜视、眯眼、白眼等；表情模态则主要包括了高兴、悲伤、愤怒、疑惑等面部表情。

（二）网络互动中的模态补充机制

相较于能够同时使用多种模态的面对面交际，网络文字互动存在明显的“模态缺失”问题，也容易出现表达不得体、甚至引起误解的情况。为了更好地表情达意，人们在网络互动中往往会进行模态补充。下面我们对不同类型的模态补充进行详细分析。

1. 语言模态的补充

面对面交际中，交际双方可以通过语调的升降、重音、声音延长、停顿等模态来表达不同的情绪情感。对于这些模态的缺失，人们往往通过标点符号的使用来进行模态补充。

(1）语调和重音模态的补充

语调和重音本质上是对音高和音强的调整。根据对语料的分析，在网络互动中，人们主要通过标点符号的使用来补充语调和重音模态的缺失，如例3和例4。

例3:

例3中，双方在讨论如何选择专业，说话者A在询问对方的专业时，分别使用了一个“？”和两个“？”进行模态补充，补充了面对面交际中可能出现的语调（升高）模态。

例4:

例4中的网友在微博动态下评论“生日快乐！！！”，句尾连续使用了三个“！”，将句子的重音落到了“快乐”一词上，这也补充了面对面交际中可能出现的重音模态。

(2）停顿和声音延长模态的补充

在面对面交际中，人们常常会有话语间的停顿和声音延长，这种停顿和延长也具有特定的交际功能。如停顿通常表达欲言又止或无语无奈的心情，常在话语中间出现；声音延长主要表现为某个词语发音的延长，主要表达言之未尽，常用于结束对话，这样可以使对话结束得不太突兀。在网络互动中，停顿主要通过省略号来进行模态补充，声音延长则通过“～”来进行补充，如例5、例6和例7。

例5:

例5中，说话者A连用两个省略号来表达自己“欲言又止”或“不知道该怎么解释”的态度，同时也模拟了面对面交际过程中可能出现的停顿模态。

例6:

例7:

例6中，说话者A在文字“不客气”之后加上标点“～”来模拟面对面交际中“气”的延长，使对话的结束显得“意犹未尽”。例7中，网友在微博动态下评论“生日快乐吖～已经在听新专辑啦～”，通过在文字后加上标点“～”来模拟面对面交际中祝福的语气，也是对声音延长模态的补充。

2. 动作模态的补充

面对面交际中的动作模态主要分为手势、头部运动和身体姿势等3类。在面对面交际中，交际双方通常会通过动作姿势来配合语言表达，但网络文字互动无疑会缺失动作模态。根据我们对语料的分析，人们在网络互动中主要通过表情包的使用来补充动作模态。下文进行具体分析。

(1）手势模态补充

在面对面交际中，手势动作经常伴随语言模态（多是口语）同时出现，如和朋友打招呼时常常一边说“你好”，一边做出挥手的动作，起到辅助语言表达的作用。在网络互动中，人们主要通过表手势类的表情包对动作模态进行补充，如例8和例9。

例8:

例8中，说话者B通过发送“”动作的表情包表示与对方有着相同的感受和境遇，说话双方都需要晚上熬夜写作业，也模拟了面对面交际中可能出现的握手动作。

例9:

例9中，A通过回复“”的手势类表情包表达了对B的回复和认同，也模拟了面对面交际中可能出现的“OK”手势。

例10:

例10中，网友在微博评论的文字后加上三个“”的动作表示对动态发布者的赞赏，模拟了面对面交际中可能出现的竖大拇指点赞的动作。

(2）头部运动模态补充

面对面交际中常使用的头部运动有“点头”“摇头”等动作，分别表达赞同和否定等意义，在网络互动中常通过使用头部运动类表情包来进行模态补充，如例11和例12。

例11:

例11中，A向对方确认自己是否拿对了东西，B通过发送带有“”动作的表情包来表示肯定，模拟了面对面交际中点头的动作。

例12:

例12中，A使用文字模态询问B是否吃饭，B通过“”的表情包表示否定，传递了自己还没有吃饭的信息，这模拟了面对面交际中摇头的动作。

(3）身体姿势模态补充

在面对面交际中，人们常用“抱臂”“耸肩”和“拥抱”等身体姿势来表达特定情绪和态度，如“抱臂”表达冷漠、“耸肩”表达无奈或不屑、“拥抱”表示安慰。在网络互动中，人们主要通过表动作及姿势类的表情包对身体姿势模态进行补充，如例13和例14。

例13:

例13中，A向B表达了自己面试未能通过的不解，B通过回复身体姿势动作“”来表达对A的安慰和鼓励，模拟了面对面交际中可能出现的“拥抱”这一身体姿势。

3. 眼神模态的补充

在面对面交际中，眼神是传达情感和态度的重要载体，常见的眼神模态包括“凝视”“瞪眼”“白眼”等。不同眼神表达出不同的情感，如“凝视”表达专注或倾听、“瞪眼”表达吃惊、“白眼”表达嫌弃或无奈等。在网络互动中，人们主要通过情绪与情感类表情包来进行补充，如例14和例15。

例14:

例14中，B通过扮可怜的方式期待获得A的帮助，A则通过发送“”的表情包表达内心的嫌弃和无奈的情绪，模拟了面对面交际中可能出现的“翻白眼”神态。

例15:

例15中，A在知晓对方的开学时间后感到十分吃惊，因此发送了“”表情包来表达内心的惊讶，模拟了面对面交际中可能出现的吃惊眼神。

4. 表情模态的补充

在面对面交际中，表情是人们情绪表达的最重要的表征，常见的表情如“高兴”“悲伤”“愤怒”“吃惊”等等。在网络互动中，主要是通过带有面部表情的表情包来补充面部表情模态，如例16和例17。

例16:

例16中，说话者A担心宿舍环境较差，通过发送“”的面部表情包来表达内心的委屈和悲伤，模拟了面对面交际中可能出现的悲伤表情。

例17:

例17中B在请求对方帮助时，通过发送了一个“”的表情包，委婉地表示需要对方的帮助，模拟了面对面交际中可能出现的害羞表情。

此外我们还发现，由于表情模态是由五官组合形成的一种模态，因此与眼神模态有一定的重合之处。如例18，说话者通过发送“（赠花）”和“（眨眼）”的表情包来表示感谢，其中表情包“”既表达害羞的情感，也具有眼神模态的特征。

例18:

如前所述，为了弥补网络文字互动的“劣势”，网络互动中存在一种模态补充机制。综合以上分析可知，无论是深层还是表层取向的人际交流，其模态补充机制都呈现出共同规律，即二者都是通过标点和表情包的运用来配合文字进行模态补充，以达到传递信息和情感交流的目的，其补充机制如图1所示。

图1 网络互动中的模态补充机制 

五. 总结与思考

网络互动日益成为当代社会日常交际的重要形式。相对于面对面交际，网络互动存在“模态缺失”的情况，也形成了与之相应的“模态补充”机制。本文收集了759段深层取向人际交流语段和2159条表层取向的人际交流评论，基于这些语料，我们探讨了网络互动的模态补充机制。主要有以下发现：在网络互动中，人们主要通过标点补充语言模态的缺失，通过各类表情包的使用来补充动作、表情及眼神模态的缺失。在探讨网络互动模态补充机制的过程中，我们也发现了一些值得思考的现象。

（一）模态补充中的“模态错位”现象从前文看，网络互动存在模态缺失的问题，又有模态补充的手段和机制。但是，这种补充又不是“等量”补充，而是存在“模态错位”的现象，即网络互动中的一些模态使用频率和面对面交际时相差较多。细分来看，模态错位又包括“模态补充过度”和“模态补充不足”两种类型。模态补充过度表现在如下几个方面：（1）在网络互动中，动作、眼神和表情模态的补充在频次上明显高于面对面交际。以动作模态中的手势为例，在我们所收集的759段语料中，共出现了“”“”“”“”“”“”等7种手势表情包。“”和“”在手势动作类型的表情中使用频率最高，其次是“”和“”，并且经常出现两个或者多个相同手势表情包连用的情况。我们还对语料中手势表情包的使用频率进行了统计，发现使用手势表情包的语段占总体语段的29.2%，这说明手势表情包在网络互动中的使用较为广泛。而在面对面交际中，人们（这里指中国人）真正使用这些手势的情况并不多。再如表达拥抱的表情包“”，在面对面交际中极少使用（至少在中国文化语境中），但在网络互动中却较为频繁。（2）在网络互动中，人们会补充一些看似无需“补充”的模态。如形象类表情包（如“”“”等）和文字变体（如“plmm”“男盆友”等），这些信息可以通过文字模态传递，但在网络互动中人们会主动选择使用表情包和文字变体。模态补充不足主要体现在网络互动中的消极情绪表达手段的不充足。首先，表达消极情绪的表情包资源不够丰富，以微信常用表情为例，消极情绪的表情包数量要远少于积极的。此外，表达消极情绪的表情包往往并不极端，反而显得比较“可爱”，如常见的哭泣表情“”和“”，这样的设计在一定程度上起到了消解负面情绪的作用，但这导致了人们在网络互动（尤其是文字互动）中难于表达极端消极情绪的问题。因此，如需要表达极端情绪，人们往往会选择音频或视频沟通。也就是说，网络互动的设计更倾向于温和表达。
（二）“模态修辞”视角下的模态补充从修辞角度看，面对面交际以及网络互动中的模态使用，事实上都是利用模态进行修辞的行为，即通过模态使用来达成特定的交际效果，我们亦可称之为“模态修辞”，而模态错位可视作模态修辞的具体方式。那么，在补充机制中因何会产生模态错位的现象？我们认为，其深层原因在于面对面交际和网络互动是介质乃至规则不同的两种交际体系。面对面交际的模态使用取决于自身，如使用怎样的语气、配合怎样的动作、姿势、表情等等，都由自己决定。而网络互动需要借助网络互动平台所提供的补充模态（主要是表情包）以及一些语言符号（主要是标点符号）进行多模态表达，换句话说，网络平台所提供的表情包和一些标点符号构成了网络（文字）互动的模态修辞体系。这种修辞体系一方面受制于网络平台的模态供给，造成了网络互动的限制，如消极表达的不充分；另一方面也创新了模态使用方式，丰富了网络互动的模态表达，在网络互动中可以更容易地使用一些面对面交际中不太常用的模态，如拥抱、飞吻等等。换句话说，网络互动并非单纯地模仿面对面交际，而是在塑造一种异于面对面交际的模态使用规则，而这种规则更具“修辞性”，这也许就是许多人在特定交际中会选择网络文字互动，而非音频或视频的重要原因。本文对网络互动中的模态补充机制进行了初步探索，但还有许多研究有待深入和拓展，如不同群体网络互动中的模态使用有何特征，哪些因素可能影响网络互动的模态使用，以及网络互动中模态修辞的规则有哪些等。这些问题都需要更多更精细的语料分析，值得在未来的研究中进一步探索。
作者简介

王帅

王帅，南开大学汉语言文化学院讲师，硕士生导师。主讲课程有留学生汉语课、语言测试与评估、论文写作、调查及研究方法、汉语语言要素教学。主要研究国际中文教育、社会语言学。邮箱：[e-mail].

谷露芳，南开大学汉语言文化学院硕士生，主要研究国际中文教育。

本文来源：《语言文字应用》

点击文末“阅读原文”可跳转下载

推  荐

欢迎加入

“语言学心得交流分享群”“语言学考博/考研/保研交流群”请添加“心得君”入群请备注“学校/单位+专业/研究方向”

今日小编：东东咚  

 审     核：心得小蔓

转载&合作请联系

"心得君"

微信：xindejun_yyxxd

点击“阅读原文”可跳转下载