查看原文
其他

当期荐读 2020年第3期 | 协同搜索过程中用户交流内容与模式研究(内含视频摘要)

图书情报知识 图书情报知识 2021-03-13

ISSN 1003-2797

CN 42-1085/G2

双月刊

同行评审期刊



张璐1   张鹏翼2   刘畅2

(1.中国科学院文献情报中心,北京,100190; 

2.北京大学信息管理系,北京,100871 )


目的/意义


旨在分析协同搜索用户在信息搜索任务过程中的交流内容与模式, 从而理解协同搜索用户的关注重点与搜索过程。

研究设计/方法


基于书籍交互检索平台(CLEF-Social Book Search) 设计实验, 共招募18 名被试完成两种搜索任务, 通过录音记录对话并对其进行编码和分析, 总结交流内容特征和模式。结合任务类型、 认知类型组合、 服务器记录的搜索交互行为日志以及问卷收集的搜索体验进行了探索分析。

结论/发现


从交流内容上看, 协同搜索用户主要理解与评判书目信息、 商讨搜索任务计划;比起认知类型不同的用户, 相同认知类型的用户在操作交互方面交流更多, 在评判决策方面交流较少。交流模式依据讨论内容比重可分为理解评判型、 评判主导型、 均衡交流型三种, 评判主导型用户的任务完成满意度最高。

创新/价值


协同搜索用户的交流反映出搜索过程中需要与同伴商讨协同的焦点, 也是需要系统提供协助的重点, 给协同搜索系统设计提供一定参考。本研究针对协同搜索的交流内容设计的编码系统对相关的协同交流研究也有借鉴意义。

关键词


协同信息搜索  交流模式  协同检索策略  

信息行为  用户实验


01

引言


在信息共享的潮流下,协同信息行为研究得到越来越多图情领域学者的关注,研究协同信息搜索的特点可支持人们开展协同模式的工作。协同信息检索时,人们往往需要通过话语交流、线上对话、邮件说明等方式,共同商定检索策略、确定信息选取标准等。这些交流内容促使协同者明晰共同的目标、了解当前的进展等,是多人共同进行信息搜索时影响检索体验和检索效率的重要因素。已有研究通过分析交流内容,讨论了协同搜索用户的共享心智模型[1]、情感偏向[2]等。但总体上,关注交流内容的相关研究数量有限,也相对零散,且更多关注用户搜索时的交互行为与搜索结果,缺乏对协同搜索者交流内容本身的研究。实际上协同搜索者的交流内容中包含对任务目标的理解、信息选择标准等与搜索策略紧密相关的内容,能够更加具体地帮助研究者理解协同搜索过程。因此,为理解协同搜索者与同伴沟通协商的内容和过程,本研究分析同时同地展开协同搜索的搜索者的交流内容特点与重点,通过实验法记录协同用户在使用同一个搜索系统进行搜索时的交流内容、交互行为和搜索体验反馈,分析协同信息搜索过程的交流内容和模式,探究交流对检索体验和检索效果的影响,并对协同信息搜索系统的设计提出建议,为协同信息搜索系统降低沟通成本、提高沟通体验提供参考。


02

相关研究综述


2.1  协同信息搜索


协同信息搜索是涉及计算机支持的协同工作、信息检索、人机交互、交互式信息搜索等跨学科的研究领域。各学科对协同信息搜索的定义存在一定差异。Shah认为协同信息搜寻不仅是涉及协同的信息搜寻活动,还是有信息搜寻目标的协同活动[3],其对协同信息搜寻的定义是在参与者之间发生的交互、互惠的信息搜寻过程[4]。Foster[5]对协同信息搜寻和检索研究的定义是使得多个个体在信息搜寻、搜索、检索时能够合作的系统或实践的研究,该定义被广泛采纳。


协同信息搜索模式和类型通常可按照时间(同步/异步)和空间(同地/异地)两个维度划分,也有研究提出从知识空间、心理空间、文化空间、协同阶段、协同强度等多个维度细致划分[6,7]。本文为研究高效的交流过程,关注同步同地的协同信息搜索模式。


协同信息搜索行为研究可从多个切入点展开,本文围绕交流行为展开探索,有关交互行为、搜索体验的特征与影响已在另一篇文章[8]中详细描述与分析。


2.2  协同搜索过程中的交流内容及影响因素


交流是个体间开展协同的主要方式。Foster[9]认为交流是协同信息搜索行为的关键元素,协同成员需持续地交换搜索过程的信息,并互相警示以免误入歧途,才能使协同成员处于同一轨道。


部分研究采用内容分析法分析交流内容,试图理解协同搜索过程的特点。颜端武等[10]为分析协同检索旅游信息时用户的共享心智模型,收集协同者的对话内容并进行开放式编码,归纳得到7个内容范畴,分别是个体感知、任务分析、协作信息搜索、信息共享、团队决策、团队冲突和方案评估。邱瑾等[11]分析了协同检索过程中用户交流的时间、频率、情感词汇,发现协同能力越强、交流越频繁的用户越易表达情绪,且倾向于正面情绪;不同阶段情感变化不同,在计划、完成阶段需探索分工或编辑整理,会产生较多交流和情感词汇;复杂、困难任务中,用户会有高水平的不确定性和压力,负面情绪较多,波动较大。除了协同者的交流内容,也有研究探究其他共享信息方式的影响。例如Zhang等[12]用自制的协同信息检索平台检验知识共享的影响,发现仅有部分用户在部分任务中共享知识,用户共享检索式、领域知识、检索结果,但不共享有用程度评价,知识共享对搜索表现无明显影响,但与感知的任务难度关联较强。Shah[13]提出了协同搜索时交流的内容类型,包括任务协调类、任务内容类、任务社交类、与任务无关类,本研究借鉴了其内容分类,并根据实际的对话内容调整内容编码类型。


部分研究探究了影响交流的因素,例如协同者之间的关系、协同模式、团队意识等。Dinet[14]发现朋友协同比非朋友协同可能因矛盾或不一致产生更多交流,非朋友协同者常一致处于搜索状态。Yue等[15]发现比起异步协同中不明确的交流,同步协同中的明确交流可能启发用户构建检索式,且能够促进潜在交流。Shah等[16]发现没有团队意识的参与者与具备较高团队意识的相比,有相近的负担和满意度,但是前者使用的检索式显著更少,查看页面更少,交流更多,利用记忆和持续及时的交流完成任务。


2.3  协同信息检索系统中的信息交流


Shah[17]指出许多协同搜索系统的研究均认同系统需要提供交流功能,以支持用户开展协同的搜索。协同系统或工具需要为协同者提供沟通和分享信息的功能,才可能对协同检索过程和搜索效率有所助益。


部分研究探索了协同搜索系统中与信息交流相关的功能的使用特点与评价。González-Ibáñez等[18]认为协同信息搜索插件Coagmento能够有效辅助协调搜索,用户可以创建可共享的信息片段,并且对其评分,其他用户可以更新评分;可以在侧边的聊天版面交流;可以看到已收集的信息列表,包括保存的页面、片段、搜索式、注释、评分及文件,并可组织和整理这些信息。邱瑾等[19]用Coagmento开展实验,发现协同能力越强的用户使用推荐功能越多,且完成效果更好;用户普遍认为编辑功能、聊天工具有用,而标签、记事本、注释功能用处不大,协同能力强的用户对于能体现用户协同的工具(如推荐、提醒)评价较高。Capra等[20]评估协同搜索系统“结果空间”,发现被试使用协同搜索的功能不仅是为避免重复劳动,而且需要检查和提炼协同者们的工作,以获得对当前协同者们行动的总体理解,并得到构建新检索式的启发;虽然研究者期待被试能够运用协同意识机制来寻找和评价对象,但是发现被试更多地是对其他同伴评过分的对象进行评分。


部分研究者设计了协同检索系统,且注重协同者的交流与信息共享。Morris等[21]发现人们会在多种搜索任务中开展协同,包括旅行计划、组织社交活动,或者是完成家庭作业,因此设计了SearchTogether来帮助多个远程搜索者开展网页信息协同搜索,能够帮助用户灵活分配工作、自动生成会话总结等。Zhang等[22]认为在信息检索中共享知识对于提升检索表现很有帮助,设计了协同信息检索系统的原型,帮助搜索者能够共享相关性判断、检索式、搜索结果等。


综上,有关协同信息搜索的研究中,仅有少数研究讨论协同者的交流内容本身,相关研究相对零散且各有侧重。例如:颜端武等[23]通过交流内容探究事务型任务中共享心智模型的构建过程,但采用的是被试单独搜索的异步协同方式,未能探究同步协同的特点;邱瑾等[24]提取交流内容中的情感词汇分析协同者的情感偏向,但未结合交流内容分析情感词汇的出现原因。可以肯定的是,对协同者的具体对话本身展开深入探究,能更具体地理解协同搜索用户的关注重点与搜索过程。因此本文的第一个研究问题是:


RQ1:用户开展协同搜索时交流哪些内容?内容重点及特点如何?


有研究表明协同者的关系类型[25]、协同模式[26]、团队意识[27]均可能影响协同搜索,因此本研究招募的被试关系均为有协同搜索经验的朋友关系,并开展同时同地的协同检索。由于团队意识的影响主要存在于差异较大的用户之间,因此本研究通过控制关系类型与协同经验以减轻其干扰,同时关注可能增加协同难度的用户认知模式的差异。此外,任务类型应是重要的影响因素,邱瑾等[28]将任务划分为信息类、事务类、导航类,发现在难度可能最大的事务类任务中用户的负面情感较多;颜端武等[29]采用旅游信息检索任务,Zhang等[30]采用健康与转基因食物信息检索任务,二者未对任务类型的影响展开分析。总体来说,研究者设计的协同检索任务均有特定的主题,用户的认知背景差异可能造成干扰;所有任务均有特定的目标或要求,与用户日常主动进行检索的场景有差异。为避免认知差异的干扰,探究任务目标带来的影响,采用均不涉及特定主题的两类任务:目标型和探索型。本研究探究的影响因素包括任务类型和用户认知类型,因此第二个研究问题是:


RQ2:任务类型、用户认知类型是影响协同搜索用户交流的因素吗?如何影响?


此外,有相当一部分研究围绕协同搜索系统开展,设计信息交流或共享功能[31,32]或开展测评[33,34]。实际上,为更好地辅助协同信息搜索过程,以降低沟通成本、提高沟通体验,首先应该研究高效的交流过程有何特点、挖掘用户潜在需求,因此本研究实验采用同时同地的协同模式,以便用户能够最大程度地进行沟通。同时,协同信息搜索系统若想更好地服务用户,应该个性化地基于用户的交流习惯调整辅助重点,因此理解和识别不同的交流模式能够帮助系统更好地服务用户。据此提出本文的第三个研究问题:


RQ3:协同搜索用户交流存在哪些模式?不同模式用户的检索行为和检索体验有何差异?


03

研究方法


3.1  实验设计


本研究采用的实验系统为信息检索开放评测平台(Conference and labs of the evaluation forum, CLEF)下的书籍交互检索专题(Social Book Search Interactive Track)提供的在线搜索系统[35]。实验系统中设置了搜索任务并提供了任务描述、搜索前后的问卷,被试登录系统后按照系统指引完成搜索即可完成整个实验。服务器端记录被试的交互行为日志和问卷结果,具体数据参见另一研究[36]。我们通过网络讨论版招募了来自北京大学的18名学生(15名本科生,3名硕士生)参与实验,其中16名女生和2名男生,2人一组被分为9组。为保证被试组有相近的熟悉程度,未招募较少进行协同搜索的男生。


实验系统的英文书籍集中在人文领域,为减轻英文阅读能力、文化认知背景等因素的干扰,要求被试需具备良好的英文阅读能力(英文专业或已通过大学六级英语考试),且具有一定人文学科背景。每组协同被试均需完成两个搜索任务,被试执行检索过程中的对话交流被录音保存。


实验开始前,测试每一位被试的认知类型,以体现被试在接受和处理信息时的偏好和习惯的方式。测量平台为爱丁堡大学Elizabeth R Peterson教授2003年开发的认知类型分析测试(Cognitive Style Analysis-Wholistic Analytic Test, CSA-WA)[37],要求被试10分钟左右对一系列图形的差异进行判断,测试结果包括整体(Wholistic)和分析(Analytic)两种认知类型上的分数,及二者的比值(W/A)。18名被试中6名为分析型(A)、12名为整体型(W),分别组成2组同为分析型的被试组(AA)、2组分析型-整体型的被试组(AW)、5组同为整体型的被试组(WW)。


实验系统CLEF设置的第一个任务为目标型(Focused)或探索型(Open)任务,对背景知识没有要求;第二个任务为特定主题任务。任务的中文描述文本如下:


(1)目标型任务:想象你参与了一个在荒岛上开展的持续一个星期的实验。那里没有人、电视、广播和其他分心的事务。允许你携带的只有5本书。请搜索并添加你想在荒岛停留期间阅读的5本书到购物车中:其中选择一本与荒岛生存有关的书、一本让你学习新事物的书、一本与你个人兴趣爱好有关的书、一本被其他用户强烈推荐的书(基于用户评分和评论)、一本用来休闲娱乐的书。


(2)探索型任务:想象你在咖啡馆/酒吧/机场/你的办公室等候与朋友见面。在等待时,你发现了这个网站并且展开探索,搜寻你觉得感兴趣的,或者吸引人的,或者有关的……任意书籍。请随意展开搜索,直到你实在感到无聊。当你找到有趣的书籍时,请将其添加入购物车。


(3)特定主题任务:你对伊丽莎白时代(英国王朝,1558—1603)的书籍感兴趣,已经阅读过乔治·盖瑞特(George Garrett)的《狐之死》(The Death of the Fox)和《继承》(The Succession)。你想要找到与此主题相关的其他书籍,小说或非小说均可。请利用网站的任意界面,找寻满足条件的一本或更多的书籍。


3.2  交流内容编码


将被试对话的音频转录为文本后,对其进行单元划分和编码。采用扎根编码的方式,预先不设定任何的主题和类型,尽可能地忠实于原始对话内容进行编码,再提炼出主题的类型以开展分析。划分文本单元时遵守主题唯一的原则,即一个文本单元只可编码为一个主题,同时也要保证文本单元的完整性,避免出现连续两个单元被编码为同一主题的情况。具体编码过程如下:


(1)选取3个不同组的对话文本进行试编码,划分文本单元并标注其主题,主题经由三位研究者共同讨论形成以保证客观性,主题名称尽量简洁明了地准确描述交流内容;


(2)对全部的编码主题进行提炼和归纳,得到编码类别,进而形成编码表,定义每个编码类别、编码主题描述的内容;


(3)一名编码者根据编码表对所有对话文本进行单元划分和编码,同时招募一名新编码者学习和理解编码表,并独立地对所有对话文本进行单元划分和编码;


(4)上述两名编码者讨论和修改编码表的不合理之处、不一致的编码结果,直至达成一致,确定最终的编码表和编码结果,如表1所示。



四个编码类别的定义及主要内容如下:


(1)操作交互类:与鼠标、键盘操作紧密相关的讨论。例如输入何检索式、点击查看何信息等。由于协同搜索者是在同一台电脑上进行搜索,此类交流不可避免。


(2)学习理解类:对新信息理解的表述。对被试来说需要不断消化任务、系统、书目带来的新信息,协同时被试需要讨论对新信息的理解以达成相对一致的认知。


(3)决策评判类:涉及选择或决策的交流。例如书目的取舍、任务完成状况判断等,此类交流最能体现被试间的协同,双方必须通过交流并最终做出一致的决策。


(4)计划协调类:把控协同进度和状态的交流。包括讨论计划、询问对方目的以跟上其进度、替换主操作者的交流。此类交流虽然较为分散,但却必不可少。


对话文本经过编码后,每个任务的交流内容可用各内容类型、内容主题的出现频次和占比描述,还可用交流量相关指标描述被试交流特点,各指标计算方法如下:


(1)交流量:对话文本字数。对话往往不具有完整的句子结构,因此用字数衡量交流量。


(2)协同者交流量的差异:使用两名对话者的交流量的差值来衡量对话者的交流差异。


(3)编码单元数:指对话文本被划分的编码单元个数,用于衡量交流内容要点数。


(4)单位时间交流量:平均每分钟的交流量=交流量÷任务时间,用于衡量交流速度。


3.3  搜索体验与交互变量


为分析交流特点对搜索体验是否有影响,在搜索前后的问卷中用李克特量表测量了搜索体验,例如要求被试评估对搜索话题的熟悉程度:您对这个任务涉及领域的熟悉程度如何?1-完全不熟悉;2-不是很熟悉;3-有些熟悉;4-非常熟悉。测量问卷详见另一研究[38]。搜索前后均测量搜索话题的熟悉程度、搜索任务的难度、同伴能减轻压力的程度等,搜索后还测量获取信息的丰富程度、搜索任务的完成情况、同伴能起到帮助的程度等。


后台服务器记录的搜索日志记录了被试在浏览、决策方面的行为特点,具体指标包括任务时长(min)、搜索次数、检索式长度、添加/删除书目次数、购物车书目数、翻页次数、切换界面次数、查看书目详情次数等,具体指标定义详见另一研究[39]


04

研究结果


4.1  协同搜索过程中的交流特点


交流量有关指标直观地体现协同被试交流的长度和速度。实验中共9组协同被试完成18个协同任务,协同完成的任务总时长310.42分钟,总交流量达27,801字,对话文本总共被划分为1,320个单元,平均每个任务时长17.25分钟。


交流内容可分为四种类型:操作交互类(B)、学习理解类(L)、评判决策类(J)、任务协调类(TC)。所有交流中,学习理解类占比最高(33%),其次为操作交互类(28%)、评判决策类(27%),任务协调类的内容最少(12%)。平均单个任务中,学习理解类(31%)和评判决策类(30%)的占比接近,其次是操作交互类(26%),任务协调类最少(13%)。可能是由于不熟悉系统、任务,被试较多地讨论学习理解类内容,包括理解系统功能、书目信息、任务描述;讨论具体操作和评判决策的内容比例较接近,可能是由于操作和决策往往同时发生;讨论任务协调类最少,说明被试在协同时主要精力不在协调类活动上,协调类讨论越少,可能体现协同被试更默契、协同搜索过程更顺利。


各主题的交流比例见图1,被试投入最多的沟通成本在书目的理解(L3)和评判(J1)方面,任务要求被试共同挑选书目,协同者几乎在每次决策前都进行了理解和评判交流,这可能表明书目信息存在一定的学习理解难度,也体现出被试较高的协同程度和投入程度;比例排在第三位的是任务计划(TC2),远高于任务理解(L1),表明任务计划在过程中可能会不断细化或改变,协同者需要及时进行调整和同步。沟通比例高的行为和操作,应是协同信息搜索系统设计时需要重点考虑的辅助对象。


具体观察各个主题:学习理解类(L)交流中,被试讨论学习系统(L2)的比例略高于讨论任务理解(L1)的比例,但整个实验中系统唯一、任务不同,可能原因是首次接触实验系统或系统存在使用难度,即使实验前经过系统教学但被试仍然讨论了不少系统学习的内容。操作交互类(B)交流中,被试讨论话题和标签的选择(B3)多于讨论检索式的构建(B1),选择话题和标签往往是为了限定检索范围,和检索行为往往相伴发生,讨论比例存在差异可能原因是比起话题标签选择,被试在检索式构建方面有更多默契,或决策难度更低。评判决策类(J)交流中,被试对书目进行评价判断(J1)占绝大部分讨论,但少有书目间的比较,说明协同时主要是对单本书目做评判,很少需要比较书籍。书目选择标准的讨论也较少,可能是任务要求已足够清晰或协同被试间有较好的默契。任务协调类(TC)交流中,被试主要讨论的是任务计划(TC2),实验过程中允许更换操作者,实验主持人观察发现大部分组的操作者保持不变或偶尔更换,但也出现不定时更换的协同组。所有交流中仅出现3次更换操作者(TC1)的对话,可能说明被试间存在较高默契度,并不需要每次都明确表达出更换需求,通过眼神或肢体动作即可完成更换,但此类沟通方式仅可能发生在同时同地的协同模式中。当用户使用协同搜索系统开展异地的协同检索时,也会存在更换操作者的需求,系统设计者可以进一步评估该需求,进而设计便捷更换操作方的功能。



4.2  影响交流的因素


影响协同被试交流的可能因素包括任务类型、被试的认知类型组合。


任务类型包括目标型任务与探索型任务。采用独立样本t检验的方法检验,发现不同任务类型的交流量、四类交流内容频次及占比无显著差异,但交流主题中任务理解(L1)的交流频次在不同类型任务中存在显著差异,在目标型任务中有关任务理解(L1)的讨论频次远高于探索型任务(M目标型=7,M探索型=2,t=3.162,p=0.034)。该结果符合任务类型特点,在目标型任务中,被试需要对任务文本描述的情境和目标做更多的学习理解,因此交流频次更多,但从占比来看不存在显著差异。


被试的认知类型组合包括由分析型(A)、整体型(W)组合成的AA、WW、AW三种组合。采用单因素方差分析的方法检验,发现不同认知类型组合的被试完成任务时:双方交流量差异、编码单元数均不存在显著差异;讨论操作交互类(B)和评判决策类(J)内容的比例存在显著差异(pB=0.031,pJ=0.004)。


观察不同认知类型组合的被试组讨论操作交互类(B)、评判决策类(J)内容的比例(见图2),AA组合讨论操作交互类(B)内容的比重显著高于AW组合(p=0.025),其他比重差异不显著。


采用单因素方差分析(正态指标)、非参数检验(非正态指标)的方法检验各个讨论主题的占比,发现不同认知类型组合的被试组对翻页/上下拉(B4)、书目理解(L3)、书目评判(J1)、任务完成判定(J5)的交流比重存在显著差异(见图3)。翻页/上下拉(B4)的交流占比,AA组合比AW组合显著更高(p=0.018);书目理解(L3)的交流占比,WW组合比AW组合显著更高(p=0.003);书目评判(J1)、任务完成判定(J5)的交流占比,差异检验不显著,可能是样本量较小造成的。


以上结果表明,认知类型相同的AA组和WW组的差距往往较小且不显著,差异主要在相同认知类型组合(AA、WW)和不同认知类型组合(AW)之间。这可能表明,认知类型相同的被试比认知类型不同的被试,交流时更为偏重当前操作,不偏重信息的评判和决策,一定程度上反映出认知类型相同的被试间存在更多共识和默契,二者对信息的评判更容易达成一致,因而更关注当前的操作行为以推进任务进行。



4.3  交流模式及影响因素


分别从交流频次高低、交流内容比重分布的角度探索交流模式,采用K-均值聚类方法。


对各交流主题的讨论频次聚类,得到两种交流模式:频繁交流型、非频繁交流型。表2所示为两种模式的聚类中心,频繁交流型在查看数目详情、话题/标签选择、系统学习等11个交流主题的讨论频次上显著高于非频繁交流型。



对各交流主题的讨论占比聚类,得到三种交流模式:理解评判型、评判主导型、均衡交流型。表3展示了三种模式的聚类中心,三种模式在话题/标签选择、添加/删除数目、数目理解等5个主题的交流占比上存在显著差异。三种模式体现了讨论内容的侧重和分布。


(1)理解评判型:以书目理解、书目评判作为主要的交流内容,对书目理解的讨论比重最高,显著高于其他两种模式;


(2)评判主导型:有40%的比例在讨论对书目的评判内容,且对任务完成判定、任务理解、添加/删除书目的交流比重显著高于其他两种交流模式,但对书目理解的讨论比重显著低于其他模式;


(3)均衡交流型:讨论比重较大的是书目理解、书目评判、任务计划,整体而言几乎涉及全部主题的交流,比前两个模式的交流主题比重分布更为均匀,没有显著突出的比重。


4.4  交流模式对搜索体验和搜索交互的影响


4.4.1  不同交流模式下的检索体验

交流频繁与否、交流内容重点偏好都可能对任务完成的效果及体验产生一定影响。


采用非参数检验2个独立样本的方法,对比频繁交流型和非频繁交流型被试的检索体验。搜索前后的任务难度评估、搜索前话题熟悉度评估、搜索后信息丰富度和完成满意度的评估均不存在显著差异,但在搜索后,频繁交流的被试比非频繁交流的话题熟悉度显著更低(中位数相同,均值:M频繁交流型=2.63,M非频繁交流型=3.10,U=48.00,p=0.048)。在搜索前对任务话题熟悉度的评估不存在显著差异的情况下,频繁交流可能体现出被试仍不熟悉话题,因此进行较多学习交流,但搜索后对话题熟悉度的评估仍不如非频繁交流型的高。可能是因为频繁交流的被试已达到Kuhlthau[40]的搜索过程模型(ISP)中的探索阶段,获取的新信息太多导致不确定性升高、更加困惑,而非频繁交流的被试还处于相对乐观的状态。


采用非参数检验K个独立样本的方法,对比理解评判型、评判主导型、均衡交流型被试的任务体验。搜索后对任务完成情况的满意度评分存在显著差异,评判主导型的被试评分最高,理解评判型和均衡交流型的被试评分相同(M理解评判型=3.00,M评判主导型=4.00,M均衡交流型=3.00,卡方=8.76,p=0.013)。可能是因为评判主导型的被试偏重关注每一次评判和决策,在这方面的投入更多,因此对任务完成度的心理评分更高。


搜索前后均测量了同伴能减轻压力的程度,利用二者的差值来描述被试的压力变化。根据图4频繁交流型和非频繁交流型模式的被试不同的压力变化比例来看,频繁交流的被试能够交流较多内容,表明被试之间可能存在较高的默契度,因此搜索前后压力降低的比例较大,但也存在因矛盾和冲突产生更多交流的情况,因此压力升高的比例也微大于非频繁交流模式的被试。


根据图5理解评判型、评判主导型和均衡交流型的被试不同压力变化比例来看,进行理解评判型交流的被试压力降低的比例相对较大,而进行均衡交流型交流的被试压力升高的比例相对较大;进行评判主导型的被试压力无变化。可能原因是:进行理解评判型交流的被试讨论了较多的信息理解和评判,共同学习了新系统、新信息从而减轻了压力;评判主导型被试虽然重点讨论的是书目的评判,较少讨论书目的理解,但其压力没有升高也没有降低;均衡交流型被试在信息理解和评判方面讨论的比重较低,因此任务中未能全部消解因学习新系统、处理新信息等带来的压力,故压力升高的比例较大。



观察进行不同模式交流的任务中,被试在搜索后对于同伴作用的评价,无论是比较理解评判型、评判主导型和均衡交流型(U=114.00,p=0.30),或是比较频繁交流型和非频繁交流型(卡方=0.88,p=0.65),均不存在显著差异。


根据图6频繁交流型和非频繁交流型模式的被试同伴作用比例来看,进行频繁交流的被试虽然表面上讨论内容较多,但既可能是因为二者足够默契能够开展深度交流,也可能是因为二者存在不一致的意见导致较多的商讨,因此比起交流不频繁的被试,认为同伴起到负面作用的比例也较大。



4.4.2  不同交流模式下的搜索交互行为

不同交流模式下的协同者可能表现出不同的交互行为特点,交互行为也能够帮助我们理解不同的交流模式。


采用非参数检验2个独立样本(非正态指标)、独立样本t检验(正态指标)的方法,探索频繁交流型、非频繁交流型两种模式下搜索交互指标的差异(表4)。比起非频繁交流型任务中,频繁交流型任务中协同者花费更长的时间完成任务,购物车提交的书目数量更多,决策的次数更多,其中添加和删除两种决策的次数均更多;翻页次数更多,切换界面次数更多,查看更多的书目详情,也查看更多的详情分面。这表明交流频繁程度与搜索交互有关联,频繁交流的任务中,每次搜索后被试会做更多次决策、看更多的信息,因此花费更长的时间完成任务,但搜索次数、检索式特点、决策时长、筛选次数等指标与非频繁交流的任务不存在显著差异。


采用非参数检验K个独立样本(非正态指标)、单因素ANOVA(正态指标)的方法,探索理解评判型、评判主导型、均衡交流型三种模式下搜索交互指标的差异,未发现显著差异,即交流内容比重与搜索交互无关。


05

结论与讨论


研究归纳了协同搜索过程的交流内容,借鉴Shah[41]的交流内容划分,形成协同信息搜索的交流对话编码表,对类似主题的研究具有借鉴意义。针对本文的3个研究问题展开讨论:


(1)交流的重点内容


根据编码结果,发现协同搜索时,协同者讨论最多的三个主题为书目理解、书目评判和任务计划。Capra等[42]发现协同者在搜索过程中经常对同伴已评分的对象进行评分,与本研究中发现被试有17.73%的交流在对书目对象做出评判有一定共通性。


因此在系统设计时应着重考虑如何让协同者共享对信息的理解和判断,并及时沟通当前的任务计划,保障协同者在有效沟通中顺利进行协同。


(2)影响交流的因素


任务类型、认知类型组合均会影响交流内容。比起探索型任务,在目标型任务中被试会讨论更多任务理解的内容,这一差异符合任务类型特征。实验设置的特定任务目标仅迫使被试讨论以确定一致的任务目标,但并不会造成其他交流内容的增加或减少。相同认知类型的被试组合比不同认知类型的被试组合交流更多,可能因为有更高的共识,讨论具体操作较多,讨论评判决策较少。此外,相同认知类型的被试组讨论更多任务协调内容,可能表明相同认知类型的被试对任务进度的把控较好,经常调整任务计划,但也可能体现了相同认知类型的被试组合存在思考视角的缺陷,因而多次讨论任务计划与协调内容以推进任务进程。


由于认知类型组合会影响交流内容,进而可能影响交互和体验,因此在设计协同信息检索实验时,如果认知类型组合不是自变量,需要对被试的认知类型组合进行选择和控制。


(3)不同交流模式的特点


协同搜索中的交流模式可以根据交流频次高低分为频繁交流型、非频繁交流型两种模式,也可以根据交流内容比重分成理解评判型、评判主导型、均衡交流型三种模式。任务类型、认知类型组合、性别组合对各种交流模式均无显著影响,但交流模式对搜索交互和搜索体验存在部分显著影响。


①比起非频繁交流型的被试,频繁交流的被试在搜索后的话题熟悉度较低,但任务用时更长、决策次数更多、翻页次数更多、查看信息数更多。邱瑾等[43]发现交流越多的协同者越可能体现出正面的评价,但是本研究发现非频繁交流的被试搜索后对话题熟悉度更高。这可能是因为频繁交流的被试接受了过多的信息,处于Kuhlthau[44]的搜索过程模型(ISP)中的探索阶段,新信息获取太多导致不确定性升高,感到困惑,因此对话题的熟悉度评分不如可能处于乐观状态的非频繁交流的被试。因此协同搜索系统可以针对同一会话中操作量较大,查看信息量较多的用户给予一定帮助。


②比起理解评判型和均衡交流型的被试,评判主导型交流的被试对任务完成情况更满意,表明评判主导型在多次与同伴交流信息评判和决策后,可能达成更高的默契,且因为做了较多次决策对选择书目的自信度更高,因而任务完成满意度较高。因此系统设计需要关注书目评判信息的共享,有助于提升协同搜索者的搜索体验。


存在协同系统设计研究[45]认为知识共享有助于协同信息检索,知识共享在本研究中体现为学习理解类(L)的交流。频繁交流型的被试比非频繁交流型的被试讨论更多学习理解类(L)内容,理解评判型的被试比评判主导型、均衡交流型的被试讨论更多学习理解类(L)的内容。但从检索体验上看,非频繁交流被试在搜索后对话题熟悉度更高,评判主导型被试比理解评判型、均衡理解型被试的满意度更高,理解评判型被试对任务满意度与均衡理解型被试相近,均未体现出知识共享的作用,造成这一结果的原因可能是信息共享在不同协同模式中起到的作用有差异。非同时同地的协同模式中,协同者通过协同信息搜索系统的知识共享功能为对方提供新信息,为对方决策提供了重要的信息资源基础,因而有所助益;而同时同地的协同模式中,被试看到的信息是一致的,学习理解类的交流共享内容是对同一信息的理解,而未能提供新信息,因此对决策的帮助相对较弱。这一猜想值得后续研究探索。


本研究也存在一定的研究局限。①样本较单一,数量小。由于实验系统为书籍检索的英文系统,招募被试时限制了人文背景、英文水平,且均为北京大学在校生;由于转录、编码工作量大,仅招募10组被试参与实验(其中1组实验失效)。故而结论的映射范围较小。②系统局限。为研究信息搜索过程,需要避开价格、网站使用经验等其他因素的干扰,故而本研究选择CLEF的书目信息检索实验系统。但一方面全英文的系统对被试的信息搜索带来一定难度,可能影响了实验数据;另一方面该系统为书目信息搜索系统,研究结论的应用范围受到一定限制。③交流内容编码分析未涉及矛盾与协调维度。由于本研究样本对话内容中矛盾冲突非常少,因此未做深入分析。


后续研究可以基于以上几点局限进行拓展。①对背景更为丰富的样本展开研究,例如不同学科背景的学生、不同行业的工作人员、家庭成员等,可能会得出很多有趣的发现;②借助更多类型的中文信息搜索系统探究协同搜索者与独立搜索者的差异,也可以探究协同信息搜索系统对不同协同者组合的影响;③展开交流内容矛盾和协调维度的研究,理解协同者之间的矛盾点及处理方式,以及这些交流对搜索体验和搜索交互的影响。此外,还可分析不同协同阶段的交流特点,当前仅对内容要点进行编码和分析,未探究各搜索阶段的交流、交互行为特征,后续研究可以对不同搜索阶段展开分析。


参考文献



*本文原载于《图书情报知识》2020年第3期51-61

版权归《图书情报知识》所有,欢迎转发到朋友圈,转载请联系后台。


制版编辑 | 姚志臻

END





当期荐读 2020年第3期 | 用户动机视角下的Altmetrics指标研究(内含视频摘要)

当期荐读 2020年第3期 | 移动端到PC端的微信跨渠道使用行为研究(内含视频摘要)

当期荐读 2020年第3期 | 中国档案学研究热点与前沿问题探讨

当期荐读 2020年第3期 | “数智”赋能时代图情档变革之思考

当期荐读 2020年第3期 | 数字图书馆信息服务的融合与创新———基于2019 年JCDL 年会论文的综述(内含视频摘要)

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存