当期荐读 2020年第4期 | 面向任务终止的认知停止规则应用及影响因素(内含视频摘要)
ISSN 1003-2797
CN 42-1085/G2
双月刊
同行评审期刊
黄 崑1 陈佳琦1 乔佳荣1 李 蕾1 王凯飞2
(1 . 北京师范大学政府管理学院,北京,100875; 2. 浙江大学图书馆,杭州,310027)
[目的/意义]
探索数字图书馆用户在停止搜索任务时认知停止规则的使用情况及影响因素。
[研究设计/方法]
采取实验室研究设计,随机招募35位被试完成5项不同认知复杂度的任务。在检索前收集被试的基本人口学特征、先验检索经验;使用屏幕录制软件记录被试的检索过程;在任务停止检索后收集用户对认知停止规则的使用程度和检索体验。
[结论/发现]
用户会综合使用多个认知停止规则来决定搜索任务的终止,其中“信息量阈值”规则使用最多;任务属性和用户的先验经验一定程度影响认知停止规则的使用;“头脑清单”“信息量阈值”和“单一标准”规则使用程度越高,用户的检索体验越好;此外,部分认知停止规则的使用与用户检索行为存在显著相关。
[创新/价值]
从认知停止规则使用角度提出提升用户检索效果和体验的检索系统优化建议。
[关键词]
检索停止 认知停止规则 数字图书馆 信息行为
1 引言
根据中国互联网中心的最新统计报告,截至2019年6月,中国网民规模达8.54亿;在互联网应用中,81.3%的网民会使用搜索引擎,这其中还不包括在网络购物、消费等其他应用中对搜索功能的使用情况[1]。信息搜索成为人们日常生活中最常见的活动之一。信息搜索是信息需求与信息集合进行选择和匹配的过程。用户在搜索中不断地与各种信息源进行交互,通常在直觉上感到“足够”时选择终止[2]。然而,“足够”意味着搜索结果数量的足够还是搜索结果中新信息含量的足够,还是用户对检索目标理解认识上的足够?抑或是付出努力的足够?不同原因的停止情况下,用户的检索绩效、检索体验是否也有所不同?因此,研究者们力图探索这一直觉判断的客观量化方式,旨在帮助信息系统设计者理解用户做出终止这一决策的原因,避免用户因为过早终止错过可能相关、有价值的结果,避免在信息获取不充分情况下的停止为后续问题解决带来的偏差,通过提高用户停止时刻的满意感和成功感,最终提高用户通过搜索对现实问题的解决能力。
信息收集是用户做出决策的前提和基础,早期的搜索停止研究从经济学角度提出了假设,认为搜索者会持续检索直到收集付出的边际成本和收集到信息的边际价值相等[3],后续又出现了额外信息价值[4]、停止的期望损失[5]等理论。之后,研究者们进一步细化了停止行为的含义[6]、类型[7],从不同任务情境、用户角度探索了停止原因[8]及其相关影响因素[9]。与这些研究不同的是,本研究主要关注高校数字图书馆应用情境下用户的搜索停止行为。根据高校图工委的统计数据,资源购置费用通常占到图书馆年度总经费的92—97%[10]。不少研究者通过图书馆服务满意度评价、质量评价、成效评价等工作[11,12],力图“以评促建”地推动图书馆价值作用的发挥。资源使用的前提是用户能够有效检索并获得资源,高校师生往往出于图书借阅、文献查阅、课程学习等目的利用图书馆馆藏资源。他们进行资源检索时,会根据什么判断标准做出结束搜索任务的判断?他们在终止时检索体验如何?判断搜索停止的标准是否与用户完成任务的特点、个体特征等有关?这些问题在微观层面也会直接影响到图书馆资源效用的发挥,目前对这类问题的探讨较为有限。因此,本研究主要从认知停止规则理论[13]出发,探索数字图书馆情境下用户判断停止搜索的规则,揭示其与用户面临的任务类型、用户的先验经验、检索体验之间的关系等问题。
2 相关研究现状
首先,信息搜索停止的定义和类型研究。早在1979年,Kraft和Lee[14]曾指出,信息搜索停止是指无论是否实现最初搜索目标,用户对特定信息搜索活动作出的停止决策。2014年,Wu和Kelly[15]从提问和任务两个层面界定了停止,前者也称为提问放弃行为,即终止当前的提问,后者为停止整个任务的搜索活动;并且认为前者往往发生在用户与检索结果的多次交互中,用户会有更多交互方面的投入。2017年,陈静等[16]从关键词(即提问)、主题、搜索结果界面的浏览和任务四个方面进一步归纳了搜索停止的类型。类似地,2018年,Maxwell和Azzopardi[17]根据搜索者作出停止决策的时刻,提出了结果摘要层停止(即提问层)、检索结果界面层停止和会话层停止。
其次,用户判断停止搜索的标准研究,用于判断停止搜索的标准也被称为搜索停止规则。早期提出搜索停止规则的是Cooper[18],他提出满意停止和挫折停止两种情况。Kraft和Lee[19]在其基础上增加了“结合规则”。同一时期,Lancaster[20]还提出过“满足”理论,指出用户会确定信息需求获得满足的明确标准,然后在达到这些标准时停止搜索。结合这一理论,March[21]建立了信息寻求满足模型,指出当搜索结果无法满足用户实际问题解决时会持续搜索活动,搜索量会增加直至达到预定目标为止;而当搜索结果一旦超过预期,搜索量就会减少并停止。Hausmann等[22]将停止规则定义为“一定程度的信心”,并提出有效性阈值作为停止规则。之后,Nickles等[23]从用户认知角度进行了更深入的分析,认为搜索停止行为源于人们的认知与动机过程,用户之所以在某一时刻终止,是因为用户判断他已经有足够的信息进入解决问题或做出决策的下一阶段;并且,提出了“头脑清单”“信息量阈值”“差异阈值”“表征稳定”四项搜索停止规则。之后,Browne通过实证研究[24,25]补充了“单一标准”作为第五项规则。因此,Browne等总结的搜索停止规则也被称为认知停止规则,属于从认知观出发对搜索停止原因的解释理论。
再次,影响用户搜索停止判断的相关因素研究,主要包括用户因素和情境因素。在用户因素方面,研究者考察了年龄[26]、经验[27]、情绪[28]等因素。例如,Ruggeri等[29]考察儿童信息搜索效率不够理想的原因时发现,儿童比成人有更保守的停止规则,在已经有最优选择的情况下,儿童比成人更有可能继续他们的搜索。Zach[30]则探究了艺术领域的高级管理人员如何在日常工作中识别和获取他们想要的信息,结果发现,决定停止搜索的关键因素是,管理人员感到他们已经够他们完成任务或决策制定就可以,即使他们知道可能还有更多的信息。徐波[31]探讨了信息搜索提前终止的影响因素,通过任务绩效测量的方式将用户认知状态区分为低认知负荷和高认知负荷,结果发现,高认知负荷下用户更倾向于提前终止信息检索。Pitts和Browne[32]应用Nickles等提出的四项认知停止规则,探究信息系统分析师的工作经验与认知停止规则之间的关系,结果发现,经验丰富的分析师更多采用“头脑清单”和“信息量阈值”规则,“差异阈值”和“表征稳定”在认知上要求较低,因而经验较少的分析师更容易应用。Pennington和Kelton[33]对非专业投资者进行调查,结果发现,年龄和风险容忍度会影响非专业投资者的信息搜索行为,风险承受能力较强的老年投资者更可能使用“头脑清单”与“差异阈值”停止规则。在情境因素方面,研究者考察了任务的属性特点等。例如,Browne等[34]考察认知停止规则与不同类型在线搜索任务的关系,结果发现,对于结构良好且可分解的任务,更多参与者使用“头脑清单”和“单一标准”停止规则;对于结构不良的整体任务,更多参与者使用“信息量阈值”和“表征稳定”停止规则。又如,Payne和Duggan[35]探究人们会在面临一组问题时,当预知一组问题中仅有少数问题可以获得解决,这时用户会更谨慎地花费更多时间进行搜索,而当被告知多数问题可以解决时,用户搜索时的时间付出更少。徐波[36]则综合考察了认知负荷、时间约束和任务重要性对于用户搜索提前停止的影响,结果发现,时间约束是影响用户提前终止信息检索的重要因素;高认知负荷下用户更倾向于提前终止信息检索;任务重要性对用户提前终止信息检索的行为有着间接影响。
通过对相关文献进行总结和梳理发现,现有研究已经在信息搜索停止问题上开展了一系列积极的探索,也提出过搜索停止规则的相关理论并开展相关实证研究。相比国外,国内的相关研究数量还较为有限。而从整体来看,信息搜索停止领域面向更多用户群体、不同应用领域和情境的实证研究还有待进一步丰富。因此,结合Browne等归纳的五项认知停止规则,本研究主要考察数字图书馆检索的情境下用户对认知停止规则使用的特点,其与任务类型、用户先验经验等因素的关系,以及认知停止规则的使用与用户检索行为和检索体验的关系。
3 研究设计
3.1 研究问题
本研究的具体研究问题包括:
(1)用户在终止搜索任务时,对五项认知停止规则的使用程度如何?
(2)搜索任务属性特征存在差异时,不同任务下认知停止规则的使用是否存在差异?
(3)用户对检索任务的先验经验不同,认知停止规则的使用是否存在差异?
(4)认知停止规则的使用与用户检索行为、检索体验之间是否相关?
3.2 认知停止规则
关于认知停止规则,Browne等[37]结合Nickles等前期研究,总结形成了如表1所列的五项规则。这些规则的提出为测量和反映用户认知层面终止检索的原因提供了可操作化的依据。
本实验以五级李克特量表方式,要求被试在完成每一个检索任务后,对五种规则的使用符合程度做出判断,1表示非常不符合,5表示非常符合。
3.3 检索行为与检索体验的测量
根据交互式检索中常用的检索行为与检索体验指标[38,39],本研究的行为指标主要包括查询、浏览和时间三类特征。其中,查询特征主要包括查询次数、查询词平均长度。浏览特征包括用户浏览检索结果(SERP、摘要、文档)的次数和累加总次数,以及去掉重复浏览后的浏览唯一检索结果(SERP、摘要、文档)的次数和累加总次数。时间特征包括各类检索结果(SERP、摘要和文档等)浏览累加时长、检索时长和任务完成时长,其中检索时长指从输入第一个提问到检索结束,任务完成时长指从开始阅读给定的任务陈述到结束整个任务。
用户检索体验则主要从用户对检索结果的准确性、有用性、满意度和成功感四方面的评价进行测量。
3.4 任务设计与数据收集
本研究借鉴教育目标分类[40]和任务认知复杂度特点[41],设计了如表2所示五类任务,前期实验中反映出这五类任务下用户检索后难度感知与任务认知复杂度顺序一致[42]。
本研究采取实验室研究方法,从北京师范大学在线社区平台——蛋蛋网上随机招募了35名被试,其中10名男生,25名女生。他们来自21个学院,涉及30个专业,本科生18人,研究生17人。实验过程中,被试完成指定的五个任务,每个任务开始前被试填写检索前问卷,询问用户是否有过类似检索需求;检索后收集了用户对检索结果准确性、有用性、满意度和成功感的评价,认知停止规则的使用情况,以及感知到的任务困难程度,均使用五级李克特量表进行评价。此外,为进一步探究用户认知停止规则的使用原因,本研究在检索后询问了用户遇到困难的原因,结合Bell和Rutheven[43]提出的困难类型,从用户搜索能力、资源可获得程度与丰富程度、系统功能等方面列出13个困难原因要求用户进行多项选择。
4 数据分析
4.1 认知停止规则使用的基本情况
根据175次检索过程后的被试评价结果,计算每种规则的评价均值,结果如图1所示。
可见,“信息量阈值”规则使用程度最高,均值为4.057;其次是“单一标准”规则(3.874)和“头脑清单”规则(3.846);使用程度最弱的是“差异阈值”规则(3.629)。所有规则的使用程度均值均超过3,表明用户在检索过程中较为认可对这五项规则的使用。
进一步统计每次任务执行过程中使用的认知停止规则的个数。当被试对规则使用评分大于3时,则认为该认知停止规则为用户实际使用。统计得到每次任务完成中五项规则使用的个数,结果发现,27.43%的任务完成中用户同时使用五种规则,34.86%的任务完成中用户使用四种,21.71%的任务完成中用户使用三种。此外,使用2种规则的占9.71%,仅有2.86%和3.43%的用户分别只使用一种和一种都不使用。可见,用户在终止任务时,会结合多个标准进行综合的判断而做出决策。
进一步对五种规则选择的情况进行相关性分析,结果如表3所示。
除“头脑清单”与“表征稳定”外,其他规则之间均具有显著正相关。并且,“单一标准”规则与其他四个规则的相关性来看,该规则的使用与“信息量阈值”规则相关程度最高(r=0.515**),相对弱的是“表征稳定”规则(r=0.262**)。
4.2 任务属性对认知停止规则使用的影响
根据认知复杂度特点,将记忆、理解类任务归为低认知复杂度,分析类任务属于中等认知复杂度,评价类和创造类归入高认知复杂度。对三种不同程度认知复杂度任务下认知停止规则的使用情况进行单因素方差分析。如4表所示。
(1) 任务认知复杂度
可见,用户处理低认知复杂度的任务时,会更多使用“头脑清单”“差异阈值”“信息量阈值”和“单一标准”规则,更少使用“表征稳定”规则,不过,只有“头脑清单”规则在不同认知复杂度任务下的使用呈现显著差异(F=16.851,p=0.000)。
(2)任务难度
五个任务的检索后难度评价排序与认知复杂度相同,具体为任务5(MEAN=3.657)、任务4(MEAN=3.229)、任务3(MEAN=3.029)、任务2(MEAN=2.543),以及任务1(MEAN=1.800)。将难度评分1、2归为简单任务,评分3的为中等任务,评分4、5归为困难任务。对不同困难程度的任务下认知停止规则的使用进行单因素方差分析,如表5所示。
结果发现,用户对“头脑清单”(F=15.858,p=0.000)和“单一标准”(F=3.615,p=0.029)规则的使用在不同难度任务下呈现显著差异,即任务感觉越难,用户对“头脑清单”“单一标准”规则的使用显著低于任务难度感知越小的任务。在其他三项规则的使用上,尽管呈现出任务偏难时,用户更多采用“表征稳定”规则,而更少使用“差异阈值”和“信息量阈值”规则,但是与任务更难时的差异并不显著。
(3) 任务感知困难原因
表6对不同难易、复杂度任务下,用户遇到困难原因的进行了比较。
根据用户感知困难的原因选择结果可以看到:对于困难任务,感知困难原因选择共计180次,Top3的困难原因包括“我不知道如何表达检索需求”“我不熟悉检索任务相关的领域知识”和“检索结果中相关的内容太少”,累积占比33.33%。对于简单任务,感知困难原因选择共计84次,Top3的困难原因包括“无法获取全文”“我不熟悉检索任务相关的领域知识”和“检索结果数量太多,筛选困难”,累积占比46.43%。对比之后可以看到,“我不熟悉检索任务相关的领域知识”是简单任务和困难任务共同的高频困难原因之一。
对于高复杂度任务,感知困难原因选择242次,Top3的困难原因包括“我不知道如何表达检索需求”“检索结果中相关的内容太少”和“难以整合检索结果”,累积占比27.69%。对于低复杂度任务,感知困难原因选择116次,Top3的困难原因包括“我不知道如何表达检索需求”“无法获取全文”和“我不熟悉检索任务相关的领域知识”,累积占比31.90%。“我不知道如何表达检索需求”是共同的高频困难原因之一。同时,“我不熟悉检索任务相关的领域知识”是低复杂度任务的高频困难原因之一,而“难以整合检索结果”是高复杂度的高频困难原因之一。
4.3 先验经验对认知停止规则使用的影响
根据用户是否有过类似检索需求的选择将用户分为有先验经验和无先验经验两类,然后对两类用户的认知停止规则使用情况进行独立样本T检验,如表7所示。
可见,两类用户在“头脑清单”(t=3.154,p=0.002)、“信息量阈值”(t=2.058,p=0.041)规则的使用上差异显著,有先验经验的用户对这两项规则使用程度更高。尽管无先验经验的用户更多使用“表征稳定”,更少使用“差异阈值”和“单一标准”规则,但差异均不显著。
4.4 认知停止规则的使用与检索体验之间的关系
将认知停止规则的使用与检索行为、检索体验进行相关分析,如表8所示。
如表8所列,从检索行为特征来看。“头脑清单”规则的使用与查询次数、查询平均长度、浏览结果数、浏览唯一结果数、任务总时长等13个特征变量呈现显著负相关,且与其他检索行为指标也均为负向相关关系。可见,当用户更多应用“头脑清单”规则时,用户对检索要求更为明确,与系统的检索交互会更少,检索、浏览和任务整体的完成时间也都会少一些。与之不同的是,“表征稳定”规则的使用与浏览结果数、浏览结果唯一数、浏览SERP数、浏览摘要数、浏览唯一摘要数、浏览时长等10个特征变量呈现显著正相关,且与其他检索行为指标也均为正向相关关系,这意味着,当用户进行调研、学习和思考时会更多应用“表征稳定”规则判断任务的停止,具体体现在SERP页面、内容摘要页面、以及非重复的内容摘要页面和非重复的文档页面的数量上。整体来看,“差异阈值”“信息量阈值”和“单一标准”三项规则的使用与检索行为的相关不显著。
从检索体验来看,除了“表征稳定”规则和“差异阈值”规则与四种检索体验的相关性不显著,其他三种规则都与检索体验呈现显著正相关,表明“头脑清单”“信息量阈值”和“单一标准”规则使用程度越高,用户对检索结果的准确性、有用性评价越高,并且检索后的成功感、满意感也越强。
5 讨论
综合前述分析可以看到,在高校数字图书馆资源的检索活动中,用户停止搜索的原因呈现如下特点:
第一,从五种认知停止规则使用整体情况来看,用户会综合使用多个认知停止规则来决定是否终止,并且对每一项规则使用程度都较高,其中“信息量阈值”规则使用程度最高。与已有研究发现并不完全相同,如系统分析员设计在线商店开发方案时停止搜索的原因中,“差异阈值”使用最多,其次是“表征稳定”“头脑清单”和“信息量阈值”[44]。网络用户在网络上购买DVD录像机时决定停止搜索的原因中[45],“头脑清单”使用频次最高,其次是“差异阈值”“信息量阈值”和“表征稳定”。2005年,Browne等[46]继续探究网络信息搜索中认知停止规则的应用情况,结果发现,根据各项规则使用频次的差异,从高到低分别为“头脑清单”“单一标准”“信息量阈值”“表征稳定”“差异阈值”,以及其他类型。2007年,Browne等[47]进一步考察了产品购买、地图搜索和工作检索三类网络信息搜索任务下,五种认知停止规则的使用程度的差异,指出“头脑清单”在产品搜索和工作搜索中使用最多,而“信息量阈值”在地图搜索中使用最多。因此,认知停止规则使用的差异会受到任务、用户等诸多影响因素。
此外,本研究与已有研究在归纳用户停止检索原因时有所不同,已有研究大都将一次检索任务停止原因归结为一种停止规则,未考虑同时应用多种停止规则的情况。考虑到用户在决策停止时可能综合使用多种规则[48]。本研究以结构化问题方式由用户进行多项选择,当允许用户进行多项选择时,接近95%左右的用户会认可使用了至少两种以上的认知停止规则。可见,停止搜索是一个较为复杂的认知加工和决策过程。这些原因都可能引起最终认知停止规则使用结果上的差异。
第二,任务的属性特征一定程度会影响认知停止规则使用行为。一方面,从任务的客观属性来看,任务认知复杂度与认知停止规则的使用行为有一定关系。当任务的认知复杂度越低,用户越倾向于使用“头脑清单”规则,这与Browne和Pitts(2004)[49]和Browne等(2007)[50]的研究发现相似,与任务的认知复杂度低,任务更加结构化,更容易分解为子任务有关,因此也更容易让用户形成“头脑清单”。类似地,Wu和Kelly[51]也曾提到,用户执行不同类型任务时,信息查找量不同;当查找目标较为明确具体时,用户并不需要查找很多信息达到目标;而如果任务较为抽象复杂,用户不得不从多个角度进行尝试和搜索,才能逐步达到任务目标。尽管该研究中并未直接使用Browne提出的认知停止规则,但是该研究的发现从侧面反映出,对于任务目标更容易明晰的低认知复杂度任务,用户更容易建立头脑清单、能够更快明确检索结果中新信息的含量从而做出是否停止搜索的决定;而对于任务目标更模糊的高认知复杂度任务,用户更需要从检索结果中不断学习来获得对检索目标的认识。尽管本研究发现了高复杂度任务下用户会更多使用“表征稳定”规则,但这一差异并不显著。
另一方面,从任务的主观属性来看,任务难度感知及难度感知原因影响认知停止规则的使用。任务难度感知越容易,用户对“头脑清单”和“单一标准”规则使用越高。通常用户在对检索目标更加明确的情况下才有能力应用“头脑清单”规则和“单一标准”规则,并且这两项规则的使用也可以使得用户的判断过程比较客观化,从而使任务整体难度下降。
在已有研究中,“表征稳定”规则的使用与任务的复杂度[52]有关,而在本研究中,无论是复杂度高低还是任务难度高低,这一规则的使用都没有显著差异。而通过对用户感知任务困难原因进行分析发现,“我不熟悉检索任务相关的领域知识”和“我不知道如何表达检索需求”是在不同属性任务中均出现的高频困难原因。要突破用户领域知识的不足、逐渐明晰检索的目标、做到对检索结果的有效分析整合等,都需要用户在检索过程中不断学习,逐步形成对领域问题的理解和认识[53]。因此,本次实验中用户在完成难易任务、高低不同复杂度任务时遇到高频困难的相似性,以及解决这些困难需要依托的学习过程的相近性,可能是“表征稳定”规则的使用在不同难易、不同复杂度的任务下使用差异不显著的原因之一。
第三,用户检索的先验经验一定程度影响认知停止规则的使用行为。结果表明,有先验经验的用户更倾向于使用“头脑清单”规则。这与已有研究的发现相似,如有经验的投资者[54]和系统分析师[55]更多使用“头脑清单”,后者还会更多使用“信息量阈值”,而经验较少的分析师则更多使用“差异阈值”和“表征稳定”规则。这与参与者具有相关信息搜索经验,更有可能有信心创建搜索的头脑清单有关[56]。
不过,尽管本研究发现无类似检索需求的用户更多使用“表征稳定”规则,有过类似需求的用户更多使用“差异阈值”“信息量阈值”和“单一标准”规则,与已有研究发现相似,只是本研究发现的差异性并不显著。一方面可能与本研究允许停止规则的多项选择有关,并且,“表征稳定”规则所描述的情形是从起初的不明确到后面的逐步明确过程,用户大都将其理解为一个常见的循序渐进的学习过程而进行选择。不仅如此,无论任务难易程度如何,用户都可能面临领域知识缺乏的问题,这也会促使用户选择“表征稳定”规则,由此使得有经验和无经验的两个用户群体差异不显著。另一方面可能与“是否有类似检索需求”测量项只能有限的表达用户的先验经验有关,尽管有过类似检索需求一定程度反映了用户对任务、检索过程、结果的先验经验,但是此前类似搜索需求的发生时刻距离实验有多长时间、用户对之前检索经历的记忆深刻程度等,都可能影响到用户对该问题的先验经验。同时,本实验的任务对特定专业领域的知识要求不高,所以这种有无类似需求的经验性未能体现更大的影响。已有研究中所征集的被试对象,如信息系统分析师[57]、从事交易股票的业余投资者[58]等,大都是具有一定的从业经验或领域知识。因此,这类更为专门、具有一定时间累积的职业经验和经历对于认知停止规则的使用影响差异可能会更大。对于普通的信息检索需求而言,如果经验的深刻性和持久性不足够的话,产生的影响也会较为有限。因此,先验经验对认知停止规则使用行为的影响程度和方面,还会受经验本身深刻及持久程度的影响。
第四,部分认知停止规则的使用与用户的检索行为、检索体验存在显著相关。“头脑清单”和“表征稳定”规则与浏览结果数、浏览唯一结果数、浏览SERP数、浏览唯一文档数、浏览时长、任务总时长等呈现一定的显著相关。并且,两者的相关趋势恰好相反,前者与检索行为指标呈现显著负相关,而后者呈现显著正相关。结合任务难度与检索行为的研究[59,60]可以看到,任务难易与检索行为呈现的相关特点,与“表征稳定”“头脑清单”规则和检索行为特征呈现的相关特点有相似性。这也再次印证,“头脑清单”使用程度越高,用户任务难度感知越低,所以检索交互行为更少;相反,“表征稳定”规则使用越高与用户任务难度感知越高有一定关系,所以相关的交互操作、交互深度,以及整体耗时都要更多。
从检索体验来看,“头脑清单”“信息量阈值”和“单一标准”规则使用程度越高,用户最终的检索结果满意度、结果有用性、结果准确性评价越高,并且检索成功感也越强。这些规则的使用都表明用户对于检索过程有更多的掌控感,因此,整体检索体验也会更优越。同时,结合前面的分析也可以看到,当用户更有能力使用“头脑清单”规则,用户的任务难度感知也越小,用户的检索满意度、有用性、准确性以及成功性评价则越高,这在任务难度相关的研究中也有过类似结论[61]。“单一标准”规则也更主要应用于任务认知复杂度更小的任务中,因此,完成复杂度更小的任务,用户的检索体验一般也会高于完成更复杂的任务[62]。
6 结语
本文采用实验研究的方法,招募35名被试完成5项指定任务,通过对被试的任务完成过程进行分析,揭示了用户在数字图书馆搜索时终止任务的决策标准。研究结果表明,用户在决定停止搜索任务时,大都会综合使用多种停止判断的规则和标准来决定是否停止搜索;并且,五种认知停止规则在使用上也有着相互的关联性。认知停止规则的使用与检索任务属性、用户先验经验均相关。任务认知复杂度越低,用户越倾向于使用“头脑清单”规则。任务感知越容易,用户对“头脑清单”和“单一标准”规则使用越高。有过检索先验经验的用户更倾向于使用“头脑清单”和“信息量阈值”规则。此外,“头脑清单”规则使用越多,用户的检索交互行为、耗时越少,“表征稳定”规则使用时的检索行为特征呈现相反的情况。同时,“头脑清单”“信息量阈值”和“单一标准”规则的使用程度越高,用户对检索结果的准确性、有用性评价越高,并且检索后的成功感、满意感也越强。
根据这些发现,针对检索系统如何优化改进,如何更好提高用户检索效果和检索体验,以下方面值得进一步探索:
首先,加强检索初期对用户明确个人需求、明确检索目标的支持。尽管认知停止规则的使用受制于任务、用户等多种因素而表现出不同的使用程度差异,但是在差异性存在的同时,也表现出一定的共性,即“头脑清单”“信息量阈值”等规则使用程度越高,表明用户对需求更为明确、对检索过程更有掌控感,检索体验也更好。因此,可以加强在检索前期对用户检索需求的分解和引导,例如,Kelly等[63]通过强制用户使用多个关键词输入框,让用户在检索前就对检索需求进行一定的思考后再行进行检索,结果发现,这一做法虽然在前期增加了用户的认知负担,但是最终检索效果更好,用户的压力感也并没有显著增加。又如,通过检索前的问题引导[64],要求用户提供更多的检索背景相关信息,也有助于用户将复杂任务尽可能进行分解,从而有能力在头脑中构建头脑清单,降低任务复杂度、减小难度。
其次,深化检索过程中查询扩展和推荐功能。在查询扩展和推荐给出相关检索词的基础上,还可以补充检索上下文信息,进行具有情境的推荐,启发用户构造查询策略,帮助用户获得明确当前需求的更多线索,促进用户更有能力应用“头脑清单”“差异阈值”等规则。例如,结合知识图谱技术,对用户的检索需求的内容结构进行语义化的立体表达,提取需求中涉及的对象、要求等特征,加强实体间的关联,从查询式和检索需求不同层面进行查询扩展和推荐,使得个体用户能够在协同过滤、推荐中获得更多线索和启发[65]。同时,通过问答交互引导方式,为检索过程中启发用户构建头脑清单提供支撑[66]。
再次,加强检索后期对检索结果的汇总、比较与综合等功能,协助用户检索过程中的学习和决策。对于数字图书馆的资源检索而言,检索对象通常为论文、图书、报告等学术资源,加强对单篇论文、单本图书,以及用户点击、浏览过的一组论文、图书等资源进行观点提取、主题归纳等,进行更深层次的内容揭示,从而降低用户对于检索结果的解读、比较和分析的负担[67]。同时,不仅可以面向任务终止考察用户决定停止的原因,还可以从更细致的角度考虑一次检索过程中的检索提问终止、同一检索主题终止、网页浏览停止等多种不同的终止情况,使得信息检索系统有机会捕捉用户可能在哪一种情况下做出停止的判断,将其与用户的检索绩效、检索体验联系起来,为检索系统提供及时的智能辅助和支持提供参考和借鉴,促进用户在更好的检索体验下结束检索过程。
本研究将任务难度、检索行为、检索体验综合纳入分析探讨与认知停止规则使用行为的关系,有助于更深入地理解用户停止搜索的原因,对于之后开展相关实验研究具有一定的参考价值。不过,本研究样本规模有限,研究结论还需要在更大规模样本下进行检验。同时,除了实验研究手段,未来还可以结合日记、访谈、扎根理论等方法,对用户现实遇到的实际搜索任务和情境进行研究,对实验研究的发现进行检验和补充。此外,本研究只关注了任务停止,还可以对提问停止、主题停止、页面停止等多层面的停止问题进行进一步的分析和探索,通过搜索行为与停止原因的关联分析,开发基于交互过程的停止行为动态监测功能,促进用户检索绩效和检索体验的提升。
参考文献
■ 专家评审意见
本文采用实验方法探索了用户在数字图书馆情境下搜索停止规则的使用情况及其可能的影响因素。文章整体内容完整,结构较为清晰,但在专业术语的使用和部分内容的组织安排上存在一定的问题。
1.文章中存在“认知停止规则”和“搜索停止规则”反复交替使用的情况,建议文章在这一术语的使用上做到前后统一。
2.文章在相关研究现状部分提到“关于信息搜索停止原因的研究,也称为搜索停止规则研究”,但在该领域研究中,搜索停止规则是由用户的停止行为而产生,而搜索停止行为的原因则涉及环境等外在因素和用户的内在心理等因素。那么,“搜索停止原因”和“搜索停止规则”是否为等同的两个概念?文中多处存在这两种说法混用的现象。但文章的核心内容则是对搜索停止规则的使用情况进行探索,并未探究搜索停止行为的原因。建议明确这两者之间的区别,并选择更为合适的说法。
3.文章的研究内容为“搜索停止规则的使用情况”和“搜索停止规则使用的影响因素”,而文章的题目中“停止规则的使用行为”则较为模糊,请作者考虑现有题目是否可以很好地对文章的研究内容进行概括?
4.文章3.4任务设计与数据收集部分,建议给出这五类任务的设计原则或依据,否则单从现有的表述上来看,会让人产生疑问,例如为什么该类任务的设计是这样的?某两类任务的设计上有什么区别?另外,在该节提到了用问卷收集用户的“检索自我效能”,但“检索自我效能”这一变量在后续数据分析部分从来没有出现过,那用问卷收集用户“检索自我效能”的目的何在?
5.文章4.1认知停止规则使用的基本情况中“当被试对规则使用评分大于3时,认为该认知停止规则为用户实际使用”,是否有一定的依据?
*本文原载于《图书情报知识》2020年第4期32-42页
版权归《图书情报知识》所有,欢迎转发到朋友圈,转载请联系后台。
制版编辑 | 姚志臻
END
当期荐读 2020年第4期 | 基于认知分类的大学生网络健康信息搜索的学习效果研究(内含视频摘要)
当期荐读 2020年第4期 | 时空限制与任务复杂度对搜索结果的影响: 跨设备实验研究(内含视频摘要)
当期荐读 2020年第4期 | 信息行为研究如何进阶——IP&M 主编Bernard Jim Jansen教授专访