科研助力|案例展示:质性研究及Atlas.ti技巧与应用
文|质性研究
与量化数据的分析相比,质性资料的分析有什么独特性?质性分析的一般过程中,需要使用哪些材料,最终又能获得怎样的结果?我们又可以使用哪些工具,来获得更深入、更准确的结论?
基于这些问题,本篇以网易某产品app中一个页面的可用性测试为例,介绍用研中Atlas.ti这款质性研究工具的使用技巧和业务用途,让大家了解如何通过工具的使用来更有效地发现产品中的痛点和潜在的用户需求。
1 质性分析概览
我们日常中接触到的信息资料,大多以质性资料(亦即定性资料)的形式存储,诸如文本、多媒体材料等举不胜数。可以说,质性资料中包含着丰富的信息,也蕴含着极高的价值。
以用户研究来说,质性资料的获得的形式、获取渠道丰富而可观,我们可以从可用性测试中获得文本记录、录音资料甚至摄屏录像,我们也可以从客服后台、应用商店、贴吧微博等处获取用户评论数据,我们还可以通过开放式问卷有针对性地获取用户资料。得到这些资料并完成预处理后,我们就会开始质性分析的分析过程,狭义上的质性研究也是从这里开始的。
一般来说,对质性资料的处理要经过开放式编码、轴心式编码、选择式编码这样一个循序渐进的过程,从最初简单的编码到编码簇与编码关联的建立,再到核心编码的确认。通过逐步深入、逐步凝练的过程,我们就可以从最初的原始资料中获得质性结论,最后则是结论的报表或可视化展现。
然而长久以来,质性研究的热度似乎始终低于量化研究,即使是在学术领域,质性研究也只得到了一小部分学者的青睐。究其原因,我们认为或许是因为这些:
首先,我们接触到的最初始的质性资料往往是一个庞杂的信息库,而业务需要又要求我们从中挖掘出有价值的信息和结论;其次,质性研究依赖于操作者的主观经验,而这一点恰恰是质性研究结论的客观性为人所诟病的原因所在;
再者,质性研究从研究方案制定、执行、资料获取、预处理、分析和最后的结论产出有着一套严谨而繁琐的流程,但这又与互联网行业敏捷开发的宗旨相冲突;最后,由于质性研究类用研项目对资金、时间、样本均有一定需求,如何在有限的资源限制下获得丰富的产出一直都是每个从业者必然经历的困扰。
质性研究的资料分析过程对任何人来说都是一件令人头疼的事——资料庞杂、程序繁琐、耗费时力,所以工具的选用对于质性研究来说就变得非常有必要,这既让我们的工作更便捷,也让我们的研究结果更可靠。
目前较为成熟、常用的质性研究工具也有不少(有博客收录:http://blog.sina.com.cn/s/blog_45524d130101k3e8.html),本篇以Atlas.ti 7.5版本为例,首先会介绍Atlas.ti 7.5的基本情况,然后通过一个用研可用性测试案例说明如何通过Atlas.ti对资料进行挖掘。
2 案例说明
本篇以针对网易某产品app的可用性测试为例,出于案例说明简易性的需要,我们选择了此次可用性测试的一部分即针对该app投资理财页面的局部可用性测试进行介绍。
研究目的:此次可用性测试中,我们重点考察了2部分,第一部分是用户对app页面信息结构认知的心理模型,第二部分是用户对页面内不同区块间信息架构差异的感知 。
用户选择:在用户筛选方面,我们依据产品的业务特征、产品使用场景特征等,选择了理财、支付、支付+理财以及游戏支付用户共4类。
研究设计:此前的用户研究工作中我们已发现,用户在移动端选择互联网理财产品的心理模型是先了解所有理财产品类别,再确定目标理财产品类别,最后在已确定的类别中选择具体的理财产品。所以,针对该页面的可用性测试中,我们依据该行为模型设计了一些列任务要求用户完成,希望从中发现我们产品中存在的一些可用性问题。
3 Atlas.ti在质性分析中的应用
3.1 Atlas.ti基本介绍
作为质性研究常用工具之一,Atlas.ti最初是在大约1990年,由德国学术研究者出于研究需要而开发的一款质性资料分析工具。目前该工具已升级到7.5版本,最新的第8代也即将到来。自从问世以来,Atlas.ti已经逐渐在语言学、心理学、计算机等多个领域的学术研究中被广泛使用。
外观上,Atlas.ti 7.5版本与一般图形界面工具并无太大差异,也包括菜单栏、工具栏、工作区域等控件。值得关注的是Atlas.ti 7.5中的几个重要快捷功能区域,了解这些区域对其使用和后面的案例介绍非常有必要,所以这里先做一下简要的介绍:
第一个值得关注的快捷功能是界面顶部、仅次于菜单栏和工具栏下方的一组“快捷管理器”,分别是“文档管理器”、“引用管理器”、“编码管理器”和“备忘录管理器”。“文档管理器”中可以查看所有当前项目中在用的各种执行资料,“引用管理器”中则存储着所有被编码的质性资料片段,而所有的编码则存储在“编码管理器”之中。另外,最后的“备忘录管理器”中则可以存储我们对具体资料文件、编码等的备忘文本,例如对编码含义的解释、对这个研究项目的说明等等。
第二个需要关注区域是界面左侧的2个导航面板,它们以更直接的形式呈现了上述4个快捷管理器中的内容,可以让我们的操纵过程更便捷。
第三个值得关注也是最明显的区域则是Atlas.ti的主工作区,也叫“多文档视图”,Atlas.ti 7.5中最多可以同时打开和处理4个文档,且不限文档类型。
另外,顶部的“语义网络”和“分析”这2个菜单在后面的重点分析中会用到。
3.2 Atlas.ti基本功能
(1)初步的文档管理及其作用
当我们完成资料的搜集后,一般需要对资料做一个简单地整理,这个过程是通过“文档管理器”完成的——通过要点击Atlas.ti第一个快捷管理器的“P-Doc”按钮进入。
在文档管理器中可以看到,Atlas.ti支持的质性材料类型非常丰富,文本(txt、doc、pdf等)、多媒体材料(音频、视频、图片)、谷歌地图文件等。当然,用研中经常使用的开放式问卷(excel文件)也可以直接导入到Atlas.ti中。如下图所示,本篇所用案例仅涉及doc、txt、图片这3种材料,共计7个文件。
对文档的管理除了重命名、编写备忘录等最基本的操作之外,最重要的是对文档进行分组——在Atlas.ti中叫做“文档家族管理”。如上图界面区域的左侧,是本篇所用案例中依据用户类型、性别两个指标建立的6个“文档家族”(Documents familiy)。
文档分组(建立文档家族)让我们了解到这次研究项目的整体情况,例如如此次用户研究项目共涉及4种类型的用户。同时,后续还可以以此为基础,比较质性分析结果在不同组间的差异,让我们的结论更深入、具体,例如理财用户和支付用户对界面架构感知的差异——这一点是本篇后面分析环节的一个重点。
(2)文档资料的编码
按照质性分析流程,获得文档并进行初步管理后,就可以开始分析过程了,而质性分析通常又是从资料的编码开始的。由于在用研中获得的质性资料形式是各种各样的,下面介绍的文档编码分析也会依据资料类型的不同展开详述。
对文本资料的编码:在打开的文本文件中(doc、txt等格式),选中想要编码的文本段落并右键,即可看到Atlas.ti提供的4种编码方式:新建编码、使用原文命名编码、选择已有编码、使用上次的编码。如果选择“新建编码”,就可以在新的弹出框中看到,Atlas.ti可以同时对一段文本赋予不止一个编码。当然,编码的名称依然由操作者依据个人经验自行定义,在本篇案例中我们就对一段文本赋予了“产品分类方式不易看全”和“理财产品选择麻烦”2个编码。
对图片文件的编码:在质性分析中,图片文件有时也是很好的佐证资料,对图片文件的分析和使用就是非常有价值的了。打开图片文件后,选中想要编码的图片局部区域并右键,就可以进入和文本资料编码一样的流程。另外,我们还可以已被编码的图片区域写上备注,而备注则会直接显示在被编码区域的顶部。
对音、视频文件的编码:用研工作中,我们一般会在与用户的交流过程中进行录音,如果有必要,还会在可用性测试时保存摄屏录像,如果可以对这些资料直接进行分析不仅可以省去一些转录的麻烦,还可以避免信息的浪费。但在Atlas.ti中打开音视频文件并选中想要编码的片段后,我们首先需要将该片段新建为一段“引用”,再对该“引用”进行编码。这一过程与文本资料和图片文件的“选中+编码”过程是有一点细微差别的,但后续操作方式则没有差异。
对开放式问卷的编码:开放式问卷也是用研中经常见到的一种资料收集方式,其独特性在于开放式问卷中不仅包含开放式问题,也包含各种定量数据如性别、收入水平、教育水平等。导入excel形式的开放式问卷文件时,Atlas.ti会为每个个案新建一个txt文件用于存储开放式问题及答案,,后续就可以进行文本资料分析了。但在处理开放式问卷方面,Atlas.ti还有一个突出优势,就是它不仅能够解读开放式问题的答案,而且能够依据定量指标建立分组(类似于在文档管理器中“新建文档家族”),让我们更深入地解读开放式问题的答案在不同分组之间的差异。
3.3 资料的深度分析
(1)编码云
通过上述操作完成所有资料的编码后,我们可以在Atlas.ti的“编码管理器”中查看所有编码,如下图所示,本篇案例中我们一共获得了13个一级编码。
由于这13个一级编码是扎根于原始资料的,并且编码之间存在某些共性,所以我们使用编码管理器的“新建编码家族”对编码进行了归类,获得了5个二级编码。这5个二级编码包括“页面内产品说明标签的问题”、“页面内产品排列方式的问题”、“用户期望”等等,每个类别可以通过自定义的颜色进行区分。通过编码管理器中的“编码云”功能,我们可以将所有编码可视化,并且依据编码的大小我们还可以看到编码所代表的的问题的突出程度。
如上图所示,我们发现在本次测试的app中,理财产品的现有分类方式导致用户无法直观了解到所有理财产品的类别这一问题最为突出(走下角红色字体),而对应的用户期望(潜在的解决办法)中“直接提供一个理财产品排列的子导航条”也最为突出。另外,点击该编码会弹出一个新的对话框,对话框中列出了该编码对应的原始文本资料,让我们可以快速回查原始记录。
(2)语义网络
编码云只能让我们了解到问题点的状况,为了进一步了解每个问题的详情,例如该问题产品的结果等等,我们还需要为每个编码建立语义网络。建立网络视图的基本步骤如下:
选中目标编码后,通过点击编码管理器工具栏中的语义网络按钮,进入编码的语义网络视图后就可以着手建立网络图了(图①)
在编码上右键,选择导入相邻编码(Import Coourring)就会看到所有与目标编码同时出现过的其他编码(图②)——之前我们已经对编码进行了颜色定义,所以这里可以很容易地看到有两类编码(蓝色、绿色)伴随“理财产品分类不容易看全”这一编码出现。
将目标编码走上角的红点拖到其他编码上(图③),我们可以在弹出的新菜单中选择并建立这2个编码的关系,这里我们选择“导致问题”作为2个编码关系的说明。当然,这里的关联的建立,仍然依赖于操作者本人的经验。
如图④所示,我们最终完成了“理财产品分类不容易看全”这一编码的语义网络图。
通过语义网络分析我们发现,“产品分类不容易看全”这一问题导致了“用户认为理财产品的选择很麻烦”和“直接跳过靠后的理财产品”这两个问题。同时,我们还看到伴随这一问题出现了2个用户的期望,包括“用户希望直接给出一个理财分析的子导航条”和“按照一个直观、易习得的方式排列理财产品”。
最后,我们还可以通过Atlas.ti首页的“网络”(Network)菜单查看所有基于所有编码的语义网络视图,它包含我们在可用性测试案例中发现的问题,问题的原因、问题导致的结果以及可能的解决办法等一目了然。
(3)编码共现分析
如上图所示,我们在可用性测试中发现的一个问题,可能对应着不止一个解决办法,那么该如何决定那种解决办法更为用户所期许呢?这一问题既是用户研究需要回答的问题,也是产品优化所必需的答案。这里我们就需要使用Atlas.ti的分析功能来回答这个问题了。
通过首页的“分析”(Analysis)菜单中选择“编码共现列表”即可开始编码共现分析。
如下图所示,从编码列表中将想要分析的编码移动到待分析编码框中,我们就能在右面的结果框中看到分析结果。
我们还可以将分析结果导出为excel文件,作为以后使用的存档。
通过共现列表我们发现,对于“理财产品分类不容易看全”这一问题,用户更偏向的是“直接提供一个理财产品排列的子导航条”这一解决方式。
(4)编码-文档共现分析
通过编码共现分析,我们回答了每个问题对应的用户期望或解决办法中应该选择哪个的问题。但是我们还注意到,由于此次可用性测试涉及4种不同类型的用户,其中“理财”和“理财+支付”用户都具有理财经验,而“支付”和“游戏支付”用户则不具有理财经验;换句话说,此次可用性测试涉及理财老用户和理财新用户,他们在可用性测试任务中遇到的问题是否有所差异?
接下来,我们将通过编码-文档共现分析来对这一问题的答案进行挖掘,而完成这一分析的前提便是之前提到的“文档家族”。
同样,我们可以通过首页的“分析”(Analysis)菜单中选择“编码-文档共现列表”即可开始编码-文档共现分析。
编码-文档共现分析的基本步骤类似于编码共现分析,并选择以excel形式导出分析结果。
依据下图我们发现,理财老用户遇到最普遍的问题是“理财产品分类不容易看全”;但对于理财新用户,除了该问题外,他们还遇到了“理财产品的说明标签不易理解”的问题。这一差异的发现,让我们对产品的理解更透彻和深入。
3.4 结论及产品优化建议
通过上述一系列的分析过程,我们了解到了测试产品中尚存在的一些问题、问题的优先级、问题表现在不同用户群体间的差异,以及一些潜在的解决办法。
4 总结
本篇以网易某产品app的特定页面的可用性测试为例,介绍了如何通过Atlas.ti 7.5这款工具的使用,在大量的质性资料中发掘有价值的结论。
不可忽略的是,工具的使用是根据项目需求决定的,特定的项目目的决定了我们要使用怎样的工具。本篇中的Atlas.ti也只是质性资料分析工具中的一种,它有自己的优势,也存在不足。下表列举了以Rost CM6为代表的文本分析工具和以Atlas.ti为代表的执行分析工具之间的差异,或许可以作为工具选择的一些参考。
在用研工作中,以Rost CM6为代表的工具适用于个案量大、单个案内容体量小的文本资料,这类工具可以有效地完成文本资料的分词、语义网络、情感分析等工作。以Atlas.ti为代表的工具,则适用于体量有限、材料形式多样但有着高挖掘深度和精度的各类质性资料。
质性研究的实质是针对特定问题,搜集大量质性资料并从中挖掘出答案的过程。质性研究对用户研究工作的价值已不言而喻,但如何通过更便捷、严谨的方法和工具获得研究的结论则仍值得所有用研工作者探索,因为回答这个问题不仅会带来工作效率的提升,更重要的是让我们的工作成果更可信和有价值。虽然本篇的大量篇幅是围绕Atlas.ti工具展开的,但工具使用作为手段其背后隐藏的则是用研工作者对产品的洞察和严谨的研究逻辑。研究项目的目的、研究待回答的问题、研究手段和用户群体的筛选等等,都贯穿在一个完整的项目之中。
推荐阅读:
1读书小札| 文秋芳、张虹 “倾听来自高校青年英语教师的心声:一项质性研究”
2研修侧记| 2016年外教社暑期研修班"high-quality research in language teaching"
3【科研助力】Nvivo定性研究分析软件使用课程(教学视频)