设计师必备体验评估设计指南(机制篇)
秉承58同城“用户第一”的核心价值观,设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制,并借助内外部业务专家视角,对58同城各产品的重点场景进行评估,优化业务场景,从而提升各业务线的体验,而这一套评测机制就是QMD。
在上一篇《设计师必备体验评估设计指南(指标篇)》中提到,目前QMD存在的两个难点,分别是:问题难推动落地、评估结论信服度低。针对目前难点,今年我们项目组对测评体系再次升级,推出了全新的QMD3.0。
我们将通过干货满满的三篇连载文章,分别从【指标模型】【评估机制】【组织实践】来全方位的分享体验评估机制的升级经验,欢迎大家的持续关注和探讨。本篇为大家介绍:围绕提高QMD主观评价的可信度,通过信度检验,管控测评流程,建立人人可信赖的测评机制。
想要建立人人可信赖的测评机制,需要我们解决目前“结论信服低”这一难点。
在讨论结论信服度的问题,我们需要知道QMD到底属于什么类型的测评;按照测评变量的不同,我们可以讲测评分类两大类,主观性测量和客观性测量;举个例子,主观性测量类似简答、论述题,客观性测量类似单选、判断题;而QMD是邀请专家对特定业务场景,根据特定指标进行量化评估,其评分会因为其评分专家的主观判断影响,因此我们的QMD就是属于主观性测量。
● 什么是信度
在了解评分者信度之前,我们需要知道什么是信度。信度是指测量结果的一致性程度,亦称可靠性程度,它衡量的指标是:对同一对象测量得到的结果是否一致。举个例子,当你拿杆秤去测量10斤的西瓜,过一个月之后,再去测量一个10斤的西瓜,它还是10斤,说明这个秤就是可信的,这就是信度;而这个西瓜是10斤,测量出来也是10斤,说明这个秤是有效的,这就是效度。
● 什么是评分者信度
而评分者信度就是信度的一部分,其实评分者信度是若干个评分者对同一组测试结果评分的一致性程度,他关注的是不同组间评分者之间的共同差异的分析指标,也就是说侧重处理评分者组间差异的一般趋势,主要目的是为了测量不同评分者对同一样本是否给出同一正确的分数指标,因此为检验QMD中各专家评分是否一致,选择了评分者信度作为分数的检验指标。
测量评分者信度的统计指标及方法很多,那我们需要如何选择适合QMD的统计指标呢?在根据QMD不同的测量特点、数据类型、评分人数等,我们QMD选择的测量方式是组间相关系数(ICC),也就是通过方差分析来计算总体变异多大程度上属于总体的特征。
● 如何分析评分者信度
选定测量方法后,具体怎么执行呢?就是万能的SPSS软件,按照:Analyze—Scale— Reliability Analysis 步骤得来,根据分析结果可以得知 ,本次分析的评分者评分信度是否一致,举个例子,在针对某个业务线进行QMD评估,对6位专家的评分进行评分者信度分析,结果表明,ICC=0.9704>0.75,p<0.05,说明评分者的一致性是可信的。可见不同评分者在评价产品,在各项指标上评分是比较一致的,其评分者信度是比较高的 。具体分析过程如下:
● 测评流程可靠
但是在整个过程项目执行过程中,我们仅仅只做信度检验就足够了吗?其实不是的,分数只是一个判断的依据,或者说是过程的抓手,我们除了关注分数本身以外,更需要关注,到底是哪些因素导致我们分数产生随机误差,进而在源头上提高我们的分数的信服度。
那影响评分者信度的因素有哪些呢?总结有以下三部分:测评工具性能、评分者筛选和实施方案的标准化流程。
在了解到这些影响因素后,在整体执行过程中,才能针对性的进行执行、管控,才能最终提高结论的信服度,具体执行过程如下图所示:
● 感知效果可靠
当然,大家以为仅仅做了哪些流程管控就结束了吗?我们想要分数信服度高,也就是可靠性高,不仅需要流程可靠,更需要让使用者对结果感知可靠?
1.什么是可靠性
其实可靠性是指一个人通过对一个产品的可感知效果与他期望值相比较后,所形成的可靠或不可靠的感觉状态,简单的数据表示就是用户感知效果-内心期望,图片表示更清晰,但感知效果契合且高于内心期望时,人们便产生了可靠的感觉状态,低于则相反,我们难以控制其内心期望,因此将在感知效果上下功夫。
2.如何让可靠更易被感知
从四个环节入手,最开始明确业务预期、中间的利益相关人全程参与、结尾的结果复议,和最后的验证落地效果,采用各类方法,让大家从整体环节去感知可靠性。
明确业务预期
在最开始的明确业务预期中,除了从业务视角去制定与业务契合的测评体系外,更是邀请利益相关人共同制定指标细则,从理论的基础上让大家感知更可靠。
过程全员参与
在过程中,以前仅邀请设计师参评,现在不仅邀请设计师,更是邀请产品一起参评,从流程上让大家感知更可靠。
在这次升级过程中,其实想表达的是,分数本身不重要,如何通过分数去管控过程,才是其真正的价值所在。因此,在本次升级过程中,结合使用评分者信度、流程管理和机制升级,从而从实际效果和用户感知上全面提高可靠性。
👀 预告一下
如果说升级可靠、高效的评估机制则是推动QMD评估机制的前提,那有序、科学的推动则是组织QMD评估的关键步骤,接下来由吴立杰带来的《设计师必备体验评估设计指南(组织篇)》,为大家介绍如何让测评过程简单美好。