可用性测试 | 测试度量方法 (文末福利)
01 将用户表现转化为定量数据
02 使用标准化量表
03 制定优先级标准
任务完成率
EXAMPLE
用户1 | 用户2 | 用户3 | 用户4 | 用户5 | 完成率 | |
任务1 | 1 | 1 | 0 | 1 | 1 | 80% |
任务2 | 1 | 0 | 1 | 0 | 1 | 80% |
任务完成时间
EXAMPLE
用户1 | 用户2 | 用户3 | 用户4 | 用户5 | 几何 平均值 | |
任务1 | 198s | 220s | 136s | 162s | 143s | 168.85s |
其他评估指标
1)评估有效性
- 任务完成率
- 错误数
- 需要帮助的次数
2)评估效率
- 任务完成时间
- 点击次数
3)评估满意度
- 皱眉,身体语言等
- 表达积极性/消极评价的频次
- 满意度量表(如:SUS量表)
使用标准化问卷测量用户的主观满意度,推荐使用 (SUS System Usability Scale)软件可用性量表,适用于小样本量的场景。量表内容如下:
SUS分数计算方法
1)分值转化:
奇数项(正面描述题),分值转化=原始分-1
偶数项(反面描述题),分值转化=5-原始分
(ps:文末可获取自动统计工具,
注意事项:
1)在使用产品之后填写
2)如果用户因为某些原因无法完成某个题目,那就视为用户在该题上选择了中间值
3)不要更改用词,但‘系统’这个词除外,“系统”替换成“网站、产品”或产品自身的名字等,对最后的分值没有影响
4)不收费,但任何公开出版的报告要对这个方法的来源致谢
5)10为易学性,信度系数0.7;1、2、3、5、6、7、8、9为可用性,信度系数0.91。 所以也可以变为简版,去掉4,10
SUS分数可以用来做什么?
1)用于评级
对应下图,可得出字母等级评级、描述性评级和可接受范围与SUS分数之间的关系,可助于向非专业人士解释SUS分数的结果
① 字母等级:A级: ≥90分 ; B级: ≥80分;C级: ≥70分;D级: ≥60分;F级: <60分 ② 描述性评级:完美(Best Imaginable): 100分; 优秀(Excellent): 85-99分; 良好(Good): 73-84分;合格(OK):52-72分; 差劲(Poor): 39-51分; 糟糕透了(Worst Imaginable): 39分以下
③ 可接受范围:可以接受(Acceptable): 70分以上; 中立(Marginal): 50-70分;不可以接受(Not Acceptable): 50分以下
SUS分数的曲线分级范围
SUV分数等级 | 评级 | 百分等级 |
80.8-84 | A | 96-100 |
80.8-84 | A | 90-95 |
78.9-80.7 | A- | 85-89 |
77.2-78.8 | B+ | 80-84 |
74.1-77.1 | B | 70-79 |
72.6-74 | B- | 65-69 |
71.1-72.5 | C+ | 60-64 |
65-71 | C | 41-59 |
62.7-64.9 | C- | 35-40 |
51.7-62.6 | D | 15-34 |
0-51.7 | F | 0-14 |
量化过程可分为三步:
1. 问题严重性评定
2. 问题发生频率评定
3. 计算优先级
问题严重性评定:
问题严重性评定表
严重程度评定标准 | 分值 |
这个问题是否妨碍任务完成: 1.用户放弃了任务 2.使用户产生了消极情绪 3.用户尝试5次及以上才完成 4.用户尝试10秒及以上才完成 | 4 |
这个问题是否导致了一个严重的延迟或挫折: 1.用户尝试了3-4次才完成 2.用户尝试了5-9秒才完成 | 3 |
这个问题对任务绩效的影响是否相当小 | 2 |
这个问题是否属于建议 | 1 |
*当多个用户表现得不一致时,若程度分最高的比例大于等于25%则按最高分计算,小于25%则按低级的分数计算。(例:某问题在2/5用户上体现为4分,在2/5用户上体现为2分,那就按4分算;如果在1/5用户上体现为4分,在2/5用户上体现为2分,那就按2分算)
问题发生频率评定:
问题发生频率评定表
频率程度评定标准 | 分值 |
≥80% | 4 |
50%~79% | 3 |
21%~49% | 2 |
≤20% | 1 |
优先级评分计算:
优先级评定表
影响程度评分 | 频率程度评分 | 优先级评分 | |
问题1 | 4 | 3 | 7 |
问题2 | 3 | 2 | 5 |
问题3 | 2 | 2 | 4 |
问题4 | 1 | 2 | 3 |
当然,文中介绍的是一种处理思路,大家可适当调整测试标准,使其更适用于实际情况。如进行加权处理,或是增加新的评定指标~
通过这些方法,可以将我们观察到的用户表现,转成量化的数据,使测试结果更加直观、具有说服力。快来试试吧
🎁 🎁 🎁
/ 本期福利 /
在本公众号后台回复 统计工具
Hi, 我们是网易互娱ASAK设计团队
Astro x Akira
后续将定期分享优质设计内容和团队最新资讯