评分者信度
作者：菁悦 审核：X 封面：自己想吧
前言：
我们知道，客观性测验一般都有固定的答案,无论谁评分差异都极小，所以误差都较小，因而无需考虑评分者之间的一致性问题。但是，当测验是主观性试题时,不同评分者的评分便会存在差异，这时， 评分者信度就显得尤为重要。
评分者信度（scorer reliability）指的是多个评分者给同一批人的答卷评分的一致性程度。
评分者信度分为评分者内信度和评分者间信度 。前者是对同一个分者对同一样本在不同场合出现是否判定为同样分数的指标；后者是测量不同评分者对同一样本是否给出同一个正确的分数的指标。在实际应用过程中，最常测评评分者间信度。
在由客观性试题组成的心理测验中，答案具体而固定，无需考察评分者信度。但在投射测验、道德判断测验、创造性思维测验等测验的评分中，答案并不固定，评分时必然掺杂有主观判断因素，因此，需要考察评分者信度。评分越一致, 评分者信度越高。
评分者信度的估计与评分者人数的多少有关，若只有两人参加，评N份试卷，或一人先后两次评N份试卷，则最常用Spearman等级相关系数来求信度；若三人或三人以上的评分者评N份试卷时，常用肯德尔和谐系数来求信度。下面我们用案例来具体说明求取这两个系数的操作。
1
【问题】甲乙两位教师评阅10份作文试卷，他们对每个学生评定的分数和等级如下表所示。请问两位教师评分的一致性如何？
Step 1：打开数据，选择【分析】——【相关】——【双变量】。
Step 2：将左侧“甲评分”、“乙评分”选入右侧【变量】中，在“斯皮尔曼”处打钩，点击【确定】。
Step 3：结果分析。斯皮尔曼（Spearman）相关系数为0.841（结果中带有两个*的，下面有说明，相关性显著），评分者一致性很高。
【注】上表中的甲乙等级是按照秩次的排列规则得到的，在Spearman检验中，直接用数据以及用相应的等级数据进行计算，最终的结果是相同的。
2
【问题】有5位教师对7篇作文进行等级评定，评定结果如下表所示。请问，5位教师评定结果是否一致？
Step 1：打开文件，选择【分析】——【非参数检验】——【旧对话框】——【K个相关样本】。
Step 2：将“作文一~七”全部选入右侧【检验变量】中，并在下方【肯德尔】处打钩，点击【确定】。
Step 3：结果分析。我们可以得到傅莱德曼检验的相关统计量和肯德尔W检验的相关统计量，我们主要关注后者。
如下图，肯德尔和谐系数W值为0.891，卡方值为0.891，P值<0.01，因此可以看出，不同评分者的一致性非常高。
【注意】若被评对象的数目N>7，则要先将W值转化成卡方值，再对卡方值进行显著性检验。X2=K（N-1）W。
大家学会了吗，多多练习哦~
学堂君的历史合辑：
扫描下方二维码，回复20180626，可获得本次案例哦~
欢迎添加数据分析服务微信号（LYJ_312）
社群助手微信号（spss_shequn）