两个分类变量一致性的Kappa系数:基本思想
评分者间一致性统计量Kappa可用于评价两个有序尺度或名义尺度分类资料的一致性。
κ取值在-1~+l之间,κ=1时,表明两次判断(或两人判断)完全一致;
κ=-1时,表明完全不一致;-1<κ<0时,观察一致性小于机遇一致性;κ=0,表明一致性完全由机遇造成。
实际应用中,κ只有在0~+1时判断一致性才有意义。κ越大,说明一致性越好。一般而言,κ<0.4时,表明一致性较差;
0.40<κ≤0.60时,表明中度一致;0.60<κ≤0.80时,表明有较高的一致性;κ>0.80时,表明有极好的一致性。
由于普通κ值没有考虑评分间的一致程度,所有不同的评分均视为完全不一致。因此,当评分为有序分类时,最好使用加权Kappa值(κw)。κw是将两次检查结果的每个观察值都根据它们的一致程度赋予权重,然后再计算出Kappa值,它考虑了不同水平一致性的每个评分对一致性的影响,适用于多分类的两次检查结果的资料。