在有些测量情形中，评价者的评判也是误差的来源之一，如投射测验、无领导小组讨论、评价中心技术等，都依赖于评价者的判断。这种判断的主观性往往会造成不同评价者的评分不一致，因此有必要考虑评价者信度。
评价者信度是指不同评价者对同样对象进行评判时的一致性。最简单的估计方法就是随机抽取若干份答卷，由两个独立的评价者打分，再求每份答卷两个评判分数的相关系数。如果评价者在3人以上，而且又采用等级记分时，就需要采用肯德尔和谐系数来求评价者信度，其公式为
式中， K 为评价者的人数； N 为应试者的人数或答卷数；
