主观评分被广泛地应用于考试评价、人员招聘和体育竞赛中,评分者根据评分任务的要求,按照一定的评分规则,根据自身的判断进行打分。如何在多评分者多任务情境下衡量评分者信度,探索影响评分者信度的因素结构,从而选择合适的评分者,提高评分信度,保证主观评分的公平性、客观性和科学性,已成为许多研究者所关心的热点问题。本研究首先运用潜变量建模方法,建立多评分者多任务情境下的评分者信度模型,并用多评分者在不同任务上的实际评分进行数据拟合,估计评分者信度；然后应用探索性因素分析和验证性因素分析探讨影响评分者信度的因子结构；最后对评分者信度与其影响因素结构的关系进行分析。研究结果如下：　　 ⑴在多评分者多任务情境下,不同评分任务间存在相关性,因评分任务的相关性引起评分者间的相关性。　　 ⑵建立了多评分者多任务情境下的评分者信度模型,讨论了不同评分者在同一评分任务上的评分者信度、同一评分者在不同评分任务上的评分者信度以及在总体任务上不同评分者评分信度的比较方法。　　 ⑶通过探索性因素分析和验证性因素分析发现,影响评分者信度的自身特征因素分别是责任心、情绪稳定性、自信心、评分者经验和执裁能力。评分者的背景信息会对这些影响因素产生影响,如年龄类别在责任心、情绪稳定性、评分经验维度上有显著的影响,学历在责任心、评分经验维度上有显著的影响,教学年限在责任心、评分经验、执裁能力上有显著的影响,参加评阅次数在五个维度上等都有显著的影响。　　 ⑷分析了影响评分者信度的自身特征因素和信度之间的关系,发现:评分者的责任心、情绪稳定性、自信心、评分经验和执裁能力这五个维度对作文题的评分信度有显著影响；评分者的评分经验,责任心,情绪稳定性,自信心这四个维度对翻译题的评分信度有显著影响；执裁能力、情绪稳定性两个维度是评分者对不同任务评分一致性显著的预测变量；评分者的背景信息中,评分者年龄和学历与不同任务评分一致性有显著的相关性,但其他评分者的授课学生类型、教学年限、参加阅卷次数、阅卷题目类型等信息,虽然存在相关但不显著。