语言行为测试近年来因其对交际能力和语言使用行为的考察而广受关注。口语测试作为一种典型的语言行为测试,尽管具有较高的测试效度,但由于评分受到许多因素的影响(如考生水平,题目难度,评分员效应等),容易产生偏差,影响测试信度。评分员效应是各种因素中最不可忽视的一种,因其种类多样且不稳定,极易对测试结果造成影响,因此许多研究都致力于探究评分员效应,试图寻找其规律和特性并加以控制,以降低对测试信度的影响。多层面Rasch模型(Many-Facet Rasch Model)源自心理测量学领域的项目反应理论(Item Response Theory),是原始Rasch模型的拓展,引入了更多的影响测试结果的侧面(facets),能够对各层面测量值进行独立估计,检验层面间的偏性交互作用,对主观评分质量提供系统而详细的分析。本研究对2010年11月的CET-SET某考点的考试评分结果进行了分析。通过分析发现评分员严厉度有显著差异,但总体一致性良好；评分过程中未出现明显的集中趋势,评分质量较好,考生水平得到了有效的区分和评估；评分员总体未呈现出随机效应；大多数评分员不存在显著的光环效应,但26号和12号评分员可能在评分中存在光环效应；部分评分员评分受到了考试时间推移的影响,随时间推移而产生了偏性交互作用,其中25、27、28号评分员都明显受到了时间的影响,评分准确性产生了偏差,初步推测可能是因疲劳、情绪或态度所致,但根本原因有待进一步研究。