为探究汉语母语与英语母语评分员在写作评分信度和评分行为上的差异,本文分别运用概化理论和多面Rasch模型,分析了他们对448篇英语作文样本的整体法评分结果。结果表明:(1)评分员的母语背景显著影响他们对学生作文的评分;汉语评分员为2人即可保证两个评分信度系数都达到0.9或以上,而英语评分员需3人才能保证两者都达到0.7以上。(2)评分员的内部一致性较好,但评分员之间的严厉度存在显著差异;英语母语评分员对各水平段的考生作文评分偏严,对最高水平考生评分偏宽;汉语母语评分员对高水平段的考生评分倾向偏宽,对最低水平考生评分偏严。概化理论和多面Rasch模型分别从宏观和微观层面证明了,在趋中度方面,汉语母语与英语母语评分员的评分质量无差别,而在信度系数、评分员一致性、对评分量表的把握、与考生交互方面,汉语母语评分员的评分质量则更高一些。