写作测试是语言测试不可或缺的一部分。许多大规模的英语测试,例如,CET, TEM, TOEFL,都把写作作为测试的一个重要部分,PETS考试也不例外。但因受多种因素影响,其效度很难得到保证。其中评分是影响其效度的最重要因素之一。作为一种大规模测试,PETS考试已经并将受到更多的重视,但目前尚未见到关于PETS考试中写作评分效度的相关研究。本文的研究问题是:PETS三级考试中作文评分在多大程度上有效?为了较全面的阐述本研究问题,本文将回答以下两个具体问题:(1)2004年3月份和2005年3月份PETS三级考试中的作文原始分数评分员和参照分数评分员分别在多大程度上一致?(2)2004年3月份和2005年3月份PETS三级考试中作文原始分数在多大程度上相关?本研究基于PETS语料库,采用系统抽样的方法抽取作文样本,对所抽取的样本进行多人重新评分来获取参照分数以便与试卷上的原始分数进行比较,并对所得数据进行相关分析和T检验。研究结果显示:1)2004年3月份PETS三级考试中作文的原始分数和参照分数呈显著性相关(r=0.869, P=0.000<0.01),并且二者的平均分之间不存在显著性差异,但是原始分数的平均分比参照分数的平均分高。这说明虽然原始分数的评分员和参照分数的评分员对2004年3月份PETS三级考试中的作文评判总体一致,但原始分数的评分员对作文的评判总体较宽松。2)2005年3月份PETS三级考试中作文的原始分数和参照分数呈显著性相关(r=0.798, P=0.000<0.01),但是二者的平均分在0.01水平上呈显著性差异。这说明虽然原始分数的评分员和参照分数的评分员对2005年3月份PETS三级考试中的作文评判总体一致,但他们的平均分之间存在显著性差异。此外,原始分数的平均分比参照分数的平均分高,这说明原始分数的评分员对作文的评判总体较宽松。3)2004年3月份PETS三级考试中作文原始分数的平均分和标准差比2005年3月份PETS三级考试中作文原始分数的平均分和标准差低。二者不仅不相关,而且平均分之间存在显著性差异。这说明PETS三级考试中作文的跨年度间的评分可能存在不等值的现象。结果还显示,2005年3月份PETS三级考试中作文的题目要求不具体,没有详细、清晰地向考生说明写作程序及评分方法,导致部分考生不能准确把握写作内容。此外,评分员也不清楚该如何权衡分数的比重。本研究结果的启示是,为了确保评分的稳定性和可靠性,PETS考试中心不仅要保证试题库的稳定,而且还要有一支合格的,稳定的,公正的评分员队伍。此外,借鉴CET和TEM考试的研究成果,PETS考试中心还应该加强试题开发,确保试题更科学,更标准。