论文部分内容阅读
无论主观测试还是客观测试,都存在分数不确切代表被试的真实语言能力的问题,这是语言测量学界一个最本质的也是最棘手的问题,即测量的效度问题,而在主观测试中这一问题尤其显著。要保证一个测量的高效度,首先要确保测量的高信度。因而在测验的开发和应用中,最受关注的是测验分数的信度。以往我们采取这样一些办法以使评分员保持一致:增加评分员数量、以各评分员给出的分数的均值作为被试得分、对异常分数予以丢弃、找别的评分员重评、培训评分员、细化评分规则、使规则更易于操作等。但这些方法都无法从真正意义上得到一个与真分数尽可能近似的分数。1993年,Longford针对主观评分中的信度问题提出了四种分数调整模型(sadj scheme严厉度调整模型、uAdj scheme残项调整模型、tAdj scheme平均分调整模型和aAdj scheme总体调整模型),用于解决由于评分员不同造成相同能力的被试可能得到很不一样的分数的问题。 本文的主要内容有两个:一是介绍Longford提出的评分员信度检验方法以及三个针对异常评分员所评分数的调整模型——严厉度调整模型、残项调整模型、平均分调整模型的调整原理和步骤。该方法以概化理论和方差分量分析为理论基础,可以估计出真分数、评分员严厉度和误差的方差,并可以考察每个评分员的评分情况以及给同一个被试评分的每一对评分员的评分情况,因而能够较全面地对主观测试评分的质量进行评估并对异常评分者予以调整。二是使用Longford信度检验方法检测出异常评分员,然后运用严厉度调整模型对HSK高等作文评分中的异常评分者所评的分数进行了调整。调整后分数得到很大改善:调整后评分员所给分数的分布更服从正态分布,调整后的评分员间和评分员内方差正态化后的结果都比调整前的结果更接近于期望值1,调整后的分数也更多地在判断区间之内。因此在以后的考试当中这种数学的调整方法基本上可以代替以往使用的组织评分员重评的方法。但是它可能对小部分个性被试不利,所以对于在以后实际操作中是否使用分数调整还是一个权衡利弊的问题。最理想的方法是以后我们经过进一步研究,找到一个办法,既能调整异常分数,又不扼杀某些个性考生的真实能力。