用LONGFORD方法对主观评分中的异常分数进行分数调整

来源 :北京语言大学 | 被引量 : 5次 | 上传用户:tangguoxun3726
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无论主观测试还是客观测试,都存在分数不确切代表被试的真实语言能力的问题,这是语言测量学界一个最本质的也是最棘手的问题,即测量的效度问题,而在主观测试中这一问题尤其显著。要保证一个测量的高效度,首先要确保测量的高信度。因而在测验的开发和应用中,最受关注的是测验分数的信度。以往我们采取这样一些办法以使评分员保持一致:增加评分员数量、以各评分员给出的分数的均值作为被试得分、对异常分数予以丢弃、找别的评分员重评、培训评分员、细化评分规则、使规则更易于操作等。但这些方法都无法从真正意义上得到一个与真分数尽可能近似的分数。1993年,Longford针对主观评分中的信度问题提出了四种分数调整模型(sadj scheme严厉度调整模型、uAdj scheme残项调整模型、tAdj scheme平均分调整模型和aAdj scheme总体调整模型),用于解决由于评分员不同造成相同能力的被试可能得到很不一样的分数的问题。 本文的主要内容有两个:一是介绍Longford提出的评分员信度检验方法以及三个针对异常评分员所评分数的调整模型——严厉度调整模型、残项调整模型、平均分调整模型的调整原理和步骤。该方法以概化理论和方差分量分析为理论基础,可以估计出真分数、评分员严厉度和误差的方差,并可以考察每个评分员的评分情况以及给同一个被试评分的每一对评分员的评分情况,因而能够较全面地对主观测试评分的质量进行评估并对异常评分者予以调整。二是使用Longford信度检验方法检测出异常评分员,然后运用严厉度调整模型对HSK高等作文评分中的异常评分者所评的分数进行了调整。调整后分数得到很大改善:调整后评分员所给分数的分布更服从正态分布,调整后的评分员间和评分员内方差正态化后的结果都比调整前的结果更接近于期望值1,调整后的分数也更多地在判断区间之内。因此在以后的考试当中这种数学的调整方法基本上可以代替以往使用的组织评分员重评的方法。但是它可能对小部分个性被试不利,所以对于在以后实际操作中是否使用分数调整还是一个权衡利弊的问题。最理想的方法是以后我们经过进一步研究,找到一个办法,既能调整异常分数,又不扼杀某些个性考生的真实能力。
其他文献
芭蕾是从西方传来的舞种。随着中国芭蕾本土化进程的发展,《红色娘子军》和《白毛女》成为我国家喻户晓的芭蕾舞剧。在这两部芭蕾舞剧创作伊始,编导本着摆脱传统芭蕾创作法则
系统及系统理论作为一种世界观、思维科学、研究方法,被广泛运用于自然科学和社会科学,特别是复杂现象研究和跨学科研究中,它有利于使复杂的现象简单化。贝塔朗菲提出了探索
目的观察维生素B5(泛酸)对全饥饿大鼠脑脂质过氧化产物丙二醛(MDA)、还原型谷胱甘肽(GSH)、谷胱甘肽过氧化物酶(GSH-Px)、超氧化物歧化酶(s0D)的动态变化及保护作用。方法以饥饿昆明大
针对首台国产质子治疗仪示范装置旋转机架项目技术要求高、质量控制难等特点,结合生产实践,通过深入制造和安装现场,经过反复的模块分析和研究,确定采取研制检测装置、双网控
作为培养国家基础力量的高职高师院校,音乐钢琴课程改革必须把《新课程标准》作为主要理论依据,根据高职的教学特点,在课堂教学内容上突出高师音乐教育的基础性、专业性、师
利用1961—2016年伊犁河谷10个气象站逐日观测资料,依据冷空气过程监测标准,采用线性趋势、Morlet小波和相关分析等方法,对河谷各站9月至次年5月期间不同等级冷空气过程的频
俾斯麦曾经说过,“上帝对傻瓜、醉汉和美国给予特别的保佑。”但《光荣与梦想》告诉你,美国的发展也是在艰难地跨越一道道的沟坎。
目的:研究牛磺酸复合制剂对小鼠生长发育的影响.方法:采用SPF级昆明种性成熟小鼠,以牛磺酸复合制剂人群推荐日摄入量扩大2、10、30倍分别作为低、中、高剂量组(相应量为1.34
<正>新经济兴起已成为世界经济不可逆转的大趋势。以电子信息产业为核心的高新技术产业已在中国兴起。广东是中国高科技产业发展的前沿阵地,它与港澳台地区的合作已有了良好
会议
行政审批是行政权力最为集中的领域,在社会主义市场经济和资源配置方面发挥着重大作用。行政审批作为一项具体的行政行为,其制度改革也是我国转变政府职能的重要手段。从我国