A Study on Rater Bias Patterns in Rating CEPT Writing

来源 :湖南大学 | 被引量 : 0次 | 上传用户:sunrainnet
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了对写作分项评分和整体评分进行进一步研究,检验其信度及评分偏差,本文主要通过项目反映理论及分析工具Facets对分项评分和整体评分进行信度以及偏差分析,并总结评分员在对各个评分项目以及不同水平考生评分时表现出的偏差规律。其中,整体评分表现作为参照,将分项评分的各个维度的评分信度进行比较。  研究步骤分为以下三步:1.对已有成绩的写作样本分层抽样,从高到低10个级别的300份作文;2.15位有足够评分经验并有代表性的评分员完成对300篇作文的整体和分项2组评分实验;3.对测试结果进行初步检验,进而进行多侧面分析,检验评分信度并总结评分特点及规律。  研究结果显示:(1)两组评分具有相似的宽严度水平,分项总分的宽严度与整体评分十分接近并且其偏差水平最低,15位评分员的内部一致性都较好,评分员9号,12号和10号显示出相对明显的趋中趋势;(2)“分项总分”只与15号评分员有一组显著性宽松偏差,10号评分员只对“语法”存在显著性宽松偏差,评分维度中“标点和大小写”与“任务”的显著性偏差方向相反,“整体评分”与“任务”偏差方向相同;(3)显著性宽松偏差明显多于显著性严格偏差,评分员更容易对高水平考生产生显著性偏差,且呈现出对高水平学生更宽松和对低水平学生更严格倾向,1号评分员评不同水平作文不存在显著性偏差,2号评分员的显著性严格偏差多于宽松偏差,不同于其他评分员;(4)Facets能够在探索系统性规律性偏差方面给出答案,并且结论有助于评分培训。  本研究结果表明在本研究样本和对象的范围内,可针对易产生偏差的评分维度及学生群体进行专门的评分员培训,对评分量表上维度的描述及评分员的理解进行调整,以达到对量表同样的诠释,减少评分偏差,这对培训和评分量表的解释及改进有实际应用价值。本文最后还提出了研究中的不足以及有待进一步研究的问题。
其他文献
英语的词重音在声学方面主要有音高,音长以及音强三方面声学的特征,其中任何一个特征没有掌握好都会对重音的感知和产出发生影响。汉语作为声调语言,主要的声学特征是音高,此外时
计算机技术的发展与成熟,使得大规模的语料库开发研制成为了可能。语料库为基础的翻译教学研究,是应用语言学的一个新研究领域。已经被广泛认为是语言学研究的一个重要的方面。
众所周知,中国台湾已成为以PC为首,包括固定电话、移动电话、电子玩具、数码相机等的世界生产重镇。在进入“可视”(vision)新世纪之后,台湾对今后电子产品不可缺少的核心器
在翻译的整个过程当中,译者是不可缺少且不能忽略的一个组成部分。然而,在漫长的翻译研究历史中,译者一直被置于边缘位置,译者及译作的地位始终远远低于原作者及原作。译者甚至于
时制一直是形式语义学和句法学的一个重要研究话题。而对于汉语时制的研究,学术界一直在探索但迄今未有定论。其中汉语中是否存在时制一直是最有争议的问题。一些学者认为汉语
在TV市场中,正在迅速进行薄型化是众所周知的事实。相对于中小型TV采用LCD;在大型TV中,由于PDP(等离子体显示板)的画质性能、寿命,以及电耗的改善,不断巩固着稳固的地位。尤
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
现如今,人们逐渐认识到中国学生英语写作的现状并不尽如人意。其问题之一是学生所犯的低级语法错误阻碍了其语言能力的发展,从而制约了进一步的语言学习。在这篇论文中,以中国学
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
The highest part of the East Antarctic Ice Sheet,more than 4000 m above sea level,has been an area that has seen a considerable scientific research effort undertaken by the Chinese National Antarctic