论文部分内容阅读
随着网上阅卷的评卷形式被大规模用于各种考试评卷,各类英语测试正向着标准化的方向发展。近年来,网上阅卷体系迎来了越来越多的挑战,也随即引起了国内外学者的广泛关注。阅卷过程中,评分员是评分工作的核心,而评分员对于评分质量的认知则可以部分评估其评卷过程的心理状态和思维逻辑,为与评卷质量相关的研究做出重要贡献。本文旨在从评分员的角度全面了解影响评分员阅卷质量的因素,并为当前阅卷实际场景中的相应因素提出有效的改进措施。
为了解决研究目标,本研究提出了三个研究问题:1)从评分员的角度来看,哪些因素会影响网上阅卷的质量?每个因素对阅卷质量的影响程度如何?2)不同人口学特征和专业背景的评分员对阅卷质量影响因素的重视度有何不同?3)阅卷质量不同的评分员对阅卷质量影响因素的重视度有何不同?
针对以上研究问题,本研究采用了定性与定量数据相结合的研究方法,通过一次问卷调查和四次半结构化访谈采访来完成数据的收集工作。研究在一次大规模的高风险英语测试后进行,参与调查的人群主要是具有至少一年的英语科目教学经验的101名大学教师。作者主要通过不同维度下的43个题项以及参与者的背景问卷得到源数据。通过探索性因素分析,研究确定了影响评分质量的因素,随后通过半结构化访谈数据,更深入地了解这些因素对评分者的评分思维过程的影响机制。当研究评分员职业背景与上述因素间的关系时,文章采用了t检验来帮助测试两个变量间的相关性,同样的方法也被用于检验评分员阅卷质量与上述因素间的关系。通过将数据在SPSS软件处理后,文章得出以下结论:
本文验证所得到的评分过程影响因素主要有7个,分别为:培训,个人状况,环境与服务,评分标准,评分标准的实际使用,样卷以及监督。随后对评分员的背景信息特征分类进行t检验,得到部分因素对不同人口学特征的评分员影响程度不同的结论;对于经验丰富的评分员来说,培训及样卷对阅卷质量的改善程度较低。相较于经验较少的评分员,他们对遵循评分标准进行评分的意愿显著偏低。另外,值得一提的是,通过总结具有不同特征的人群的阅卷质量,作者发现评分质量不同的阅卷员在评分时对上述因素的重视度也不尽相同。
本文的结论主要在以下方面做出了较大贡献。本文扩大了网上阅卷环境下阅卷质量影响因素的范围。基于前人对评分员评分结果有关的发现,本文进一步加深了学者们对阅卷质量影响因素过程的因素的讨论,并对评分员评分思维过程相关的理论进行了补充。更重要的是,本文从重评系统改进、评分员个性化设置、强制休息制度设立及薪酬制度改善四个方面为现行的英语测试评分体系提供了有效和建设性的建议,为改善阅卷质量,提高网上阅卷评分系统管理提供了更切合实际的操作与改进方式。
为了解决研究目标,本研究提出了三个研究问题:1)从评分员的角度来看,哪些因素会影响网上阅卷的质量?每个因素对阅卷质量的影响程度如何?2)不同人口学特征和专业背景的评分员对阅卷质量影响因素的重视度有何不同?3)阅卷质量不同的评分员对阅卷质量影响因素的重视度有何不同?
针对以上研究问题,本研究采用了定性与定量数据相结合的研究方法,通过一次问卷调查和四次半结构化访谈采访来完成数据的收集工作。研究在一次大规模的高风险英语测试后进行,参与调查的人群主要是具有至少一年的英语科目教学经验的101名大学教师。作者主要通过不同维度下的43个题项以及参与者的背景问卷得到源数据。通过探索性因素分析,研究确定了影响评分质量的因素,随后通过半结构化访谈数据,更深入地了解这些因素对评分者的评分思维过程的影响机制。当研究评分员职业背景与上述因素间的关系时,文章采用了t检验来帮助测试两个变量间的相关性,同样的方法也被用于检验评分员阅卷质量与上述因素间的关系。通过将数据在SPSS软件处理后,文章得出以下结论:
本文验证所得到的评分过程影响因素主要有7个,分别为:培训,个人状况,环境与服务,评分标准,评分标准的实际使用,样卷以及监督。随后对评分员的背景信息特征分类进行t检验,得到部分因素对不同人口学特征的评分员影响程度不同的结论;对于经验丰富的评分员来说,培训及样卷对阅卷质量的改善程度较低。相较于经验较少的评分员,他们对遵循评分标准进行评分的意愿显著偏低。另外,值得一提的是,通过总结具有不同特征的人群的阅卷质量,作者发现评分质量不同的阅卷员在评分时对上述因素的重视度也不尽相同。
本文的结论主要在以下方面做出了较大贡献。本文扩大了网上阅卷环境下阅卷质量影响因素的范围。基于前人对评分员评分结果有关的发现,本文进一步加深了学者们对阅卷质量影响因素过程的因素的讨论,并对评分员评分思维过程相关的理论进行了补充。更重要的是,本文从重评系统改进、评分员个性化设置、强制休息制度设立及薪酬制度改善四个方面为现行的英语测试评分体系提供了有效和建设性的建议,为改善阅卷质量,提高网上阅卷评分系统管理提供了更切合实际的操作与改进方式。