论文部分内容阅读
摘 要：在教育与心理测量中，Rasch测量模型具有客观和等距量尺的特性。本文利用怀特图对某学校一份数学考试成绩进行了多面Rasch分析。结果表明，相比于经典测量理论，基于Rasch测量模型的试题分析评价更加客观。
关键词：Rasch测量；等距量尺；试题评价；怀特图
一、 引言
Rasch测量理论以Rasch测量模型为基础，具有测量客观和测量等距的优点，能够准确反映样本群体和测验的客观属性。怀特图是展示Rasch测量理论的一个非常简单和直观的分析工具。本文利用怀特图对某学校一份数学考试成绩进行了多面Rasch分析。结构安排如下：首先就Rasch测量的基本原理和相关要求做概要描述，然后对某学校一份数学考试成绩数据进行多面测量等分析，最后给出我们的结论。
二、 Rasch测量基本原理
等距性和客观性是该模型最显著的特性，这两个特性也是Rasch得以广泛应用的基础。综合所查阅的文献，等距性和客观性具有如下含义：
第一、对于被试而言，任何两位被试者的水平的比值与题目的难度无关，两位被试者的水平比恒等于胜率比；任何两位被试者的能力水平差距和题目难度无关，两者之间以logit为单位的差距不会改变。第二、对于项目而言，任何两个项目难度的比值与被试的能力水平无关，两个项目的难度比恒等于胜率比；任何两个项目的难度差异和被试的能力水平无关，两者之间以logit为单位的差距不会改变。
在Rasch测量中，被试能力水平和项目难度可以彼此分离，是测验独立的和项目独立的，这被称为Rasch模型的等距性和客观性。需要指出的是，并非所有的数据都可以用Rasch测量模型进行分析。仅仅当数据和Rasch模型之间具有一定程度的拟合时，被试和项目测量才是客观的和等距的，因此模型——数据拟合在Rasch测量分析中是一个重要的议题。
三、 数据预处理
Rasch模型的二分计分模型可处理具有二分计分特点的选择题和填空题，分部计分模型可处理具有多重计分特点的解答题。编码规则如下：
（1）选择题正确作答记1分，错误或其他作答记0分；（2）填空题正确作答记1分，错误或其他作答记0分；（3）解答题结合评分參考中给定的每个试题解答过程中的步骤分和整题分数分布情况进行编码。例如，一个具有12分的解答题，如果包含3个解题步骤，可依次给予每个解题步骤从低到高分别编码为1，2，3，没有作答或完全错误作答编码为0。
四、 怀特图简介
下面以利用怀特图对一份试卷的整体分析为例，对怀特图的使用进行简要介绍。图1给出了一份试卷所有试题的整体Rasch分析怀特图。怀特图提供了题目和被试图形化的难度分布，图中最左端数值为被试水平和题目难度在同一客观等距量尺上的logit值，中间部分代表考生能力水平的分布，其中每个X代表若干个被试，X所在的不同位置表明水平的差异，自下而上被试水平逐渐升高，右侧代表试题的难度分布，Rasch测量题目难度时，logit值越小题目越容易，越大题目越难。因此，怀特图清晰地给出了一份试卷试题难度、考生水平的分布情况。怀特图可进行试卷多维度分析、项目功能差异、多面分析等多个方面的分析，分析的原理基本都与此类似，最左侧为Rasch客观等距量尺的logit值，通过该logit值来测量诸如试题难度、考生水平分析等其他需要分析的Rasch侧面，这就是Rasch分析的基本原理。
五、 Rasch多面分析
多面Rasch模型（manyfaceted Rasch model，简称MRFM）是Rasch模型的拓展，它提供的统计框架可以检测主观试题评分中多个因素对于评分结果的影响。这个模型可以同时估计被试能力、项目难度、任务难度以及评分员效应等多个侧面，该拓展模型还可以增加更多的侧面，多面模型的详细介绍可参见有关文献。我们以一道主观试题为例介绍怀特图在Rasch多面分析中的应用，该道试题共两个作答任务（包含两个小题），由两个评分员独立评分，每个评分员需分别给出两个作答任务的分数。这个分析包含了被试、试题、任务、评分员共四个侧面，共选取了10名评分员的评分数据。图2给出的是多面Rasch怀特图。图中最左侧部分是被试侧面，中间部分是评分员（rater）侧面，最右侧部分是作答任务（Criteria）侧面，因为仅对一道试题分析，图中没有反映出试题侧面。图2在被试侧面反映了被试在低水平端相对较为分散；评分侧面反映了评分员评分的严厉程度基本相当，均处于logit量表居中的位置，没有出现评分非常宽松或者非常严厉的评分员；任务侧面的两个任务（Criteria）有一定的差异。因此，从图中可知，怀特图清晰地给出了多个侧面的基本情况。利用怀特图进行多面分析的文献较多，进一步更为详细的阐述可详见相关文献。
六、 结论
本文根据Rasch的客观和等距特性，介绍怀特图在考试数据分析统计中的应用。事实上，利用怀特图可以对Rasch及其拓展模型进行试卷的多维度分析、分数线划定、项目功能差异等多种考试数据分析评价。该技术在考试数据分析中具有非常广泛的应用前景。
参考文献：
[1]王文中.Rasch测量理论与其在教育和心理之应用[J].教育与心理，2004（27）：637-694.
[2]王蕾.Rasch测量原理及在高考命题评价中的实证研究[J].中国考试，2008（1）：32-39.
[3]夏静.普通高考语文作文题评分员效应分析[D].北京师范大学，2011.
[4]王佶旻，邓志娜.评分员对不同体裁作文评分的多面Rasch模型分析[J].考试研究，2018（1）.
作者简介：
杜海燕，安徽省合肥市，安徽省教育招生考试院。
关键词：Rasch测量；等距量尺；试题评价；怀特图
一、 引言
Rasch测量理论以Rasch测量模型为基础，具有测量客观和测量等距的优点，能够准确反映样本群体和测验的客观属性。怀特图是展示Rasch测量理论的一个非常简单和直观的分析工具。本文利用怀特图对某学校一份数学考试成绩进行了多面Rasch分析。结构安排如下：首先就Rasch测量的基本原理和相关要求做概要描述，然后对某学校一份数学考试成绩数据进行多面测量等分析，最后给出我们的结论。
二、 Rasch测量基本原理
等距性和客观性是该模型最显著的特性，这两个特性也是Rasch得以广泛应用的基础。综合所查阅的文献，等距性和客观性具有如下含义：
第一、对于被试而言，任何两位被试者的水平的比值与题目的难度无关，两位被试者的水平比恒等于胜率比；任何两位被试者的能力水平差距和题目难度无关，两者之间以logit为单位的差距不会改变。第二、对于项目而言，任何两个项目难度的比值与被试的能力水平无关，两个项目的难度比恒等于胜率比；任何两个项目的难度差异和被试的能力水平无关，两者之间以logit为单位的差距不会改变。
在Rasch测量中，被试能力水平和项目难度可以彼此分离，是测验独立的和项目独立的，这被称为Rasch模型的等距性和客观性。需要指出的是，并非所有的数据都可以用Rasch测量模型进行分析。仅仅当数据和Rasch模型之间具有一定程度的拟合时，被试和项目测量才是客观的和等距的，因此模型——数据拟合在Rasch测量分析中是一个重要的议题。
三、 数据预处理
Rasch模型的二分计分模型可处理具有二分计分特点的选择题和填空题，分部计分模型可处理具有多重计分特点的解答题。编码规则如下：
（1）选择题正确作答记1分，错误或其他作答记0分；（2）填空题正确作答记1分，错误或其他作答记0分；（3）解答题结合评分參考中给定的每个试题解答过程中的步骤分和整题分数分布情况进行编码。例如，一个具有12分的解答题，如果包含3个解题步骤，可依次给予每个解题步骤从低到高分别编码为1，2，3，没有作答或完全错误作答编码为0。
四、 怀特图简介
下面以利用怀特图对一份试卷的整体分析为例，对怀特图的使用进行简要介绍。图1给出了一份试卷所有试题的整体Rasch分析怀特图。怀特图提供了题目和被试图形化的难度分布，图中最左端数值为被试水平和题目难度在同一客观等距量尺上的logit值，中间部分代表考生能力水平的分布，其中每个X代表若干个被试，X所在的不同位置表明水平的差异，自下而上被试水平逐渐升高，右侧代表试题的难度分布，Rasch测量题目难度时，logit值越小题目越容易，越大题目越难。因此，怀特图清晰地给出了一份试卷试题难度、考生水平的分布情况。怀特图可进行试卷多维度分析、项目功能差异、多面分析等多个方面的分析，分析的原理基本都与此类似，最左侧为Rasch客观等距量尺的logit值，通过该logit值来测量诸如试题难度、考生水平分析等其他需要分析的Rasch侧面，这就是Rasch分析的基本原理。
五、 Rasch多面分析
多面Rasch模型（manyfaceted Rasch model，简称MRFM）是Rasch模型的拓展，它提供的统计框架可以检测主观试题评分中多个因素对于评分结果的影响。这个模型可以同时估计被试能力、项目难度、任务难度以及评分员效应等多个侧面，该拓展模型还可以增加更多的侧面，多面模型的详细介绍可参见有关文献。我们以一道主观试题为例介绍怀特图在Rasch多面分析中的应用，该道试题共两个作答任务（包含两个小题），由两个评分员独立评分，每个评分员需分别给出两个作答任务的分数。这个分析包含了被试、试题、任务、评分员共四个侧面，共选取了10名评分员的评分数据。图2给出的是多面Rasch怀特图。图中最左侧部分是被试侧面，中间部分是评分员（rater）侧面，最右侧部分是作答任务（Criteria）侧面，因为仅对一道试题分析，图中没有反映出试题侧面。图2在被试侧面反映了被试在低水平端相对较为分散；评分侧面反映了评分员评分的严厉程度基本相当，均处于logit量表居中的位置，没有出现评分非常宽松或者非常严厉的评分员；任务侧面的两个任务（Criteria）有一定的差异。因此，从图中可知，怀特图清晰地给出了多个侧面的基本情况。利用怀特图进行多面分析的文献较多，进一步更为详细的阐述可详见相关文献。
六、 结论
本文根据Rasch的客观和等距特性，介绍怀特图在考试数据分析统计中的应用。事实上，利用怀特图可以对Rasch及其拓展模型进行试卷的多维度分析、分数线划定、项目功能差异等多种考试数据分析评价。该技术在考试数据分析中具有非常广泛的应用前景。
参考文献：
[1]王文中.Rasch测量理论与其在教育和心理之应用[J].教育与心理，2004（27）：637-694.
[2]王蕾.Rasch测量原理及在高考命题评价中的实证研究[J].中国考试，2008（1）：32-39.
[3]夏静.普通高考语文作文题评分员效应分析[D].北京师范大学，2011.
[4]王佶旻，邓志娜.评分员对不同体裁作文评分的多面Rasch模型分析[J].考试研究，2018（1）.
作者简介：
杜海燕，安徽省合肥市，安徽省教育招生考试院。