论文部分内容阅读
摘 要 根据项目反应理论的信息函数法,以自主开发的“现代教育和心理测量通用分析系统”为工具,对两个大规模实施的标准参照测验进行了测验质量分析｡结果说明,信息函数分析法比经典真分数理论分析法,可以获得更丰富､深刻､有针对性的资料,能对项目筛选修订､测验编制开发给出有力的指导,值得大力引进､推广｡
关键词 信息函数,划界分数,估计标准误,项目反应理论,真分数理论｡
分类号 G449
1 问题的提出
测验质量分析是筛选修订测验项目､改进与保证测验质量的关键措施和必经工作环节｡在心理和教育测量理论发展过程中,经典真分数理论(CTT)已开发出一整套的技术来为此服务｡但由于其模型和策略思想上的局限,传统真分数理论的项目分析与测验质量检验技术虽起过重要历史作用,今天却显现出了许多严重不足:(1)分析有关测验质量的统计量,如项目难度､区分度以及测验信度等,完全依赖于样本,结果难于普遍推广;(2)项目难度与被试水平定义在不同量尺上,无法直接联系与比较;(3)测量精度是针对整个被试团体来说的一个笼统值,不能具体问题具体分析;(4)项目难度与区分度分别评估求取,没有项目性能综合评价指标;(5)整个质量分析工作主要针对着测验总分来进行,最后只能通过试误筛选以组编测验,并无严格的逻辑来分析各个项目对全测验性能的影响,也不能主动按预定测验目标来挑选最恰当项目[1,2]｡
上世纪中期逐步发展起来的作为现代测量理论主要代表的项目反应理论(IRT),迳直以被试在测验项目上的作答反应作为分析对象,提出了揭示被试在项目上的答对概率跟内部潜在特质和项目测量特性间关系的数学模型,将项目难度合理地定义在特质水平量尺上,并采取统计估计方法,从实测数据出发来估出不依赖于样本资料的被试特质参数与项目性能参数;特别是,还定义了项目信息函数(item information function)与测验信息函数(test information function)这种真分数理论中根本没有提出过的科学概念,以此为工具来综合地､动态地､在不同条件下有区别地考察项目与测验的计量学性能,深刻而合逻辑地分析每个测验项目跟整个测验性能间的定量关系[1,2,8～11]｡因此,项目反应理论就给项目分析､测验质量检验与测验开发编制,提供了许多崭新的极为有力的工具､方法与策略｡
标准参照测验是现代心理和教育测量中一种重要的测验类型,其科学开发与编制,上世纪后期起,尤其受到测量学界的特别关注｡代表测验标准的划界分数(cutoff score)或者说合格线的准确把握问题,则是该种测验编制开发中的核心与关键[6]｡但是,在真分数理论框架中,项目难度定义在某一被试组上,是该被试组的通过率,能力水平则定义在某一测试项目组上,是该项目组上的通过率;这两种通过率虽然数字形式都是百分比,含义却截然不同,推论逻辑各相殊异｡于是,在标准参照测验中假定以掌握比例(一般可记为π0)达到0.60的能力水平作为合格线即划界分数的话,人们并不能从这个0.60的数字出发,去选择难度为0.60或其它值的项目,以便合目的地编组出一个性能确属优良的测验来｡项目反应理论却不同,它已为解决标准参照测验质量分析以及测验的改进开发提供了新方法与新策略[1,2,9～11]｡然而,对项目反应理论的研究与应用,国内测量学界虽已做了不少工作,在参数估计､测验等值､计算机化自适应测验开发乃至项目有偏性探查等方面,都有良好成果[1～8],但用信息函数法对标准参照测验作质量分析的研究,迄今尚属少见｡所以,我们就集中了一定力量,为此开展了一些探索｡目的是要为我国心理与教育测量学界分析测验质量,引进新思路､开拓新途径积累经验｡
2 研究的方法与过程
信息是一个重要的科学与哲学概念,可一般地定义为“不肯定性的消除”｡所获资料若信息量大,即意味着据此资料对应考察对象所作推论更可靠､估计误差小｡在心理和教育测量中施测项目,正是要从被试在项目上的作答反应资料出发,去估计出被试内部潜在特质水平｡因此,若项目性能优良适于对被试水平作考察,根据被试反应资料估出的特质水平就可靠,误差就会小,亦即项目提供的信息量就会大｡资料的信息量是需要分析评估的,项目反应理论中的项目信息函数,正是这样一个评价项目性能的综合指标｡它定量地刻划了项目难度､区分度等跟测量精度或者说信息量间的关系｡项目信息函数的数学定义是
这里,Ii(θ)是项目测试特质水平为θ的被试时的信息量;Pi(θ)是水平为θ的被试在项目i上的答对概率,它又叫项目反应函数;Pi′(θ)是项目i的反应函数的一阶导数｡项目反应函数的具体表达式取决于是1-0计分还是多级计分项目,采用的是什么数学模型｡就1-0计分的选择题来说,若项目反应函数选取单维双参数Logistic模型,则上式可写为:
式中ai,bi分别是项目的区分度与难度参数｡上式说明,同一项目对不同特质水平提供的信息量是不一样大的;随着(θ-b)差值的增大,项目所提供的信息量越来越小;当项目测试特质水平跟项目难度相当时,项目信息趋于变大｡具体说,在测试下列水平被试时项目提供出最大信息量:
也就是说,当被试水平略高于项目难度时,项目信息量可达最大｡同时,式(2)还说明,项目所能提供出的信息量值跟区分度有关,区分度值越大,项目性能越优良,所能提供出的信息量值就越多｡
测验信息函数是项目信息函数的累加和,即有:
也就是说,信息函数具有可加性,测验中各个项目都对测验信息量独立地作出自己的贡献｡若要测验整体信息量大,就要使各个项目的信息量都大,全是性能优良而又跟所测被试水平相适应的项目｡被试水平是要根据测验的实测资料来进行估计的,项目反应理论已经证明,被试水平估计标准误(standard error of estimation),就是测验信息函数算术根的倒数｡即有:
因此,测验信息函数值越大,被试水平估计标准误就越小,亦即测量精度越高｡对标准参照测验来说,应该在划界分数θ0处使测验有最大信息量,也就是有最高的测量精度,从而能最好地将θ0附近的被试加以鉴别区分,将误判率降到最低｡划界分数θ0应由测验上的掌握比例π0来确定｡项目反应理论证明在划界分数θ0跟掌握比例π0间存在下述关系:
因此,采用项目反应理论的信息函数法来分析测验质量,其前提就要根据体现测验目标的掌握比例π0来实际确定划界分数(θ0);另外,还要确定划界分数(θ0)处所能允许的估计标准误SE(θ0)的值｡然后再针对上述要求,对全测验的质量与各个项目的性能进行深入的计量学分析[1,2,8～11]｡
采用项目反应理论的信息函数法对测验质量作分析,其过程包含如下四步:(1)估出应予考察的全部测验项目的性能参数值,因为信息函数的求取正是以此作为基础数据的;(2)针对被试特质量尺±3.0区间内的若干代表性点,计算项目信息函数与测验信息函数值,并绘制出项目与测验信息曲线图;(3)将测验信息曲线跟代表测量目标要求的测验目标信息曲线作比较,这就要去跟划界分数θ0处应有信息量要求作比较,以分析检验测验的整体质量;(4)针对测验的应有目标要求,逐个地分析项目的性能质量,提出筛选与改进建议｡其中的头两步,需要专用的计算机程序作支撑｡当前,国际测量学界流行的这类专用程序有BILOG､MULTILOG､PARSCALE等｡而后两步,当然是整个分析工作的重点｡
我国测量学界一贯主张全面对待选择题与非选择题(主观题)｡特别是我国的标准参照测验,如高等教育自学考试等,更是主张既使用选择题又使用非选择题;要求多种题型综合,不宜单一使用(1,0)计分的选择题型｡由于BILOG程序只能处理(1,0)计分题的资料,所以是不适合作我国的标准参照测验质量分析的｡而MULTILOG与PARSCALE[12,13]程序虽然把(1,0)计分题当作等级计分题的特例,可以处理各种题型综合运用的测验的实测资料,但等级计分题的级别数有限,一般不能超过10级｡然而,我国标准参照测验的等级记分题型的分值,不少是十几分､二十几分甚至更大值的｡因而,国外流行的上述所有这些测量分析程序,都难于普遍适应我国测验资料的实况｡前面提及的我国测量学界至今很少开展用信息函数来作测验质量分析,其原因恐怕也正是因为缺少合用的专业化测量分析程序｡
鉴于我国心理和教育测量理论与实践发展的迫切需要,我们已经成功开发研制成“现代心理与教育测量通用分析系统”(简记为ANOTE)｡它既可作经典理论的分析,更可作项目反应理论的分析;作项目反应理论分析时,既可处理纯(1,0)计分资料,更可处理多种题型综合运用的资料;在按项目反应理论处理多等级计分题资料时,级别数并不限于10级以下,可多达几十级｡另外,还有专门模块针对标准参照测验分析需要,去计算多种题型综合组成的测验中,求取指定掌握比例对应特质水平值的功能｡该程序已通过教育部考试中心主持､张厚粲教授为主任的专家委员会鉴定,结论是“国内领先,国际先进”｡
2.1 研究对象
对象I,国家某部委资格考试2001年一门科目的测验,以下称为测验A｡共有105题,其中前60题为(1,0)计分的“单选题”,后45题为5级计分的“多选题”(0,0.5,1,1.5,2)｡得分矩阵为从全国随机抽样获得的12000名考生的实测资料｡这一分析对象的特点是,测验题型综合,被试与项目数都甚大｡
对象II,某省高教自考2002年一个学科的测验,以下称为测验B｡共有24题:其中2分题有16道,6分题有4道,10分题有3道,14分题有1道｡得分矩阵为从该省随机取样抽得的1540名考生的实测资料｡这一分析对象的特点是,测验题型综合,有的项目计分级别超过10级;被试与项目数量不如测验A大,但仍不算小,符合项目反应理论分析要求｡
以上两对象都属标准参照测验,都以掌握比例π0=0.60所对应的被试能力值为划界分数;实际执行时由于测验A卷面满分为150分而测验B为100分,故测验A的及格线是90分而测验B是60分｡
2.2 分析工具
采用江西师大“统计与测量研究开发中心”自主研制的“现代教育与心理测量通用分析系统”｡
3 研究结果与分析
3.1 A测验
3.1.1 测验A整体质量分析
按项目反应理论要求,经模型-资料拟合检验,A测验因素分析第一特征值对第二特征值的比为3.52,故应视为该测验单维,且项目间局部独立｡再经信息函数法分析,从测验质量分析表(表1)中可以看出测验在划界分数为90分(即掌握比例π0=0.60 )时,测验的信息量为I0=18.94,对应的被试能力值θ0=1.31, 测验估计标准误SE(θ0)=0.23｡而测验的最大信息量IM=21.46,它所对应的掌握比例πm=0.66,考生能力值θM=1.73,这时测验估计标准误SE(θM)=0.216｡这说明该测验在划界分数θ0=1.31处的测量误差偏大,其估计标准误SE(θ0)=0.23,比一般认可的0.20大｡同时又说明在测试能力水平为1.73的考生,即划界分数为99分(即掌握比例πM=0.66)时,测验才能提供最大的信息量,命题者实际上是以此作为合格标准的｡因此,测验标准掌握得还不很准确,测量精度(信度)也不很合要求,应降低测验难度,使测验在划界分数为90分处的信息量达到更大｡从本测验信息函数曲线图(图1)来看,就应使曲线高峰向左移,并增大高度｡
3.1.2 测验A项目分析
分析项目质量就应考察划界分数处的项目信息量｡一般认为测验标准误应不大于0.20,即测验总信息量应达到25以上;而标准误处于0.20～0.25之间,即测验总信息量处在25～16之间时,应对测验进行改进,以提高质量;当测验总信息量小于16,即标准误值大于0.25时,测验就无存在价值了｡测验信息由项目信息累加构成,故它应按各题型占分比分摊到每一项目上去｡按上述要求就可建立项目优劣分类标准｡现测验A的(1,0)记分题有60道,占分比重2/5,多级记分题有45道,占分比重3/5｡当测验标准误0.20时,测验信息量是25,故(1,0)记分题每题信息量应达到0.17, 多级记分题每题信息量应达到0.33｡所以当(1,0)记分题的信息量大于0.17,多级记分题的信息量大于0.33时,可认为其质量良好｡类此可以认为,当(1,0)记分题中信息量在0.11～0.17的项目和多级记分题中信息量在0.21～0.33的项目,可认为其质量一般,还需改进;(1,0)记分题､多级记分题的信息量分别低于0.11､0.21的项目,则应视为质量很差,应删除重拟｡表2列出了按此标准划分的项目质量类别｡
对需修改的项目来说,可调整难度与增强区分力以提高项目信息量｡如图2第83题(属多级记分题),从项目信息曲线可看到,该项目在测验掌握比例是0.60时(即能力水平是1.31)的信息量很小(0.27左右),但在能力水平为2.6时项目信息量达到最大(IM=0.54)｡若能把项目难度降低到1.3 左右时,该项目的质量将会得到改善｡
图2 A测验第83题的项目信息曲线
图3第14题[属(1,0)记分题]的项目信息曲线可看到,在能力水平[-3,3]区间,其信息量都不大,原因是该项目的区分度小,只有0.12｡但该项目在能力水平1.2左右时信息量达到最大,接近划界分数值,故其难度合适｡所以要改善该项目的质量就应提高区分度｡图4第12题[属(1,0)记分题]的信息曲线图反应出项目的区分度小,为0.46,且项目难度(b=-0.12)跟划界分数(θ0=1.31)的差值大｡如要改进此项目的质量则需提高区分度,并同时加大项目的难度｡总之,按以上办法分析所有需修改的18个项目,可提出以下降低难度或提高难度或增强区分力的建议(见表3)｡
3.2 测验B
3.2.1 测验B整体质量分析
按项目反应理论要求,经模型-资料拟合检验,B测验因素分析第一特征值对第二特征值的比为4.5,故应视为该测验单维,且项目间局部独立｡再经信息函数法分析,从测验B质量分析表(表4)和测验信息函数曲线图(图5)中可以看出,测验在π0=0.60对应的划界分数时,测验的信息量为24.46,对应的被试能力值θ0=0.35, 测验估计标准误SE (θ0)=0.20｡这说明本测验在应有划界分数处精度已达要求,质量显然比测验A好｡但该测验的最大信息量IM=30.03,它所对应的掌握比例πm=0.34,这时考生能力值θM=-0.66｡这说明命题者心目中的合格标准比应有标准低,对测验难度把握得还不够好｡因此,如要进一步提高测验质量减小测量误差,则应使测验的难度适当加大｡
3.2.2 测验B项目分析
按前述确定项目质量标准的办法可知,因为本测验共有24道多级记分题,若以测验误差小于0.20即测验信息量达25为准,则对于2分题其信息量大于0.5的项目质量良好;信息量在0.5～0.32的项目其质量需修改;而信息量小于0.32的项目应删除重拟｡对于6分题当项目信息量在1.5以上质量良好;信息量在1.5～0.96间的应进行改进;信息量小于0.96的项目应删除重拟｡对于10分题而言,当其信息量大于2.5时质量良好;信息量在2.5～1.6之间的需改进;而信息量低于1.6的项目应删除重拟｡对于14分题当项目信息量达到3.5以上质量可视为良好;项目信息量在3.5～2.24间的应改进;信息量低于2.24的应删除重拟｡表5列出了测验项目的质量分类｡
从图6可看到,第1题(有3个难度等级)的区分度虽然较大,但项目信息量并没有在能力水平0.35上达到最大,而是在能力水平-0.8时信息量达到最大,因此要提高项目的质量就应加大难度至0.35左右;从图7第11题(有7个难度等级)的项目信息曲线图可看出其项目的区分度很小(只有1.1),且其信息量达到最大时的能力水平为-2.6, 因此要提高项目质量,则应加大项目的区分度,并提高项目的难度,使其信息量在能力水平0.35位置上达到最大｡在该测验质量需改进的6个项目中,需要提高区分度的项目有第11､12､13题;应加大难度的项目有第1､11､12､13､20､21题｡
4 小结与讨论
4.1 研究结论
通过以上对测验A和B的计量学分析可以看到,采用信息函数分析法能比经典真分数理论分析法得到许多更为丰富､深刻､直接服务于测验质量改进的资料:(1)能求得跟经典真分数理论分析结果相对应的项目难度､区分度以及估计标准误的值｡其中的项目性能参数是独立于样本的,而估计标准误可针对不同特质水平给出不同的估计误差,更为深刻实际｡(2)特别重要的是,采用信息函数分析法,能直接考察测验是否准确把握住了合格标准;如果不准确,能指出偏离的实况如何｡这一点则是经典理论所无法做到的｡(3)可直接根据准确掌握合格标准的要求,将测验所含全部项目进行性能优劣状况分类,并具体指出导致各项目性能不理想的实际原因,从而能就要增强区分力还是要调整难易度来提出切实建议｡所以,信息函数分析法有极强的行动指导效用｡总之,分析实践证明,项目反应理论的信息函数法具有显著优点和极强功能,值得认真重视｡在专用的计算机分析程序已然开发成功的情况下,更宜抓紧推广｡
4.2 需进一步研讨的问题
本研究所作的测验质量分析,是针对着在全国､全省大范围实施的标准参照测验来进行的,虽然很有必要,但完全未涉及常模参照测验的质量分析｡采用信息函数法来分析常模参照测验的质量,其具体标准与工作模式,应有自己的专门特点,所以是需要继续认真探讨的｡另外,更显得重要的是,本研究所作的测验质量分析,仅仅是进行了心理计量学的分析,并未涉及测验的内容覆盖面与能力结构是否合理等问题,故而即使计量学要求相宜也不能保证合格标准确属把握准确｡因此,把计量学分析与认知心理等实质心理学理论分析紧密结合,则应是今后更需大力深入探讨的问题｡
参 考 文 献
1 漆书青,戴海崎.项目反应理论及其应用研究.江西高校出版社,1992
2 漆书青,戴海崎,丁树良.现代教育与心理测量学原理.高等教育出版社,2002
3 漆书青等.计算机化自适应测验的编制与应用.江西教育科研,1999,2:64～66
4 漆书青等.现代教育与心理测量通用分析系统指导手册(出版中).2002
5 董圣鸿,马世晔.3种常用DIF检测方法的比较研究.心理学探新,2001,21(1):43～48
6 张厚粲.拮珠集.北京师范大学出版社,1998
7 张厚粲.承露集.北京师范大学出版社,1998
8 许祖慰.项目反应理论及其在测验中的应用.华东师范大学出版社,1992
9 Lord F M. Applications of Item Response Theory to Practical Testing Problems.Hillsdale,Nj:Erlbaum,1980
10 Hambleton R K, Swaminathan H. Item Response Theory: Priniciples and Applications. Boston: Kluwer, Nijhotf,1985
11 Suen H K. Priniciples of Test Theories. Hillsdale,Lawrence Erlbaum Associates,1990
12 Thissen D. MULTILOG User's Guide .Chicago,IL:Scientific Software,1991
13 Muraki E, Bok R D. PARSCALE:IRT item analysis and test scoring for rating-scale data,Chicago,IL:Scientific Software,1997
APPLICATION OF INFORMATION FUNCTION TECHNIQUE
TO ANALYZING THE CRITERION-REFERENCE TEST
Qi Shuqing, Zhou Jun, Zhang Qinghua
(Educational Department of Jiangxi Normal University, Nanchang 330027)Abstract
The quality of Criterionreference Test was analyzed based on the information function method of the Item Response Theory with Analysis of Test(ANOTE). It shows that this technique is prior to the method of the Classical True Score Theory and it can provide us some helpful advice about how to choose and revise the test items. So we consider that it is worthwhile to popularize.
Key Words information function,cut off score,standard error of estimation,item response theory,true score theory.
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”
关键词 信息函数,划界分数,估计标准误,项目反应理论,真分数理论｡
分类号 G449
1 问题的提出
测验质量分析是筛选修订测验项目､改进与保证测验质量的关键措施和必经工作环节｡在心理和教育测量理论发展过程中,经典真分数理论(CTT)已开发出一整套的技术来为此服务｡但由于其模型和策略思想上的局限,传统真分数理论的项目分析与测验质量检验技术虽起过重要历史作用,今天却显现出了许多严重不足:(1)分析有关测验质量的统计量,如项目难度､区分度以及测验信度等,完全依赖于样本,结果难于普遍推广;(2)项目难度与被试水平定义在不同量尺上,无法直接联系与比较;(3)测量精度是针对整个被试团体来说的一个笼统值,不能具体问题具体分析;(4)项目难度与区分度分别评估求取,没有项目性能综合评价指标;(5)整个质量分析工作主要针对着测验总分来进行,最后只能通过试误筛选以组编测验,并无严格的逻辑来分析各个项目对全测验性能的影响,也不能主动按预定测验目标来挑选最恰当项目[1,2]｡
上世纪中期逐步发展起来的作为现代测量理论主要代表的项目反应理论(IRT),迳直以被试在测验项目上的作答反应作为分析对象,提出了揭示被试在项目上的答对概率跟内部潜在特质和项目测量特性间关系的数学模型,将项目难度合理地定义在特质水平量尺上,并采取统计估计方法,从实测数据出发来估出不依赖于样本资料的被试特质参数与项目性能参数;特别是,还定义了项目信息函数(item information function)与测验信息函数(test information function)这种真分数理论中根本没有提出过的科学概念,以此为工具来综合地､动态地､在不同条件下有区别地考察项目与测验的计量学性能,深刻而合逻辑地分析每个测验项目跟整个测验性能间的定量关系[1,2,8～11]｡因此,项目反应理论就给项目分析､测验质量检验与测验开发编制,提供了许多崭新的极为有力的工具､方法与策略｡
标准参照测验是现代心理和教育测量中一种重要的测验类型,其科学开发与编制,上世纪后期起,尤其受到测量学界的特别关注｡代表测验标准的划界分数(cutoff score)或者说合格线的准确把握问题,则是该种测验编制开发中的核心与关键[6]｡但是,在真分数理论框架中,项目难度定义在某一被试组上,是该被试组的通过率,能力水平则定义在某一测试项目组上,是该项目组上的通过率;这两种通过率虽然数字形式都是百分比,含义却截然不同,推论逻辑各相殊异｡于是,在标准参照测验中假定以掌握比例(一般可记为π0)达到0.60的能力水平作为合格线即划界分数的话,人们并不能从这个0.60的数字出发,去选择难度为0.60或其它值的项目,以便合目的地编组出一个性能确属优良的测验来｡项目反应理论却不同,它已为解决标准参照测验质量分析以及测验的改进开发提供了新方法与新策略[1,2,9～11]｡然而,对项目反应理论的研究与应用,国内测量学界虽已做了不少工作,在参数估计､测验等值､计算机化自适应测验开发乃至项目有偏性探查等方面,都有良好成果[1～8],但用信息函数法对标准参照测验作质量分析的研究,迄今尚属少见｡所以,我们就集中了一定力量,为此开展了一些探索｡目的是要为我国心理与教育测量学界分析测验质量,引进新思路､开拓新途径积累经验｡
2 研究的方法与过程
信息是一个重要的科学与哲学概念,可一般地定义为“不肯定性的消除”｡所获资料若信息量大,即意味着据此资料对应考察对象所作推论更可靠､估计误差小｡在心理和教育测量中施测项目,正是要从被试在项目上的作答反应资料出发,去估计出被试内部潜在特质水平｡因此,若项目性能优良适于对被试水平作考察,根据被试反应资料估出的特质水平就可靠,误差就会小,亦即项目提供的信息量就会大｡资料的信息量是需要分析评估的,项目反应理论中的项目信息函数,正是这样一个评价项目性能的综合指标｡它定量地刻划了项目难度､区分度等跟测量精度或者说信息量间的关系｡项目信息函数的数学定义是
这里,Ii(θ)是项目测试特质水平为θ的被试时的信息量;Pi(θ)是水平为θ的被试在项目i上的答对概率,它又叫项目反应函数;Pi′(θ)是项目i的反应函数的一阶导数｡项目反应函数的具体表达式取决于是1-0计分还是多级计分项目,采用的是什么数学模型｡就1-0计分的选择题来说,若项目反应函数选取单维双参数Logistic模型,则上式可写为:
式中ai,bi分别是项目的区分度与难度参数｡上式说明,同一项目对不同特质水平提供的信息量是不一样大的;随着(θ-b)差值的增大,项目所提供的信息量越来越小;当项目测试特质水平跟项目难度相当时,项目信息趋于变大｡具体说,在测试下列水平被试时项目提供出最大信息量:
也就是说,当被试水平略高于项目难度时,项目信息量可达最大｡同时,式(2)还说明,项目所能提供出的信息量值跟区分度有关,区分度值越大,项目性能越优良,所能提供出的信息量值就越多｡
测验信息函数是项目信息函数的累加和,即有:
也就是说,信息函数具有可加性,测验中各个项目都对测验信息量独立地作出自己的贡献｡若要测验整体信息量大,就要使各个项目的信息量都大,全是性能优良而又跟所测被试水平相适应的项目｡被试水平是要根据测验的实测资料来进行估计的,项目反应理论已经证明,被试水平估计标准误(standard error of estimation),就是测验信息函数算术根的倒数｡即有:
因此,测验信息函数值越大,被试水平估计标准误就越小,亦即测量精度越高｡对标准参照测验来说,应该在划界分数θ0处使测验有最大信息量,也就是有最高的测量精度,从而能最好地将θ0附近的被试加以鉴别区分,将误判率降到最低｡划界分数θ0应由测验上的掌握比例π0来确定｡项目反应理论证明在划界分数θ0跟掌握比例π0间存在下述关系:
因此,采用项目反应理论的信息函数法来分析测验质量,其前提就要根据体现测验目标的掌握比例π0来实际确定划界分数(θ0);另外,还要确定划界分数(θ0)处所能允许的估计标准误SE(θ0)的值｡然后再针对上述要求,对全测验的质量与各个项目的性能进行深入的计量学分析[1,2,8～11]｡
采用项目反应理论的信息函数法对测验质量作分析,其过程包含如下四步:(1)估出应予考察的全部测验项目的性能参数值,因为信息函数的求取正是以此作为基础数据的;(2)针对被试特质量尺±3.0区间内的若干代表性点,计算项目信息函数与测验信息函数值,并绘制出项目与测验信息曲线图;(3)将测验信息曲线跟代表测量目标要求的测验目标信息曲线作比较,这就要去跟划界分数θ0处应有信息量要求作比较,以分析检验测验的整体质量;(4)针对测验的应有目标要求,逐个地分析项目的性能质量,提出筛选与改进建议｡其中的头两步,需要专用的计算机程序作支撑｡当前,国际测量学界流行的这类专用程序有BILOG､MULTILOG､PARSCALE等｡而后两步,当然是整个分析工作的重点｡
我国测量学界一贯主张全面对待选择题与非选择题(主观题)｡特别是我国的标准参照测验,如高等教育自学考试等,更是主张既使用选择题又使用非选择题;要求多种题型综合,不宜单一使用(1,0)计分的选择题型｡由于BILOG程序只能处理(1,0)计分题的资料,所以是不适合作我国的标准参照测验质量分析的｡而MULTILOG与PARSCALE[12,13]程序虽然把(1,0)计分题当作等级计分题的特例,可以处理各种题型综合运用的测验的实测资料,但等级计分题的级别数有限,一般不能超过10级｡然而,我国标准参照测验的等级记分题型的分值,不少是十几分､二十几分甚至更大值的｡因而,国外流行的上述所有这些测量分析程序,都难于普遍适应我国测验资料的实况｡前面提及的我国测量学界至今很少开展用信息函数来作测验质量分析,其原因恐怕也正是因为缺少合用的专业化测量分析程序｡
鉴于我国心理和教育测量理论与实践发展的迫切需要,我们已经成功开发研制成“现代心理与教育测量通用分析系统”(简记为ANOTE)｡它既可作经典理论的分析,更可作项目反应理论的分析;作项目反应理论分析时,既可处理纯(1,0)计分资料,更可处理多种题型综合运用的资料;在按项目反应理论处理多等级计分题资料时,级别数并不限于10级以下,可多达几十级｡另外,还有专门模块针对标准参照测验分析需要,去计算多种题型综合组成的测验中,求取指定掌握比例对应特质水平值的功能｡该程序已通过教育部考试中心主持､张厚粲教授为主任的专家委员会鉴定,结论是“国内领先,国际先进”｡
2.1 研究对象
对象I,国家某部委资格考试2001年一门科目的测验,以下称为测验A｡共有105题,其中前60题为(1,0)计分的“单选题”,后45题为5级计分的“多选题”(0,0.5,1,1.5,2)｡得分矩阵为从全国随机抽样获得的12000名考生的实测资料｡这一分析对象的特点是,测验题型综合,被试与项目数都甚大｡
对象II,某省高教自考2002年一个学科的测验,以下称为测验B｡共有24题:其中2分题有16道,6分题有4道,10分题有3道,14分题有1道｡得分矩阵为从该省随机取样抽得的1540名考生的实测资料｡这一分析对象的特点是,测验题型综合,有的项目计分级别超过10级;被试与项目数量不如测验A大,但仍不算小,符合项目反应理论分析要求｡
以上两对象都属标准参照测验,都以掌握比例π0=0.60所对应的被试能力值为划界分数;实际执行时由于测验A卷面满分为150分而测验B为100分,故测验A的及格线是90分而测验B是60分｡
2.2 分析工具
采用江西师大“统计与测量研究开发中心”自主研制的“现代教育与心理测量通用分析系统”｡
3 研究结果与分析
3.1 A测验
3.1.1 测验A整体质量分析
按项目反应理论要求,经模型-资料拟合检验,A测验因素分析第一特征值对第二特征值的比为3.52,故应视为该测验单维,且项目间局部独立｡再经信息函数法分析,从测验质量分析表(表1)中可以看出测验在划界分数为90分(即掌握比例π0=0.60 )时,测验的信息量为I0=18.94,对应的被试能力值θ0=1.31, 测验估计标准误SE(θ0)=0.23｡而测验的最大信息量IM=21.46,它所对应的掌握比例πm=0.66,考生能力值θM=1.73,这时测验估计标准误SE(θM)=0.216｡这说明该测验在划界分数θ0=1.31处的测量误差偏大,其估计标准误SE(θ0)=0.23,比一般认可的0.20大｡同时又说明在测试能力水平为1.73的考生,即划界分数为99分(即掌握比例πM=0.66)时,测验才能提供最大的信息量,命题者实际上是以此作为合格标准的｡因此,测验标准掌握得还不很准确,测量精度(信度)也不很合要求,应降低测验难度,使测验在划界分数为90分处的信息量达到更大｡从本测验信息函数曲线图(图1)来看,就应使曲线高峰向左移,并增大高度｡
3.1.2 测验A项目分析
分析项目质量就应考察划界分数处的项目信息量｡一般认为测验标准误应不大于0.20,即测验总信息量应达到25以上;而标准误处于0.20～0.25之间,即测验总信息量处在25～16之间时,应对测验进行改进,以提高质量;当测验总信息量小于16,即标准误值大于0.25时,测验就无存在价值了｡测验信息由项目信息累加构成,故它应按各题型占分比分摊到每一项目上去｡按上述要求就可建立项目优劣分类标准｡现测验A的(1,0)记分题有60道,占分比重2/5,多级记分题有45道,占分比重3/5｡当测验标准误0.20时,测验信息量是25,故(1,0)记分题每题信息量应达到0.17, 多级记分题每题信息量应达到0.33｡所以当(1,0)记分题的信息量大于0.17,多级记分题的信息量大于0.33时,可认为其质量良好｡类此可以认为,当(1,0)记分题中信息量在0.11～0.17的项目和多级记分题中信息量在0.21～0.33的项目,可认为其质量一般,还需改进;(1,0)记分题､多级记分题的信息量分别低于0.11､0.21的项目,则应视为质量很差,应删除重拟｡表2列出了按此标准划分的项目质量类别｡
对需修改的项目来说,可调整难度与增强区分力以提高项目信息量｡如图2第83题(属多级记分题),从项目信息曲线可看到,该项目在测验掌握比例是0.60时(即能力水平是1.31)的信息量很小(0.27左右),但在能力水平为2.6时项目信息量达到最大(IM=0.54)｡若能把项目难度降低到1.3 左右时,该项目的质量将会得到改善｡
图2 A测验第83题的项目信息曲线
图3第14题[属(1,0)记分题]的项目信息曲线可看到,在能力水平[-3,3]区间,其信息量都不大,原因是该项目的区分度小,只有0.12｡但该项目在能力水平1.2左右时信息量达到最大,接近划界分数值,故其难度合适｡所以要改善该项目的质量就应提高区分度｡图4第12题[属(1,0)记分题]的信息曲线图反应出项目的区分度小,为0.46,且项目难度(b=-0.12)跟划界分数(θ0=1.31)的差值大｡如要改进此项目的质量则需提高区分度,并同时加大项目的难度｡总之,按以上办法分析所有需修改的18个项目,可提出以下降低难度或提高难度或增强区分力的建议(见表3)｡
3.2 测验B
3.2.1 测验B整体质量分析
按项目反应理论要求,经模型-资料拟合检验,B测验因素分析第一特征值对第二特征值的比为4.5,故应视为该测验单维,且项目间局部独立｡再经信息函数法分析,从测验B质量分析表(表4)和测验信息函数曲线图(图5)中可以看出,测验在π0=0.60对应的划界分数时,测验的信息量为24.46,对应的被试能力值θ0=0.35, 测验估计标准误SE (θ0)=0.20｡这说明本测验在应有划界分数处精度已达要求,质量显然比测验A好｡但该测验的最大信息量IM=30.03,它所对应的掌握比例πm=0.34,这时考生能力值θM=-0.66｡这说明命题者心目中的合格标准比应有标准低,对测验难度把握得还不够好｡因此,如要进一步提高测验质量减小测量误差,则应使测验的难度适当加大｡
3.2.2 测验B项目分析
按前述确定项目质量标准的办法可知,因为本测验共有24道多级记分题,若以测验误差小于0.20即测验信息量达25为准,则对于2分题其信息量大于0.5的项目质量良好;信息量在0.5～0.32的项目其质量需修改;而信息量小于0.32的项目应删除重拟｡对于6分题当项目信息量在1.5以上质量良好;信息量在1.5～0.96间的应进行改进;信息量小于0.96的项目应删除重拟｡对于10分题而言,当其信息量大于2.5时质量良好;信息量在2.5～1.6之间的需改进;而信息量低于1.6的项目应删除重拟｡对于14分题当项目信息量达到3.5以上质量可视为良好;项目信息量在3.5～2.24间的应改进;信息量低于2.24的应删除重拟｡表5列出了测验项目的质量分类｡
从图6可看到,第1题(有3个难度等级)的区分度虽然较大,但项目信息量并没有在能力水平0.35上达到最大,而是在能力水平-0.8时信息量达到最大,因此要提高项目的质量就应加大难度至0.35左右;从图7第11题(有7个难度等级)的项目信息曲线图可看出其项目的区分度很小(只有1.1),且其信息量达到最大时的能力水平为-2.6, 因此要提高项目质量,则应加大项目的区分度,并提高项目的难度,使其信息量在能力水平0.35位置上达到最大｡在该测验质量需改进的6个项目中,需要提高区分度的项目有第11､12､13题;应加大难度的项目有第1､11､12､13､20､21题｡
4 小结与讨论
4.1 研究结论
通过以上对测验A和B的计量学分析可以看到,采用信息函数分析法能比经典真分数理论分析法得到许多更为丰富､深刻､直接服务于测验质量改进的资料:(1)能求得跟经典真分数理论分析结果相对应的项目难度､区分度以及估计标准误的值｡其中的项目性能参数是独立于样本的,而估计标准误可针对不同特质水平给出不同的估计误差,更为深刻实际｡(2)特别重要的是,采用信息函数分析法,能直接考察测验是否准确把握住了合格标准;如果不准确,能指出偏离的实况如何｡这一点则是经典理论所无法做到的｡(3)可直接根据准确掌握合格标准的要求,将测验所含全部项目进行性能优劣状况分类,并具体指出导致各项目性能不理想的实际原因,从而能就要增强区分力还是要调整难易度来提出切实建议｡所以,信息函数分析法有极强的行动指导效用｡总之,分析实践证明,项目反应理论的信息函数法具有显著优点和极强功能,值得认真重视｡在专用的计算机分析程序已然开发成功的情况下,更宜抓紧推广｡
4.2 需进一步研讨的问题
本研究所作的测验质量分析,是针对着在全国､全省大范围实施的标准参照测验来进行的,虽然很有必要,但完全未涉及常模参照测验的质量分析｡采用信息函数法来分析常模参照测验的质量,其具体标准与工作模式,应有自己的专门特点,所以是需要继续认真探讨的｡另外,更显得重要的是,本研究所作的测验质量分析,仅仅是进行了心理计量学的分析,并未涉及测验的内容覆盖面与能力结构是否合理等问题,故而即使计量学要求相宜也不能保证合格标准确属把握准确｡因此,把计量学分析与认知心理等实质心理学理论分析紧密结合,则应是今后更需大力深入探讨的问题｡
参 考 文 献
1 漆书青,戴海崎.项目反应理论及其应用研究.江西高校出版社,1992
2 漆书青,戴海崎,丁树良.现代教育与心理测量学原理.高等教育出版社,2002
3 漆书青等.计算机化自适应测验的编制与应用.江西教育科研,1999,2:64～66
4 漆书青等.现代教育与心理测量通用分析系统指导手册(出版中).2002
5 董圣鸿,马世晔.3种常用DIF检测方法的比较研究.心理学探新,2001,21(1):43～48
6 张厚粲.拮珠集.北京师范大学出版社,1998
7 张厚粲.承露集.北京师范大学出版社,1998
8 许祖慰.项目反应理论及其在测验中的应用.华东师范大学出版社,1992
9 Lord F M. Applications of Item Response Theory to Practical Testing Problems.Hillsdale,Nj:Erlbaum,1980
10 Hambleton R K, Swaminathan H. Item Response Theory: Priniciples and Applications. Boston: Kluwer, Nijhotf,1985
11 Suen H K. Priniciples of Test Theories. Hillsdale,Lawrence Erlbaum Associates,1990
12 Thissen D. MULTILOG User's Guide .Chicago,IL:Scientific Software,1991
13 Muraki E, Bok R D. PARSCALE:IRT item analysis and test scoring for rating-scale data,Chicago,IL:Scientific Software,1997
APPLICATION OF INFORMATION FUNCTION TECHNIQUE
TO ANALYZING THE CRITERION-REFERENCE TEST
Qi Shuqing, Zhou Jun, Zhang Qinghua
(Educational Department of Jiangxi Normal University, Nanchang 330027)Abstract
The quality of Criterionreference Test was analyzed based on the information function method of the Item Response Theory with Analysis of Test(ANOTE). It shows that this technique is prior to the method of the Classical True Score Theory and it can provide us some helpful advice about how to choose and revise the test items. So we consider that it is worthwhile to popularize.
Key Words information function,cut off score,standard error of estimation,item response theory,true score theory.
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”