论文部分内容阅读
具有认知诊断功能的多阶段自适应测验(Cognitive Diagnostic Multistage Testing, CD-MST)是认知诊断评估与计算机化多阶段自适应测验结合的产物,它以阶段的形式向被试呈现题目并进行自适应,从而达到认知诊断的功能。CD-MST的概念最早由vonDavier和Cheng(2014)提出,高椿雷等人(2016)对CD-MST的具体实施和组卷方法进行了研究,他们的CD-MST采用纯信息量的方法进行在线组卷而未考虑非统计约束的需要,但MST相较于CAT的优势之一就是能更好地满足非统计约束的需要。因此本研究拟从满足非统计约束的视角探讨CD-MST的在线组卷方法,对CAT和CD-CAT中能够满足非统计约束的选题策略WDM法、MMGDI法和Monte Carlo方法进行修正,从而来满足CD-MST在线组卷的需要,并对三种组卷方法的性能进行比较。本研究采用3x3x3x2x2的五因素实验设计,自变量为在线组卷方法(WDM、MMGDI、Monte Carlo),测验长度(18、21、24),题库复杂度(高、中、低),属性个数(5、7),阶段数量(3、5)。因变量为属性平均判准率(ACCR),模式判准率(PCCR)、X~2值、测验重叠率(TOR)、非统计约束平均违背数(V)。本研究采用的认知诊断模型为拓广DINA模型(generalized DINA,G-DINA)。实验结果表明:(1)判准率方面,大部分实验条件下,WDM组卷方法表现最优,其次为MMGDI和Monte Carlo方法。当测验较短或阶段数量较少时,MMGDI表现优于Monte Carlo方法;当测验较长且阶段数量较多时,Monte Carlo方法表现优于MMGDI。(2)安全性方面,在所有实验条件下,Monte Carlo方法安全性最高,其次是MMGDI,最差WDM。(3)非统计约束满足方面,Monte Carlo方法表现最好且能够100%满足所有的非统计约束,MMGDI与WDM的表现根据实验条件不同而不同。