论文部分内容阅读
认知诊断是近年来测验理论中的热点。它能提供比IRT更多关于被试的信息。而计算机自适应测验能够提高测验的效率,经过多年的理论研究和实践已经相当成熟。当前,越来越多的人开始关注如何将认知诊断与计算机自适应测验技术结合起来。 认知诊断适合于开发用于形成性评价的测验,能够对教学和学生学习起到促进作用。而认知诊断测验要在日常教学中频繁使用,就必须缩短其长度,以免给学生造成过重的负担。在测验长度较短时,更需要合理分配测验资源,以达到最好的效果。本研究以上述两个要求为出发点,在总结前人研究,尤其是已有的认知诊断计算机自适应测验研究的基础上,着重研究了如何在较短认知诊断计算机自适应测验中平衡属性测量程度。 本研究将属性测量程度这个抽象概念操作化为三个不同层次的指标:属性测量次数、属性区分指标、属性掌握后验概率估计值到0.5的距离。通过蒙特卡洛模拟方法,使用融合模型,生成区分能力高和低两种题库,服从两种分布的知识状态群体。并在这四种条件下,分别研究了平衡这三个指标对认知诊断计算机自适应测验的影响。 在研究一中,我们研究了利用最大优先指标方法平衡属性测量次数对KL信息和PWKL方法的影响。研究发现,使用最大优先指标方法平衡属性测量次数能够提高KL方法的模式判准率,提高各个属性判准率之间的均衡性,但是会降低PWKL方法的判准率。使用最大优先指标方法平衡属性测量次数会使得测验倾向于选择测量属性个数较少的题目。平衡属性测量次数时,目标值的设定会影响测验的判准率,当目标值过大时,会干扰判准率。同时,我们也对比了使用最大优先指标方法及其变式平衡属性测量次数的不同。我们发现,最大优先指标方法的变式平衡属性测量次数使得测验更多选择测量属性个数较多的题目,对KL方法判准率的提高没有最大优先指标方法显著。 在研究二中我们主要研究了平衡ADIA--属性区分指标(Attribute-levelDiscrimination Index.ADI)中的一种,对测验的影响。在研究二的第一个子研究中我们探索了用最大优先指标方法平衡属性区分指标对KL方法和PWKL方法的影响。结果得到了和研究一中用最大优先指标方法平衡属性测量次数相类似的结论。不同之处在于,在题库质量较好的情况下,平衡属性区分指标对判准率的提高比平衡属性测量次数稍高,目标值对判准率的干扰没有平衡属性测量次数时的影响大。而且平衡属性区分指标对测量较少属性的题目的偏好没有平衡属性测量次数时那么强烈。 在研究二的第二个子研究中,我们探索了以ADIA的相对离差为权重,以ADIB为主要信息量的两种选题方法ADI和ADI01的效果。通过研究我们发现,新提出的两种方法在题库质量比较好的情况下,模式判准率和属性判准率的均值以及属性判准率之间的均衡性都要高于用最大优先指标方法平衡属性区分指标后的KL方法,但低于用最大优先指标方法平衡属性区分指标的PWKL方法。在题库质量较差时,ADI和ADI01方法和用最大优先指标方法平衡属性区分指标的KL方法的差别不大。 研究三从证据为中心的测验设计出发,探索了平衡属性掌握后验概率估计值到0.5的距离对测验的影响。我们以属性掌握后验概率估计值到0.5的距离的函数作为主要信息量ADIB的权重进行选题。并且考察了不设置目标距离、设置一个目标距离(分别为0.1、0.2、0.3)、设置多个目标距离的对测验的影响。通过研究我们发现:不论设置目标距离与否,平衡属性掌握后验概率估计值到0.5的距离的选题方法的模式判准率和属性判准率都比PWKL方法的稍高。而设置目标距离的方法各个属性判准率的均衡性要比不设置目标距离和PWKL方法的均衡性要高。设置多个目标距离的均衡性最高。而且设置多个目标距离能够解决因为题库结构而造成使用其它方法时对某个属性判准率相对其它属性总是较低的问题。