论文部分内容阅读
认知诊断评估(Cognitive Diagnoses Assessments)可以实现对人的内部心理加工过程和认知技能的诊断,并为每个被试提供详细的诊断报告,因此在心理与教育测量领域具有重要的应用价值。认知诊断以Q矩阵(Q-matrix)为基础,结合被试在题目上的作答信息,通过认知诊断模型对被试的属性模式进行估计,因此Q矩阵在认知诊断中具有至关重要的作用。实际中,Q矩阵通常由相关领域专家进行标定,这可能会受到专家主观因素的影响,从而产生Q矩阵标定错误。并且随着认知诊断计算机化自适应测验(Cognitive Diagnosis Computerized Adaptive Testing, CD-CAT)的发展,对CD-CAT的题库建设和更新需要对大量题目的Q矩阵进行人工标定,这增加了专家的工作负担和测验开发的成本。
根据作答数据进行Q矩阵修正和估计不仅可以减少专家标定Q矩阵时因主观因素带来的误差,还可以减轻专家的负担。查阅相关文献发现:目前国内外开发的Q矩阵修正和估计方法大都适用于约束化的认知诊断模型,而无法应用于适用面更广的饱和认知诊断模型,从而限制了这些方法在实践中的应用;已有的方法几乎都是基于0-1二级计分数据开发的,难以处理多级计分数据的Q矩阵修正和估计。为了弥补已有研究的上述不足,本文进行了以下研究。
首先,分别从非参数化和参数化的视角,开发了可用于饱和模型的Q矩阵修正新方法。非参数化的方法结合了GNPC分类方法(Chiu,Sun&Bian,2018)和RSS方法(Chiu,2013),开发了可用于饱和模型的PLM方法(Penalty L Method)。参数化的方法从模型整体拟合的角度开发了两种适用于饱和模型的Q矩阵修正新方法—LRT(Likelihood Ratio Test)方法和BIC方法。为了提高LRT方法和BIC方法的效率,本研究提出了几种效率更高的搜索算法。通过模拟研究和实证数据分析验证新开发的Q矩阵修正方法的效果,并与已有方法(GDI方法和stepwise方法)进行比较。研究结果显示:PLM方法对Q矩阵修正的正确率整体上优于国际上已有的GDI法和Stepwise法,尤其在小样本下,PLM方法的优势更为明显;而参数化的LRT-F方法和LRT-FB方法的表现与Stepwise方法的表现基本相当,参数化方法中使用的搜索算法在修正正确率和运行效率上均优于穷尽算法。
其次,本文将新开发的Q矩阵修正方法拓展到Q矩阵估计中,为CD-CAT题库建设和更新提供方法支持。在CD-CAT题库建设和更新中,当已知部分的题目Q矩阵和被试在题目上的作答数据,则可以将部分已知Q矩阵的题目作为基础,然后依次对新题的q向量进行估计。模拟研究考虑了测验长度和基础题个数对不同方法的影响。研究结果显示:在非参数化方法的Q矩阵估计中,PLM方法的平均AMR指标比Stepwise方法高出4%,比GDI方法高出31%。在小样本条件下,PLM方法的表现依旧稳健。在参数化方法的Q矩阵估计中,四种方法对Q矩阵估计的整体表现从高到低依次为LRT-F>BIC-F>Stepwise>GDI。
最后,为了丰富多级计分数据下的Q矩阵修正方法,本文将新开发的参数化的LRT方法和BIC方法拓展到多级计分数据的Q矩阵修正中,并与Stepwise方法进行了比较。研究结果显示:在多级计分模型中,新开发的LRT-FB方法和BIC-FB方法修正Q矩阵具有较高的准确率,而LRT方法和BIC方法的增加属性算法的表现略低于先增加后删除属性的算法。
综上,本文开发了几种新的Q矩阵修正及估计方法,并通过MonteCarlo模拟研究与实证数据分析相结合的方式,通过五个研究综合比较了各方法进行Q矩阵修正和估计的效果。在实际心理与教育认知诊断测验中,本文提出的方法可以对专家标定的Q矩阵进行修正,并且可以实现在已知部分题目Q矩阵的基础上自动估计其余题目的Q矩阵。以此提高心理与教育认知诊断测验Q矩阵标定的准确性,减少由于Q矩阵标定错误导致的模型参数和被试参数估计误差,还为CD-CAT题库建设和更新提供了方法支持。
根据作答数据进行Q矩阵修正和估计不仅可以减少专家标定Q矩阵时因主观因素带来的误差,还可以减轻专家的负担。查阅相关文献发现:目前国内外开发的Q矩阵修正和估计方法大都适用于约束化的认知诊断模型,而无法应用于适用面更广的饱和认知诊断模型,从而限制了这些方法在实践中的应用;已有的方法几乎都是基于0-1二级计分数据开发的,难以处理多级计分数据的Q矩阵修正和估计。为了弥补已有研究的上述不足,本文进行了以下研究。
首先,分别从非参数化和参数化的视角,开发了可用于饱和模型的Q矩阵修正新方法。非参数化的方法结合了GNPC分类方法(Chiu,Sun&Bian,2018)和RSS方法(Chiu,2013),开发了可用于饱和模型的PLM方法(Penalty L Method)。参数化的方法从模型整体拟合的角度开发了两种适用于饱和模型的Q矩阵修正新方法—LRT(Likelihood Ratio Test)方法和BIC方法。为了提高LRT方法和BIC方法的效率,本研究提出了几种效率更高的搜索算法。通过模拟研究和实证数据分析验证新开发的Q矩阵修正方法的效果,并与已有方法(GDI方法和stepwise方法)进行比较。研究结果显示:PLM方法对Q矩阵修正的正确率整体上优于国际上已有的GDI法和Stepwise法,尤其在小样本下,PLM方法的优势更为明显;而参数化的LRT-F方法和LRT-FB方法的表现与Stepwise方法的表现基本相当,参数化方法中使用的搜索算法在修正正确率和运行效率上均优于穷尽算法。
其次,本文将新开发的Q矩阵修正方法拓展到Q矩阵估计中,为CD-CAT题库建设和更新提供方法支持。在CD-CAT题库建设和更新中,当已知部分的题目Q矩阵和被试在题目上的作答数据,则可以将部分已知Q矩阵的题目作为基础,然后依次对新题的q向量进行估计。模拟研究考虑了测验长度和基础题个数对不同方法的影响。研究结果显示:在非参数化方法的Q矩阵估计中,PLM方法的平均AMR指标比Stepwise方法高出4%,比GDI方法高出31%。在小样本条件下,PLM方法的表现依旧稳健。在参数化方法的Q矩阵估计中,四种方法对Q矩阵估计的整体表现从高到低依次为LRT-F>BIC-F>Stepwise>GDI。
最后,为了丰富多级计分数据下的Q矩阵修正方法,本文将新开发的参数化的LRT方法和BIC方法拓展到多级计分数据的Q矩阵修正中,并与Stepwise方法进行了比较。研究结果显示:在多级计分模型中,新开发的LRT-FB方法和BIC-FB方法修正Q矩阵具有较高的准确率,而LRT方法和BIC方法的增加属性算法的表现略低于先增加后删除属性的算法。
综上,本文开发了几种新的Q矩阵修正及估计方法,并通过MonteCarlo模拟研究与实证数据分析相结合的方式,通过五个研究综合比较了各方法进行Q矩阵修正和估计的效果。在实际心理与教育认知诊断测验中,本文提出的方法可以对专家标定的Q矩阵进行修正,并且可以实现在已知部分题目Q矩阵的基础上自动估计其余题目的Q矩阵。以此提高心理与教育认知诊断测验Q矩阵标定的准确性,减少由于Q矩阵标定错误导致的模型参数和被试参数估计误差,还为CD-CAT题库建设和更新提供了方法支持。