论文部分内容阅读
心理和教育领域的认知诊断评估(cognitive diagnostic assessment,CDA)是现代测量理论发展的重要领域。CDA的目的是测量学生具体的知识结构和加工技能,以便能够提供学生的认知强项和弱项的信息,使教师可以根据这些信息给予学生有效的指导以满足每个学生的学习需要。为实现CDA的目的,不仅需要有基于认知模型的认知诊断测验,以引发学生的行为,还需要具有认知诊断功能的认知诊断模型,以建立被试的不可观察的属性掌握模式和可观察的项目反应间的关系。由于认知诊断测验情境具有多样性,很难找到可以描述所有情景的认知诊断模型,这就需要对每种特定的测验情景建立对应的认知诊断模型。因此,编制高质量的认知诊断测验,选择或开发适合于测验情景的认知诊断模型,对实现CDA目的具有十分重要的作用。在认知诊断的测验项目形式中,多项选择题(以下简称多选题)是最常用的测验项目形式之一。然而,在传统的多选题认知诊断测验编制中,存在忽视干扰项的编制、丢弃干扰项诊断信息及忽视多选题认知诊断测验设计等问题,这导致多选题的认知诊断评估不能最优化。为此,本文的研究一探讨选项能够提供诊断信息的多选题认知诊断测验的编制问题。由于多选题能提供更丰富的诊断信息,因此多选题认知诊断测验具有更好的诊断功能。研究从认知诊断评估的目标出发,根据认知诊断测验质量的评价标准,结合多选题特有的项目特征,给出了多选题认知诊断测验编制的三个原则。根据多选题的特点和计分方式,对编制干扰项提供诊断信息的多选题提出两个必要的要求。最后,在多选题认知诊断测验编制的原则和要求的基础上,给出了具有可操作性的多选题认知诊断测验编制的步骤。根据测验情景选择恰当的认知诊断模型是认知诊断评估结果有效、准确的保证。通常,在多选题认知诊断测验中,学者们一般假定所有被试在一份测验上只采用一种策略进行解答。事实上,被试可能会采用不同的解题策略进行解答,这就形成了多策略的多选题认知诊断测验情景。在现有的文献中,尚未发现描述此类测验情景的认知诊断模型。为此,本文开发了一种新的认知诊断模型-----MS-MC-DINA(Multiple Stratigies and Multiple Choice DINA,MS-MC-DINA)模型来描述多策略的多选题认知诊断测验情景。本文的研究二先详细界定了MS-MC-DINA模型,再采用联合极大似然估计(JMLE)实现了模型参数估计。研究采用自编OX程序,对被试间多策略和被试间/被试内多策略两种多策略情况进行了模拟实验研究。采用属性判准率、模式判准率和策略判准率等评估指标,对MS-MC-DINA模型的JMLE的表现进行了评价。为了考察测验的属性数量对被试间多策略和被试间/被试内多策略两种多策略作答类型的诊断效果的影响,以及更为全面、充分地考察MS-MC-DINA模型的性能,模拟研究了多种属性数量情况下的MS-MC-DINA模型的性能及表现。模拟实验研究结果显示:在被试间多策略情况下,MS-MC-DINA模型具有较高的属性判准率、模式判准率和策略判准率;在被试间/被试内多策略情况下,MS-MC-DINA模型的模式判准率不理想。为了考查MS-MC-DINA模型对多策略的多选题认知诊断测验情景的适用性,本文的研究三采用将MS-MC-DINA模型与分析多选题认知诊断测验的MC-DINA模型(de la Torre,2009)和分析多策略的认知诊断测验的MS-DINA模型(de la Torre,2008)进行比较的方法,从模型资料拟合、项目参数估计准确性、属性判准率、模式判准率等方面对MC-DINA、MS-MC-DINA、MS-DINA在被试间多策略的多选题认知诊断测验中的表现进行了比较。比较采用自编的OX程序进行模拟实验的方法进行。模拟实验结果显示:MS-MC-DINA模型的整体拟合情况优于MC-DINA模型;MC-DINA模型的项目参数估计具有较高准确性,MS-DINA模型的参数存在低估现象,MS-MC-DINA模型的参数存在高估现象;MC-DINA模型对单一策略的单个属性的判准率高于MS-MC-DINA模型和MS-DINA;MC-DINA模型对单个策略的模式判准率最高,MS-MC-DINA模型对多个策略的模式判准率明显高于MS-DINA模型;MS-MC-DINA模型和MS-DINA模型的策略判准率各有高低。整体而言,MS-MC-DINA模型整体上最适合于多策略的多选题认知诊断测验情景。