论文部分内容阅读
近来,结合认知科学和心理计量学的认知诊断评估,越来越受到国内外研究者的关注。大多数认知诊断评估以Q矩阵为基础,Q矩阵是认知诊断评估与传统项目反应理论之间最主要的区别。认知诊断评估是通过Q矩阵表达项目和属性的关联关系,建立起潜在知识状态和理想反应模式之间联系。Q矩阵也是认知心理学在认知诊断评估的一种体现。因此,Q矩阵在认知诊断评估中扮演着非常重要的角色。项目属性的指定就是正确标识Q矩阵中的元素,是认知诊断评估中一个基本和关键步骤。Q矩阵通常由学科专家构建。Q矩阵的构建是一个不断反复的复杂过程,需借助口语报告、认知任务分析、文献调查和统计等方法。但是这些方法得到的Q矩阵却不能保证完全正确。研究表明,无论是对现有测验进行分析(测验后翻新的Q矩阵,事后分析),还是对认知诊断测验进行分析(测验之前建立Q矩阵,事前分析),正确指定Q矩阵都是一件困难的任务或者说是一种挑战。然而误指Q矩阵将对诊断结果产生不利的影响。考虑到Q矩阵在认知诊断评估中的重要性和正确指定存在着困难,本文提出无监督式和有监督式两种属性辅助标定范式,主要包括三个研究。研究一(论文第三部分),主要讨论形式概念分析用于属性标定的可行性并提出属性辅助标定方法。基于形式概念分析建立的属性辅助标定方法,它的基本假设是同类项目具有相同属性或属性集。由于属性事先未定义,所以用机器学习的术语来讲,它是一种“无监督学习”方式。由于被试作答中存在猜测或失误,导致由得分数据生成的概念格十分复杂且不容易理解,本研究采用稳定性指标过滤概念格的噪音,以获得简洁的概念结构,然后使用概念结构推断项目的属性。模拟研究显示,基于形式概念分析的属性辅助标定方法效果比较理想。研究二(论文第四部分),提出项目属性在线标定方法。在线标定方法的基本思想是基于已标属性且已知项目参数的项目,估计新题属性。由于它是基于项目的已标属性信息,间接利用专家信息,因此它是以一种“有监督学习”方式进行属性标定。计算机化自适应诊断测验(CD-CAT)中在线标定是一个比较新的研究领域,题库结构对在线标定的影响尚未见研究。本研究讨论了如何在CD-CAT中实现项目属性在线标定,并针对确定性输入噪音与门模型(DINA),提出了三种在线标定方法:极大似然估计方法、边际极大似然估计方法和交差方法,其中交差方法对于所有非补偿认知诊断模型均适用。同时,用模拟研究手段讨论不同题库结构(题库是否为充分必要题库)对标定结果的影响。首先在充分必要题库下比较三种在线标定方法的表现。模拟研究显示:边际极大似然估计最好,但对项目参数取值有些敏感;在知识状态估计精度较高时,原始题植入方案中,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与另外两种方法基本相当,只是在随机植入原始题时,在发散型和无结构型表现欠佳,但是在自适应植入方案时,在无结构型交差方法表现甚至比边际极大似然估计还好;交差方法的优势在于不需要预先设定项目参数值,它是一种高维空间“夹逼”方法,当知识状态估计准确时,“夹逼”结果理想。由于边际极大似然估计在充分必要题库下表现较好,本研究只考虑边际极大似然估计方法在非充分必要题库下的表现。在模拟研究之前,先给出项目属性向量等价类的定义,并描述知识状态等价类和项目属性向量等价类之间的关系。同时给出另外两个定义:确定性项目属性向量(项目属性向量等价类仅含一个属性向量)和不确定性项目属性向量(项目属性向量等价类中不只含一个属性向量)。对含6个属性的独立结构模拟研究发现:对数似然比效应量的置信区间下限几乎都大于0,显示确定性项目属性向量的判准率高于不确定性项目属性向量判准率。简而言之,如果题库不充要,原始题的属性标定准确性受到影响,题库中非可达阵中项目对标定有一定的弥补作用,间接印证了可达阵在认知诊断题库有着非常重要的作用。研究三(论文第五部分)主要为实证研究。首先拓展修正的Q矩阵理论之扩张算法的应用,对实测数据(Tatsuoka分数减法数据)进行预分析。然后考察形式概念分析方法和在线标定方法在实测数据下的表现。结果显示:形式概念分析方法得到的项目属性向量与专家标定的项目属性向量一致性为.44,在线属性辅助标定方法得到的项目属性向量与专家标定的项目属性向量一致性为.73,有监督方法比无监督方法一致性明显要高,均低于模拟研究中形式概念分析方法的.76。对多个可能原因分析发现,一致性较低的原因主要在于实测数据的被试样本代表性不高(某些知识状态的被试量不够),并且发现专家标定结果尚存在不合理之处。根据模拟研究和实证研究结果,本文提出的无监督式属性标定方法,它是一种探索性方法,对探索项目属性(从无到有)有一定的应用价值;而有监督式属性标定方法对认知诊断评估中低成本扩张CD-CAT题库(从少到多)、纸笔测验下属性标定或验证有一定的应用价值。本文研究仅局限于DINA模型,但是,这些属性辅助标定可用于属性机制为连接的非补偿型的项目属性标定。