认知诊断评估中项目属性辅助标定方法研究

来源 :江西师范大学 | 被引量 : 6次 | 上传用户:xiaofch22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近来,结合认知科学和心理计量学的认知诊断评估,越来越受到国内外研究者的关注。大多数认知诊断评估以Q矩阵为基础,Q矩阵是认知诊断评估与传统项目反应理论之间最主要的区别。认知诊断评估是通过Q矩阵表达项目和属性的关联关系,建立起潜在知识状态和理想反应模式之间联系。Q矩阵也是认知心理学在认知诊断评估的一种体现。因此,Q矩阵在认知诊断评估中扮演着非常重要的角色。项目属性的指定就是正确标识Q矩阵中的元素,是认知诊断评估中一个基本和关键步骤。Q矩阵通常由学科专家构建。Q矩阵的构建是一个不断反复的复杂过程,需借助口语报告、认知任务分析、文献调查和统计等方法。但是这些方法得到的Q矩阵却不能保证完全正确。研究表明,无论是对现有测验进行分析(测验后翻新的Q矩阵,事后分析),还是对认知诊断测验进行分析(测验之前建立Q矩阵,事前分析),正确指定Q矩阵都是一件困难的任务或者说是一种挑战。然而误指Q矩阵将对诊断结果产生不利的影响。考虑到Q矩阵在认知诊断评估中的重要性和正确指定存在着困难,本文提出无监督式和有监督式两种属性辅助标定范式,主要包括三个研究。研究一(论文第三部分),主要讨论形式概念分析用于属性标定的可行性并提出属性辅助标定方法。基于形式概念分析建立的属性辅助标定方法,它的基本假设是同类项目具有相同属性或属性集。由于属性事先未定义,所以用机器学习的术语来讲,它是一种“无监督学习”方式。由于被试作答中存在猜测或失误,导致由得分数据生成的概念格十分复杂且不容易理解,本研究采用稳定性指标过滤概念格的噪音,以获得简洁的概念结构,然后使用概念结构推断项目的属性。模拟研究显示,基于形式概念分析的属性辅助标定方法效果比较理想。研究二(论文第四部分),提出项目属性在线标定方法。在线标定方法的基本思想是基于已标属性且已知项目参数的项目,估计新题属性。由于它是基于项目的已标属性信息,间接利用专家信息,因此它是以一种“有监督学习”方式进行属性标定。计算机化自适应诊断测验(CD-CAT)中在线标定是一个比较新的研究领域,题库结构对在线标定的影响尚未见研究。本研究讨论了如何在CD-CAT中实现项目属性在线标定,并针对确定性输入噪音与门模型(DINA),提出了三种在线标定方法:极大似然估计方法、边际极大似然估计方法和交差方法,其中交差方法对于所有非补偿认知诊断模型均适用。同时,用模拟研究手段讨论不同题库结构(题库是否为充分必要题库)对标定结果的影响。首先在充分必要题库下比较三种在线标定方法的表现。模拟研究显示:边际极大似然估计最好,但对项目参数取值有些敏感;在知识状态估计精度较高时,原始题植入方案中,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与另外两种方法基本相当,只是在随机植入原始题时,在发散型和无结构型表现欠佳,但是在自适应植入方案时,在无结构型交差方法表现甚至比边际极大似然估计还好;交差方法的优势在于不需要预先设定项目参数值,它是一种高维空间“夹逼”方法,当知识状态估计准确时,“夹逼”结果理想。由于边际极大似然估计在充分必要题库下表现较好,本研究只考虑边际极大似然估计方法在非充分必要题库下的表现。在模拟研究之前,先给出项目属性向量等价类的定义,并描述知识状态等价类和项目属性向量等价类之间的关系。同时给出另外两个定义:确定性项目属性向量(项目属性向量等价类仅含一个属性向量)和不确定性项目属性向量(项目属性向量等价类中不只含一个属性向量)。对含6个属性的独立结构模拟研究发现:对数似然比效应量的置信区间下限几乎都大于0,显示确定性项目属性向量的判准率高于不确定性项目属性向量判准率。简而言之,如果题库不充要,原始题的属性标定准确性受到影响,题库中非可达阵中项目对标定有一定的弥补作用,间接印证了可达阵在认知诊断题库有着非常重要的作用。研究三(论文第五部分)主要为实证研究。首先拓展修正的Q矩阵理论之扩张算法的应用,对实测数据(Tatsuoka分数减法数据)进行预分析。然后考察形式概念分析方法和在线标定方法在实测数据下的表现。结果显示:形式概念分析方法得到的项目属性向量与专家标定的项目属性向量一致性为.44,在线属性辅助标定方法得到的项目属性向量与专家标定的项目属性向量一致性为.73,有监督方法比无监督方法一致性明显要高,均低于模拟研究中形式概念分析方法的.76。对多个可能原因分析发现,一致性较低的原因主要在于实测数据的被试样本代表性不高(某些知识状态的被试量不够),并且发现专家标定结果尚存在不合理之处。根据模拟研究和实证研究结果,本文提出的无监督式属性标定方法,它是一种探索性方法,对探索项目属性(从无到有)有一定的应用价值;而有监督式属性标定方法对认知诊断评估中低成本扩张CD-CAT题库(从少到多)、纸笔测验下属性标定或验证有一定的应用价值。本文研究仅局限于DINA模型,但是,这些属性辅助标定可用于属性机制为连接的非补偿型的项目属性标定。
其他文献
<正>电视节目是一种包含了语言文化、视觉场景以及听觉体验等多种元素的综合性文艺形式。而作为电视节目的核心调控者,主持人群体自身对于节目的定位与驾驭,又在很大程度上影
内隐学习中知识表征的内容一直是研究的焦点。半个世纪来,研究者不断地更新实验范式以测量习得的知识。本文系统地回顾了内隐序列学习研究中意识的测量方法、内隐序列表征的
教师专业学习社群以促进教师同事对话,共生共享优秀教学资源与教学经验,凝聚群体智慧开展创造性教学,最终促进学生有效学习的优势,在教学现场以如火如荼之势展开。在强调“核
护理学是一门专业技术性与实践能力很强的学科,特别是妇产科,关系着两个人的生命安危,及两家人的希望与忧虑。随着社会经济的繁荣与发展,人们的自我保护意识、法制观念日益增
残疾人的生存、发展状况是国家经济发展成就的测量器,是衡量社会公平程度的试金石,是反映社会和谐状况的风向标.当前,农村残疾人发展滞后问题更为突出,最需要加快;农村残疾人
文章主要从成本收益角度对外部性问题进行经济学分析.在对外部性的本质及特征进行阐述的基础上,分析了它对社会经济资源配置和利用效率的影响,进而提出纠正外部性的相应对策.
本文从探讨当前面临的安全形势出发,针对网络安全攻击的新态势及当前被动防御力有不逮的现状下,引出了安全态势感知,随后介绍了安全态势感知的概念、内容、设计思路及关键技
批判性思维是本世纪30年代德国法兰克福学派创立的一种思维方式。英文翻译为Critical Thinking,又可称为批判性认识活动。护理学科中的批判性思维就是对护理问题解决方法的反
通过对百色山区通信基站年预计雷击次数、防雷装置拦截效率等一系列防雷参数的详细计算,按雷击风险评估确定通信基站的雷击电磁脉冲防护等级,为山区通信基站的防雷装置设计或
以长白山野生核桃壳为原料提取棕色素,在单因素试验的基础上,通过响应面法优化超声波提取山核桃壳色素工艺,并建立回归模型。结果表明,V(溶液)∶m(山核桃壳)(液料比)=17 mL∶1 g、