论文部分内容阅读
【摘 要】
随着科学技术的进步，计算机技术正逐步与认知诊断理论结合，形成计算机化自适应认知诊断测验（Computerized Adaptive Test for Cognitive Diagnosis， CD-CAT）的评测方式。用CD-CAT进行教育测量评估有着诸多优势，但是目前国内尚缺乏计算机化自适应认知诊断测验的实验研究与大规模的实践应用。本研究运用内容分析法，以“计算机自适应测试”和“计算机认知诊断测验”为关键词进行搜索，结果表明：国内于2006年开始逐步开展CD-CAT研究，近几年的研究热点主要聚焦在理论概况（占总样本的比例为15%）和现状综述（占总样本的比例为74%）方面，具体内容包括确定属性、认知诊断模型和流程方法，也有小规模的测试实验，如英语、化学等学科。基于此，运用UCINET将“研究者派系”可视化，发现领域科研合作紧密，但是整体合作疏远，小团队研究更加集中。最后，文章介绍了国内外CD-CAT实践案例，阐述了认知诊断评价在教育领域的发展方向和策略，期望对国内教育评价走向CD-CAT有所启发。
【关键词】 教育评估；认知诊断理论；认知诊断模型；计算机化自适应认知诊断测验
【中图分类号】 G434 【文献标识码】 B 【文章编号】 1009-458x（2017）04-0042-09
一、研究背景
随着计算机技术、通信设备和网络技术的迅速发展，教育信息化的发展面临着重大变革，由数据主导的“大时代”正在走入教育领域，进而渗透到教育发展与改革的战略中。复杂的、数据驱动的个性化教学一般需要提供非线性的教学輔导，以及能够满足学习者个别化、具有差异的认知水平和能力水平的诊断评估。因而，以认知诊断测验为代表的新一代测验理论应运而生，能够解释学生在推理和解决问题过程中所用到的知识和技能，并提供关于学生知识技能掌握情况的诊断信息，同时保证测验的“公平性”，为“因材施教”和“个性化”教学提供可能。
Mislevy等（1993）指出，统计测验理论的发展可以分为经典测验理论（Classical Test Theory， CTT）阶段、概化理论阶段和项目反应理论（Item Response Theory， IRT）阶段。CTT和IRT 都属于标准测验理论。标准测验理论视所测的心理特质为一个单纯的“统计结构”，目的在于从宏观上给个体一个整体的评估。随着心理测量学和认知心理学的进一步发展和现代教育技术水平的进步，学习者更加渴求获得更具体的、细微水平的测量与诊断评估。Frederiksen、Mislevy和Bejar（1993）编著的Test theory for a new generation of tests正式出版，标志着新一代测量理论的诞生。如图1所示，认知诊断评估逐步走入历史舞台，强调“能力水平”和“认知水平”维度能够被同时诊断，不再仅仅是单一的宏观维度的“知识水平”。计算机化自适应认知诊断测验（Computerized Adaptive Test for Cognitive Diagnosis， CD-CAT）是计算机化自适应测验理论和认知诊断理论相结合的产物，目的是达到“因材施教”“量体裁衣”式的自适应诊断，根据学习者当前状态，选取与之相适应的题目进行测试，进而诊断学习者能力水平和认知水平，以诊断报告的方式为学习者提供提升的建议和策略。
纵观计算机技术与统计测验的结合，其发展分为两个阶段：其一是以项目反应理论（IRT）为代表的标准计算机自适应测量阶段；其二指新一代测量理论的计算机自适应阶段（认知诊断是其核心内容）。项目反应理论的特点是以概率函数的形式来描述项目作答反映结果是如何受到被试能力水平和项目特征联合作用的影响。自适应测验起源于Alfred Binet（1904）开发的智力测验，根据被试的不同特质水平和题目的不同难度与区分度，对被试实测不同的测验题目，使这些题目与被试的实际水平尽可能相适应，这样使测验更具有针对性，从而每施测一道题就能获得最大的信息量。
当现代技术手段——计算机引入到测量领域中，计算机化自适应测验（Computerized Adaptive Testing， CAT）由此诞生，由计算机自动从题库中选择合适的题目给学习者作答，一方面能够在学习者做完后自动评估其能力水平，给出适合学习者的下一道题目；另一方面能够自动设定终止规则，即当达到能够评估学习者能力的题目数后，测试会自动停止。之后，运用CAT思想与认知诊断理论结合，从题库中选择最适合学习者水平和最能区分水平能力的题目作答，对其知识状态达到最恰当的评估。CD-CAT更多关注被试掌握模式的自适应，根据可观察的行为和反应，推测潜在的知识结构和技能掌握情况。例如，获得相同分数的学生不能够体现个体差异，如果在测验中能够对学生作答反应、知识反应和能力诊断，从而能够进一步提出补救措施。CD-CAT的流程包括：开始测试—初始题目选择—估计被试当前状态—选题策略—认知诊断计量模型—终止条件—诊断报告。对于CD-CAT的研究目前处于探索开发阶段，组成CD-CAT各个阶段的问题仍需要摸索和实践应用，例如如何确定知识状态和表征能力属性、认知诊断模型的应用研究，如何选择初始题目，以及题库的开发、建设与维护等方面。
综上所述，为了从整体上把握CD-CAT在国内的发展脉络，厘清发展现状和研究聚焦，提出实施CD-CAT的科研建议和实施策略，分别从以下方面进行分析：一方面，以时间（2005-2015年）为轴，考察关于“认知诊断自适应测试”文献的研究情况，采用内容分析方法对已有百余篇中英文文献进行内容分析，并通过数据的可视化表征和社会网络分析工具，探讨其研究重心和内容；另一方面，通过分析国内外已有CD-CAT平台和项目的实践情况，总结和借鉴国外实施经验，为我国今后的CD-CAT研究提供发展策略。
二、研究过程 （一） 研究方法与工具
本研究主要采用文献研究法、内容分析法和数据可视化的方法，通过对有效文献的各类属性进行分析和标识，从而获得不同维度的计量分析结果，即对本质内容进行不同方面、由浅入深、层层递进的非线性分析。研究主要借助软件管理软件NoteExpress、数据处理软件SPSS 20.0和词云生成平台Tagxedo。首先，界定研究内容和范围CD-CAT；然后，团队成员分别对2005-2015年的文章进行筛选，梳理成为研究样本；接着，根据已有文献确定分析维度，以理论概述、现状实践、研究方法等为分析内容，对样本进行统计和处理。
（二） 数据收集
采用内容分析法对2005-2015年国内发表的关于自适应认知诊断的文献进行比较、分析、综合，对研究内容和现状进行梳理和总结。为了研究的严谨性和数据分析的准确性，将学术论文与毕业论文分开统计，中文数据库来源有“中国知网”和“万方数据库”，以“认知诊断”和“认知诊断自适应测验”为关键词进行搜索，与教育测量和教育技术领域相关的文献汇总如下：中文学术期刊检索到140篇，学位论文68篇；CSSCI期刊主要集中在《北京师范大学学报（社会科学版）》《教学学报》《心理科学》《心理科学进展》和《心理学探新》等。为了对比中英文文献关于结果分析中初步印象部分的差异，即关注焦点可视化部分，选取以“Computerized Adaptive Test for Cognitive Diagnosis”和“Cognitive Diagnosis”为关键词，在Computers
随着科学技术的进步，计算机技术正逐步与认知诊断理论结合，形成计算机化自适应认知诊断测验（Computerized Adaptive Test for Cognitive Diagnosis， CD-CAT）的评测方式。用CD-CAT进行教育测量评估有着诸多优势，但是目前国内尚缺乏计算机化自适应认知诊断测验的实验研究与大规模的实践应用。本研究运用内容分析法，以“计算机自适应测试”和“计算机认知诊断测验”为关键词进行搜索，结果表明：国内于2006年开始逐步开展CD-CAT研究，近几年的研究热点主要聚焦在理论概况（占总样本的比例为15%）和现状综述（占总样本的比例为74%）方面，具体内容包括确定属性、认知诊断模型和流程方法，也有小规模的测试实验，如英语、化学等学科。基于此，运用UCINET将“研究者派系”可视化，发现领域科研合作紧密，但是整体合作疏远，小团队研究更加集中。最后，文章介绍了国内外CD-CAT实践案例，阐述了认知诊断评价在教育领域的发展方向和策略，期望对国内教育评价走向CD-CAT有所启发。
【关键词】 教育评估；认知诊断理论；认知诊断模型；计算机化自适应认知诊断测验
【中图分类号】 G434 【文献标识码】 B 【文章编号】 1009-458x（2017）04-0042-09
一、研究背景
随着计算机技术、通信设备和网络技术的迅速发展，教育信息化的发展面临着重大变革，由数据主导的“大时代”正在走入教育领域，进而渗透到教育发展与改革的战略中。复杂的、数据驱动的个性化教学一般需要提供非线性的教学輔导，以及能够满足学习者个别化、具有差异的认知水平和能力水平的诊断评估。因而，以认知诊断测验为代表的新一代测验理论应运而生，能够解释学生在推理和解决问题过程中所用到的知识和技能，并提供关于学生知识技能掌握情况的诊断信息，同时保证测验的“公平性”，为“因材施教”和“个性化”教学提供可能。
Mislevy等（1993）指出，统计测验理论的发展可以分为经典测验理论（Classical Test Theory， CTT）阶段、概化理论阶段和项目反应理论（Item Response Theory， IRT）阶段。CTT和IRT 都属于标准测验理论。标准测验理论视所测的心理特质为一个单纯的“统计结构”，目的在于从宏观上给个体一个整体的评估。随着心理测量学和认知心理学的进一步发展和现代教育技术水平的进步，学习者更加渴求获得更具体的、细微水平的测量与诊断评估。Frederiksen、Mislevy和Bejar（1993）编著的Test theory for a new generation of tests正式出版，标志着新一代测量理论的诞生。如图1所示，认知诊断评估逐步走入历史舞台，强调“能力水平”和“认知水平”维度能够被同时诊断，不再仅仅是单一的宏观维度的“知识水平”。计算机化自适应认知诊断测验（Computerized Adaptive Test for Cognitive Diagnosis， CD-CAT）是计算机化自适应测验理论和认知诊断理论相结合的产物，目的是达到“因材施教”“量体裁衣”式的自适应诊断，根据学习者当前状态，选取与之相适应的题目进行测试，进而诊断学习者能力水平和认知水平，以诊断报告的方式为学习者提供提升的建议和策略。
纵观计算机技术与统计测验的结合，其发展分为两个阶段：其一是以项目反应理论（IRT）为代表的标准计算机自适应测量阶段；其二指新一代测量理论的计算机自适应阶段（认知诊断是其核心内容）。项目反应理论的特点是以概率函数的形式来描述项目作答反映结果是如何受到被试能力水平和项目特征联合作用的影响。自适应测验起源于Alfred Binet（1904）开发的智力测验，根据被试的不同特质水平和题目的不同难度与区分度，对被试实测不同的测验题目，使这些题目与被试的实际水平尽可能相适应，这样使测验更具有针对性，从而每施测一道题就能获得最大的信息量。
当现代技术手段——计算机引入到测量领域中，计算机化自适应测验（Computerized Adaptive Testing， CAT）由此诞生，由计算机自动从题库中选择合适的题目给学习者作答，一方面能够在学习者做完后自动评估其能力水平，给出适合学习者的下一道题目；另一方面能够自动设定终止规则，即当达到能够评估学习者能力的题目数后，测试会自动停止。之后，运用CAT思想与认知诊断理论结合，从题库中选择最适合学习者水平和最能区分水平能力的题目作答，对其知识状态达到最恰当的评估。CD-CAT更多关注被试掌握模式的自适应，根据可观察的行为和反应，推测潜在的知识结构和技能掌握情况。例如，获得相同分数的学生不能够体现个体差异，如果在测验中能够对学生作答反应、知识反应和能力诊断，从而能够进一步提出补救措施。CD-CAT的流程包括：开始测试—初始题目选择—估计被试当前状态—选题策略—认知诊断计量模型—终止条件—诊断报告。对于CD-CAT的研究目前处于探索开发阶段，组成CD-CAT各个阶段的问题仍需要摸索和实践应用，例如如何确定知识状态和表征能力属性、认知诊断模型的应用研究，如何选择初始题目，以及题库的开发、建设与维护等方面。
综上所述，为了从整体上把握CD-CAT在国内的发展脉络，厘清发展现状和研究聚焦，提出实施CD-CAT的科研建议和实施策略，分别从以下方面进行分析：一方面，以时间（2005-2015年）为轴，考察关于“认知诊断自适应测试”文献的研究情况，采用内容分析方法对已有百余篇中英文文献进行内容分析，并通过数据的可视化表征和社会网络分析工具，探讨其研究重心和内容；另一方面，通过分析国内外已有CD-CAT平台和项目的实践情况，总结和借鉴国外实施经验，为我国今后的CD-CAT研究提供发展策略。
二、研究过程 （一） 研究方法与工具
本研究主要采用文献研究法、内容分析法和数据可视化的方法，通过对有效文献的各类属性进行分析和标识，从而获得不同维度的计量分析结果，即对本质内容进行不同方面、由浅入深、层层递进的非线性分析。研究主要借助软件管理软件NoteExpress、数据处理软件SPSS 20.0和词云生成平台Tagxedo。首先，界定研究内容和范围CD-CAT；然后，团队成员分别对2005-2015年的文章进行筛选，梳理成为研究样本；接着，根据已有文献确定分析维度，以理论概述、现状实践、研究方法等为分析内容，对样本进行统计和处理。
（二） 数据收集
采用内容分析法对2005-2015年国内发表的关于自适应认知诊断的文献进行比较、分析、综合，对研究内容和现状进行梳理和总结。为了研究的严谨性和数据分析的准确性，将学术论文与毕业论文分开统计，中文数据库来源有“中国知网”和“万方数据库”，以“认知诊断”和“认知诊断自适应测验”为关键词进行搜索，与教育测量和教育技术领域相关的文献汇总如下：中文学术期刊检索到140篇，学位论文68篇；CSSCI期刊主要集中在《北京师范大学学报（社会科学版）》《教学学报》《心理科学》《心理科学进展》和《心理学探新》等。为了对比中英文文献关于结果分析中初步印象部分的差异，即关注焦点可视化部分，选取以“Computerized Adaptive Test for Cognitive Diagnosis”和“Cognitive Diagnosis”为关键词，在Computers