论文部分内容阅读
本研究主要采用认知任务分析(CTA)技术对试题的难度进行事前的主观评定,并通过对被试言语报告的分析提取反映试题难度的客观指标,进而分析主、客观指标的一致性程度。最终,对采用CTA方法对试题的难度进行事前评定的方法体系的可靠性和有效性进行验证。实验研究主要分为事前主观评定和事后客观评定两个部分,研究材料为2007年上海市高考数学理科试卷。在事前评定部分,研究者首先设定了一个问题难度评定的假设框架体系,整个体系由五个指标构成,分别为:要素个数、要素辨识难度、运用原理数量、原理辨识难度和认知负荷。2名评定者按这一框架体系对五个指标分别进行独立的评定,最后将各题的五个指标相加得到这一题的事前主观难度。对2名评定者各自的评定结果进行相关分析,结果表明在这一框架体系的严格规范下,不同评定者能对同一试题作相对一致的评定,五个指标也都能较好地预测试题的事前难度。在事后评定部分,主要是对8名被试的言语报告进行分析。研究者事先根据试题的标准答案对每一试题划分若干个解题关键步骤。然后将被试的言语报告对照关键步骤,提取被试完成每一关键步骤所需的认知负荷和时间,并计算8名被试在各题上的正确率。最后,对这三个客观指标进行相关分析,结果发现三个指标间相关程度较高,都能较客观地反映试题的难度。进一步对事前、事后评定部分的各个指标进行相关分析,发现事前、事后指标间存在较高程度的相关。从而表明,使用试题的事前难度标定体系能够对试题的难度作有效的预测。通过对事前、事后部分评定结果的讨论,本研究主要得出以下结论:(1)采用CTA的方法,在试题难度事前标定的框架体系的规范下,不同的评定者能对试题的难度作出相对一致的主观评定。(2)通过对被试解题过程言语报告的分析,能在很大程度上把握住解题过程中认知负荷的大小,从而实现对解题过程中认知负荷的相对客观的评定。(3)试题事前难度标定系统是比较有效的系统,它可以对试题的相对难度作出较为准确的估计。(4)试题事前难度标定的框架系统作为试题难度标定的一种方法系统,可以独立运用于试卷编制的过程,对试卷的编制能起到一定的调控作用。