论文部分内容阅读
摘要：在自动考试系统的题库建设中，试题库设计及组卷策略是关键环节。试题库中试题的参数，不同的试题库不尽相同，这里定义为：试题=（编号、题型、题干、答案、分值、试题难度、区分度、知识点、使用次数）；试卷=（标题、考试时间、考试日期、总分值、题型、试卷难度、试卷区分度、知识点、曝光度）。
关键词：题库；组卷策略；难度；区分度；知识点
中图分类号：TP311文献标识码：A文章编号：1009-3044(2008)20-30312-03
The Design of the Item-bank and the Method of Generating A Paper
LIU Jia-wen, WU Guo-hua
(Computer Department,Zengcheng College,South China Normal University,Guangzhou 511363,China)
Abstract:There are two core issues in building an automatic testing system, the design of Item-bank and the method of generating a paper. The parameters of a paper are varying in different item-banks. In this design, the questions are identified as (ID, type, item, answer, percentile, difficulty, distinguish between degrees, knowledge point, frequency), and the paper is identified as (title, examining time, date, score, type, paper difficulty, paper-distinguish between degrees, knowledge point, Exposure).
Key words:Item-bank;the method of generating a paper;difficulty;distinguish between degrees;knowledge point
1 引言
传统的手工组卷方式，教师不仅要从大量的试题集中筛选试题，而且还要考虑考查的知识点、难度及历次试题的重复信息等，其难度与劳动强度可想而知。不仅如此，大部分老师应该都有这样的经历，在组卷时对于试题难度这种抽象的系数总是欠缺依据。另外，对已考试卷的质量分析也要花费教师大量的精力和时间。自动考试系统试题库的建立为教师出题组卷提供了便利，减轻了工作负担，也使得试卷出得更加科学合理。
但是，部分考试系统在出题组卷时仍采用一种静态的方式，即每次出卷都是采用一成不变的题目及难度，使得历年的考题在学生中实已公开化，从而无法对学生的学习质量进行客观的审查。即便有随机出卷功能，所谓“随机”也只不过是从A、B、C卷中随机抽取一份，其随机性是非常有限的，而且三份试卷的重复题也难以保证在30％以下。在自动考试系统的建设中，题库建设和组卷策略设计便是最关键的环节。组卷策略是指在出卷时需要定义试题的一些重要参数以及对这些参数进行变换的逻辑方案，从而由计算机智能地从题库中随机抽取题目进行组卷。
而对于试题库的建设有两个核心问题：一是能够自动生成试卷，并满足不同测试标准的要求；二是能够令到考试結果客观地反应出测试者的不同水平。因此，在试题库的试题设计上，采用以下的数据结构：试题=(编号、题型、题干、答案、难度、区分度、知识点、使用次数)。
2 试题库中试题及试卷主要参数的定义
试题库中试题的参数，不同的试题库不尽相同，但每一门课程至少应有编号、题干、答案、使用次数、题型、难度、区分度、知识点等参数，这些参数反映了试题的基本信息，也是教师组卷必须了解的内容。前几个参数比较客观易懂，在此就不再过多解释。以下是本文介绍的组卷策略几个重要的参数定义：
2.1 难度
指测验或试题的难易程度，是试题技术参数中最重要的指标之一，在教育测量中，客观题难度可以用以下公式计算：
P=1-r/s
式中：P代表试题难度；r为答对该试题的人数；s为参加考试的总人数。
主观题难度可以用下面公式计算：
P=1-X/Q
式中：P 代表试题难度；X 表示试题的平均得分，Q 表示该题总分。
通过对工作单位的学生答卷进行统计分析，根据试题的正确率定义出难度等级，如表1所示。
这样，在组卷策略中就可以根据每道题的难度等级不同，合理分配每种难度的题目所占比例，从而进一步组合成不同难度等级的试卷。同样的，试卷难度也随出题者的不同而有所不同。
式中，k是试卷所含的题目数，pi和qi分别是第i题的试题难度和分值。
通过再次依据统计分析，总结出不同难度的试题比例分布规律，从而定义出试卷难度等级，如表2所示。此表可作为教师手动出卷的依据之一。
表2 试卷—试题难度比例
值得注意的是试题的难度不应是一成不变的，因为每个班的学生水平不尽相同，所能正确解答的情况也就有所不同；另一方面，即便一道题再难，但是由于学生做的次数多了、熟练了，难题也就相对地变成了易题。所以，在试题库建设时应根据该试题每次考试的正确率及被抽取的使用次数，依照测量算法实现动态修正，这样才能科学地、客观地反映试题的难度。
2.2 区分度
是指试题或测验对考生实际水平的鉴别或区分程度，它是评价试题质量与筛选题目的重要指标和依据。具有良好区分度的测验，可以使实际水平高的学生得高分，水平低的同学得低分。一般要求试题的区分度在0.3以上。区分度D在-1至+1之间。D≥0.4时，说明该题目能起到很好的区分作用；D≤0.2时，说明该题目的区分性很差。D值为负数时，说明试题或答案有问题。
客观题区分度D的计算公式：
D=PH-PL
式中，PH、PL分别为试题高分组和低分组考生的难度值，PH 和PL的计算方法如下：①将考生的总分由高至低排列；②从最高分开始向下取全部试卷的27%作为高分组；③从最低分开始向上取全部试卷的27%作为低分组；④各分组答对该题的人数所占改组总人数的比例即为该题目在分组中的难度。
主观题区分度D的计算公式
D=(XH-Xl)/N(H-L)
式中，XH 表示接受测验的高分段学生的总得分数，XL 表示接受测验的低分段学生的总得分数，N表示接受测验的学生总数，H 表示该题的最高得分，L 表示该题的最低得分。
整个试卷的区分度，是所有试题区分度的平均值。
2.3 知识点
指试题在教学大纲及考试大纲中所属的章节知识，是试题技术参数中不可缺少的重要参数之一。该参数便于在试题库中筛选试题，为教师组卷、选择考核内容提供了标准。
2.4 题型
指试题的种类，包括选择题、填空题、判断题、名词解释题、简答题、论述题、计算题、作图题以及其他题型。每种题型在试卷中都有一定的比例分配，且关系到试题、答案个数、考察的知识点以及卷面设计等问题，是组卷策略中不可缺少的重要参数之一。
表3 题型—知识点比例表示例
2.5 使用次数
题目的使用总次数可以用来控制题目的曝光度。为了试卷的保密性、公平性和安全性起见，在抽取题目组成试卷的时候，需要控制题目的曝光度。控制曝光度有两方面的考虑，一是如果题目在规定的日期范围之后被使用过，本次就不再使用；二是如果有几个同时都满足条件的题目可供选择，那么在抽取试题的时候应该选择使用次数少的题目，以达到使用上的平衡和控制曝光度的目的。
3 总体参数设置
总体参数是指对试卷的整体属性的说明，具体有：试卷标题，考试时间，满分值、平均难度、平均区分度、使用次数、考察的知识点。如果选择系统自动组卷策略，则需要设置试卷的平均难度；而对于手动组卷方式，则需要设置试卷的难度比例，而不需要设置平均难度。
(1)题库更新模块：包括题目的录入、编辑、增删等管理，同时要保证题目的科学性与规范性。
(2)组卷模块：从题库中怎样抽取题目组成一个合理的试卷以达到测试的目的，并将生成的试卷保存到样题库中，以备以后核对与分析。
(3)考试模块：学生将答案录入系统，答卷将被保存到答卷库中，以备以后试题参数的修订及成绩的质量分析。
(4)统计分析模块：对学生已交答卷进行统计分析，从而作出考试质量分析报告。
(5)参数变换模块：对试题库中的试题参数作出动态的调整，使题库更客观，科学。
4.2 组卷流程图（图2）
在系统自动组卷的问题上，既要保证题目不会重复，又要保证整份试卷所覆盖的知识面、总分值等约束条件。实现系统自动组卷采用的是遗传算法，根据试题的各参数及其权重进行筛选，取误差最小即最优的方案进行组卷。
5 待完善的问题
(1)試题库仍需进一步的完善。试题库中的题量必须达到足够容量，否则系统每次抽取的题目重复率就会很高，而且很难组成一份科学合理的试卷，这样就会失去试题库的价值。另外，试题各参数的设置也不是胡乱拼凑的，必须要有高素质的命题教师队伍通过论证才能确定。（下转第319页）
（上接第314页）
(2)题库的保密问题。应用程序使用的账号应该具有不同的数据库访问权限；数据库系统的用户名和密码，需要进一步采用数据加密技术，以密码形式存储和传输数据；对一些关键的数据仍以明文的方式存储在数据库中，没有对数据进行加密。
(3)题库中部分特殊试题含有图形、图表及特殊字符等，在使用上仍然存在一定的局限。
6 结束语
自动考试系统题库建设是一项长期的、复杂的工作，同时也是一项细致的工作。它的建立能够由系统自动组卷、评分以及帮助老师进行试卷质量分析，大大减轻了教师工作负担。系统组卷经过专家的严格鉴定以及在实践中证明是现实可用的，而且也较客观地反映出学生的掌握水平。但系统仍然存在一定的问题和不足，随着题库建设理论和方法的完善，系统的薄弱环节也将得到进一步的解决。
参考文献：
[1] 张敏强.教育测量学[M].北京:人民教育出版社,2002.
[2] 王晓宇.高等学校试题库建设实践与思考[J].东北农业大学学报:社会科学版,2007,5(2).
[3] 李中华.题库建设中的智能组卷策略研究[J].福建电脑,2006(8).
[4] 余胜泉.通用试题库组卷策略算法[M].北京师范大学现代教育技术研究所,2002.
[5] 权晓红.对高校试题库建设的思考和建设[J].甘肃科技纵横,2006,35(4).
[6] 李启华.通用试题库管理与组卷系统的分析与设计[D].华中科技大学硕士论文,2006.
关键词：题库；组卷策略；难度；区分度；知识点
中图分类号：TP311文献标识码：A文章编号：1009-3044(2008)20-30312-03
The Design of the Item-bank and the Method of Generating A Paper
LIU Jia-wen, WU Guo-hua
(Computer Department,Zengcheng College,South China Normal University,Guangzhou 511363,China)
Abstract:There are two core issues in building an automatic testing system, the design of Item-bank and the method of generating a paper. The parameters of a paper are varying in different item-banks. In this design, the questions are identified as (ID, type, item, answer, percentile, difficulty, distinguish between degrees, knowledge point, frequency), and the paper is identified as (title, examining time, date, score, type, paper difficulty, paper-distinguish between degrees, knowledge point, Exposure).
Key words:Item-bank;the method of generating a paper;difficulty;distinguish between degrees;knowledge point
1 引言
传统的手工组卷方式，教师不仅要从大量的试题集中筛选试题，而且还要考虑考查的知识点、难度及历次试题的重复信息等，其难度与劳动强度可想而知。不仅如此，大部分老师应该都有这样的经历，在组卷时对于试题难度这种抽象的系数总是欠缺依据。另外，对已考试卷的质量分析也要花费教师大量的精力和时间。自动考试系统试题库的建立为教师出题组卷提供了便利，减轻了工作负担，也使得试卷出得更加科学合理。
但是，部分考试系统在出题组卷时仍采用一种静态的方式，即每次出卷都是采用一成不变的题目及难度，使得历年的考题在学生中实已公开化，从而无法对学生的学习质量进行客观的审查。即便有随机出卷功能，所谓“随机”也只不过是从A、B、C卷中随机抽取一份，其随机性是非常有限的，而且三份试卷的重复题也难以保证在30％以下。在自动考试系统的建设中，题库建设和组卷策略设计便是最关键的环节。组卷策略是指在出卷时需要定义试题的一些重要参数以及对这些参数进行变换的逻辑方案，从而由计算机智能地从题库中随机抽取题目进行组卷。
而对于试题库的建设有两个核心问题：一是能够自动生成试卷，并满足不同测试标准的要求；二是能够令到考试結果客观地反应出测试者的不同水平。因此，在试题库的试题设计上，采用以下的数据结构：试题=(编号、题型、题干、答案、难度、区分度、知识点、使用次数)。
2 试题库中试题及试卷主要参数的定义
试题库中试题的参数，不同的试题库不尽相同，但每一门课程至少应有编号、题干、答案、使用次数、题型、难度、区分度、知识点等参数，这些参数反映了试题的基本信息，也是教师组卷必须了解的内容。前几个参数比较客观易懂，在此就不再过多解释。以下是本文介绍的组卷策略几个重要的参数定义：
2.1 难度
指测验或试题的难易程度，是试题技术参数中最重要的指标之一，在教育测量中，客观题难度可以用以下公式计算：
P=1-r/s
式中：P代表试题难度；r为答对该试题的人数；s为参加考试的总人数。
主观题难度可以用下面公式计算：
P=1-X/Q
式中：P 代表试题难度；X 表示试题的平均得分，Q 表示该题总分。
通过对工作单位的学生答卷进行统计分析，根据试题的正确率定义出难度等级，如表1所示。
这样，在组卷策略中就可以根据每道题的难度等级不同，合理分配每种难度的题目所占比例，从而进一步组合成不同难度等级的试卷。同样的，试卷难度也随出题者的不同而有所不同。
式中，k是试卷所含的题目数，pi和qi分别是第i题的试题难度和分值。
通过再次依据统计分析，总结出不同难度的试题比例分布规律，从而定义出试卷难度等级，如表2所示。此表可作为教师手动出卷的依据之一。
表2 试卷—试题难度比例
值得注意的是试题的难度不应是一成不变的，因为每个班的学生水平不尽相同，所能正确解答的情况也就有所不同；另一方面，即便一道题再难，但是由于学生做的次数多了、熟练了，难题也就相对地变成了易题。所以，在试题库建设时应根据该试题每次考试的正确率及被抽取的使用次数，依照测量算法实现动态修正，这样才能科学地、客观地反映试题的难度。
2.2 区分度
是指试题或测验对考生实际水平的鉴别或区分程度，它是评价试题质量与筛选题目的重要指标和依据。具有良好区分度的测验，可以使实际水平高的学生得高分，水平低的同学得低分。一般要求试题的区分度在0.3以上。区分度D在-1至+1之间。D≥0.4时，说明该题目能起到很好的区分作用；D≤0.2时，说明该题目的区分性很差。D值为负数时，说明试题或答案有问题。
客观题区分度D的计算公式：
D=PH-PL
式中，PH、PL分别为试题高分组和低分组考生的难度值，PH 和PL的计算方法如下：①将考生的总分由高至低排列；②从最高分开始向下取全部试卷的27%作为高分组；③从最低分开始向上取全部试卷的27%作为低分组；④各分组答对该题的人数所占改组总人数的比例即为该题目在分组中的难度。
主观题区分度D的计算公式
D=(XH-Xl)/N(H-L)
式中，XH 表示接受测验的高分段学生的总得分数，XL 表示接受测验的低分段学生的总得分数，N表示接受测验的学生总数，H 表示该题的最高得分，L 表示该题的最低得分。
整个试卷的区分度，是所有试题区分度的平均值。
2.3 知识点
指试题在教学大纲及考试大纲中所属的章节知识，是试题技术参数中不可缺少的重要参数之一。该参数便于在试题库中筛选试题，为教师组卷、选择考核内容提供了标准。
2.4 题型
指试题的种类，包括选择题、填空题、判断题、名词解释题、简答题、论述题、计算题、作图题以及其他题型。每种题型在试卷中都有一定的比例分配，且关系到试题、答案个数、考察的知识点以及卷面设计等问题，是组卷策略中不可缺少的重要参数之一。
表3 题型—知识点比例表示例
2.5 使用次数
题目的使用总次数可以用来控制题目的曝光度。为了试卷的保密性、公平性和安全性起见，在抽取题目组成试卷的时候，需要控制题目的曝光度。控制曝光度有两方面的考虑，一是如果题目在规定的日期范围之后被使用过，本次就不再使用；二是如果有几个同时都满足条件的题目可供选择，那么在抽取试题的时候应该选择使用次数少的题目，以达到使用上的平衡和控制曝光度的目的。
3 总体参数设置
总体参数是指对试卷的整体属性的说明，具体有：试卷标题，考试时间，满分值、平均难度、平均区分度、使用次数、考察的知识点。如果选择系统自动组卷策略，则需要设置试卷的平均难度；而对于手动组卷方式，则需要设置试卷的难度比例，而不需要设置平均难度。
(1)题库更新模块：包括题目的录入、编辑、增删等管理，同时要保证题目的科学性与规范性。
(2)组卷模块：从题库中怎样抽取题目组成一个合理的试卷以达到测试的目的，并将生成的试卷保存到样题库中，以备以后核对与分析。
(3)考试模块：学生将答案录入系统，答卷将被保存到答卷库中，以备以后试题参数的修订及成绩的质量分析。
(4)统计分析模块：对学生已交答卷进行统计分析，从而作出考试质量分析报告。
(5)参数变换模块：对试题库中的试题参数作出动态的调整，使题库更客观，科学。
4.2 组卷流程图（图2）
在系统自动组卷的问题上，既要保证题目不会重复，又要保证整份试卷所覆盖的知识面、总分值等约束条件。实现系统自动组卷采用的是遗传算法，根据试题的各参数及其权重进行筛选，取误差最小即最优的方案进行组卷。
5 待完善的问题
(1)試题库仍需进一步的完善。试题库中的题量必须达到足够容量，否则系统每次抽取的题目重复率就会很高，而且很难组成一份科学合理的试卷，这样就会失去试题库的价值。另外，试题各参数的设置也不是胡乱拼凑的，必须要有高素质的命题教师队伍通过论证才能确定。（下转第319页）
（上接第314页）
(2)题库的保密问题。应用程序使用的账号应该具有不同的数据库访问权限；数据库系统的用户名和密码，需要进一步采用数据加密技术，以密码形式存储和传输数据；对一些关键的数据仍以明文的方式存储在数据库中，没有对数据进行加密。
(3)题库中部分特殊试题含有图形、图表及特殊字符等，在使用上仍然存在一定的局限。
6 结束语
自动考试系统题库建设是一项长期的、复杂的工作，同时也是一项细致的工作。它的建立能够由系统自动组卷、评分以及帮助老师进行试卷质量分析，大大减轻了教师工作负担。系统组卷经过专家的严格鉴定以及在实践中证明是现实可用的，而且也较客观地反映出学生的掌握水平。但系统仍然存在一定的问题和不足，随着题库建设理论和方法的完善，系统的薄弱环节也将得到进一步的解决。
参考文献：
[1] 张敏强.教育测量学[M].北京:人民教育出版社,2002.
[2] 王晓宇.高等学校试题库建设实践与思考[J].东北农业大学学报:社会科学版,2007,5(2).
[3] 李中华.题库建设中的智能组卷策略研究[J].福建电脑,2006(8).
[4] 余胜泉.通用试题库组卷策略算法[M].北京师范大学现代教育技术研究所,2002.
[5] 权晓红.对高校试题库建设的思考和建设[J].甘肃科技纵横,2006,35(4).
[6] 李启华.通用试题库管理与组卷系统的分析与设计[D].华中科技大学硕士论文,2006.