论文部分内容阅读
摘要：自适应考试系统能有效测出应试者的真实能力水平，但题库质量要求高，试题参数计算复杂，系统实现有一定难度。具有自适应特征的在线考试系统能够以知识点相关联，融合两种考试方式的优点，实现对应试者真实能力水平的考查。文章对初始选题、自适应选题策略、终止规则等关键技术进行了研究，实验表明该系统测试效果较好。
关键词：自适应考试；在线考试；在线组卷；选题策略
中图分类号：TP311
文献标志码：A
文章编号：1006-8228（2017）01-30-04
0.引言
在线考试系统凭借评阅准确及时、人为干扰少、公平性强等特点，已经逐步替代纸质考试。但大部分在线考试系统只是利用计算机对考试过程进行管理与控制，实现自动阅卷，无法突破经典测量理论（classic Test Theory，简称CCT）。
项目反应理论（Item Response Theory，简称IRT）出现后，以IRT为基础的计算机自适应测试系统（computerized Adaptive Testing，简称CAT）采用“因人施测”的基本思想，每个应试者都能接受一组符合自身能力水平的试题进行测试。
与传统考试相比，CAT具有对应试者的能力评估准确、测试效率高、评估方法公正科学等优点。CAT虽然优点多，但社会认同度较低，除了试题参数计算复杂，题库质量要求高之外，以能力值表示的考试结果认同度低也是重要原因。
本文以知识点关联为基础，实现一个具有自适应特征的在线考试系统AFOMS（Online ExaminationSystem with Adaptive Features，简称AFOMS），避免自适应考试系统的缺点的同时，达到测试应试者真实知识水平的目的。
在设计AFOMS之前，参照CAT通用考试过程模型，设计了自适应性在线考试模型SAFM（SelfAdaptive Features Model，简称SAFM）。
1.SAFM的设计
CAT的工作过程如下：系统在测试初始探查阶段获取应试者能力值之后，在考试过程中根据答题情况动态地评估应试者的能力值，选取最接近应试者能力值的试题进行施测，直至考试结束。
SAFM的设计思路：设有初始探查阶段，自适应选题施测阶段以及测试终止阶段。在选题策略方面，以知识点关联关系，根据答题情况选取试题进行施测，达到测试目的。
1.1初始探测选题
由教师用户选定考查的知识点后，设置各题型试题数量，整体难易度后，系统自动生成一组试题进行施测。在第一部分测试结束之后，系统自动对第一部分答题情况进行分析统计。
1.2自適应选题策略
基本思想是：分析第一部分考试结果后，根据之前某个知识点的试题答题情况，按照难度等级递增或者递减的原则来随机选取下一道关联这个知识点的试题施测，直至考查结束，实现考查知识点的全覆盖。在本阶段，关于某个知识点的试题至多只有两道。
自适应特征选题工作流程如图1所示。
由图1可知，第一道题与第二道题的选题策略是保证考试质量的核心。
假设第一部分考试中出现的知识点为T（a1，a2，a3......ax），某个知识点考查的试题为M（M1，M2，M3，Mx），试题对应的难易度为P（P1，p2）2，Px）。
对于某个知识点ai，关于知识点ai的试题集合M，自适应特征考试第一题选题策略如图2所示。
第一道试题选择策略简述如下。
（1）若全部答对，且试题M中存在某一试题Mi难度等级为难，则该知识点考查结束，考查下一个知识点。
（2）若全部答对，且试题M中不存在试题难度等级为难的试题，选取集合P中的等级最高值Pi，抽取一道关于知识点ai难度等级为（p1+1）的试题进行测试。
（3）若全部答错，则选取一道关于知识点ai的难度等级为容易的试题进行测试。
（4）若答错和答对都有，则记录答错题的最高难度等级Pi，选取一道难度等级为（Pi-1）的试题进行测试。
第二道试题选择策略简述如下。
（1）若答对N，且R为难，则知识点ai考查结束。
（2）若答对N，且R不为难，则选取一道难度等级为（R+1）的试题继续测试。
（3）若答错N，且R不为容易，则选取一道难度等级为（R—1）的试题继续测试。
（4）若答错N，且R为容易，则知识点巩考查结束。
1.3终止规则
过多的测试题目容易导致测试时间过长，测试效率不高。SAFM采用终止策略是：在自适应特征考试部分，关于某个知识点的试题达到一定数量即终止考查，考查下一个知识点。
2.AFOMS的设计
2.1 AFOMS的总体结构
AFOMS的系统模型结构如图4所示。
2.2数据库设计
采用Oracle 10g作为数据库管理系统，设计了—个考试数据库，共建了27个数据表。其中主要的数据库表为15个，分别是学生信息表（命名为“STUDENT”）、课程信息表（命名为“LESSON”）、知识点信息表（命名为“KNOWLEDGE”）、题目信息表（命名为“QUESTION”）、考试配置表（命名为“TESTCONFIG”）、试卷难易度表（命名为“NYDTEST”）、第一部分考试知识点表（命名为“PRE_KNOW”）、第一部分考试答题信息表（命名为“PRE_PAPER”）、第一部分考试成绩表（命名为“PRE_SCORE”）、第一部分考试分析表（命名为“PRE_RESULT”）、自适应特征考试知识点表（命名为“TEST_KNOW”）、自适应特征考试答题信息表（命名为“PAPER”）、自适应特征考试成绩表（命名为“SCORE”）、自适应特征考试分析表（命名为“F_RESULT”）、第一部分考试和自适应特征分析表（命名为“F_RESULT_ALL”）。
主要数据表之间的关系如图5所示，其中pk表示主键，fk表示外键。
3.系统测试与分析
系统初步搭建后，两位考生完成了考试。两位考生的考试情况如表1所示。对比数据来看，第一部分考试答对的试题越多，自适应特征考试的时间相应缩短，收敛速度较快。考虑到考生心理因素及其他因素，由两部分考试的答题情况来评定最终成绩比较合理。因此考试成绩能反映出应试者的知识水平，具有一定的实用性。
4.总结
为考查应试者知识掌握水平，避免cAT的缺点，设计了以知识点为关联的具有自适应特征的在线考试系统。实验证明，具有自适应特征的在线考试系统能够实现应试者初始能力评估、自适应选题测试以及知识点的全覆盖考查。考试结果能够反映应试者的知识掌握水平。
我们将在未来继续对选题策略、题库结构、知识点体系结构的布局等展开研究。如在题库中加入主观题后，存储结构如何发生变化；主观题的评判结果是否准确及是否会影响选题策略；选题策略如何调整等。
关键词：自适应考试；在线考试；在线组卷；选题策略
中图分类号：TP311
文献标志码：A
文章编号：1006-8228（2017）01-30-04
0.引言
在线考试系统凭借评阅准确及时、人为干扰少、公平性强等特点，已经逐步替代纸质考试。但大部分在线考试系统只是利用计算机对考试过程进行管理与控制，实现自动阅卷，无法突破经典测量理论（classic Test Theory，简称CCT）。
项目反应理论（Item Response Theory，简称IRT）出现后，以IRT为基础的计算机自适应测试系统（computerized Adaptive Testing，简称CAT）采用“因人施测”的基本思想，每个应试者都能接受一组符合自身能力水平的试题进行测试。
与传统考试相比，CAT具有对应试者的能力评估准确、测试效率高、评估方法公正科学等优点。CAT虽然优点多，但社会认同度较低，除了试题参数计算复杂，题库质量要求高之外，以能力值表示的考试结果认同度低也是重要原因。
本文以知识点关联为基础，实现一个具有自适应特征的在线考试系统AFOMS（Online ExaminationSystem with Adaptive Features，简称AFOMS），避免自适应考试系统的缺点的同时，达到测试应试者真实知识水平的目的。
在设计AFOMS之前，参照CAT通用考试过程模型，设计了自适应性在线考试模型SAFM（SelfAdaptive Features Model，简称SAFM）。
1.SAFM的设计
CAT的工作过程如下：系统在测试初始探查阶段获取应试者能力值之后，在考试过程中根据答题情况动态地评估应试者的能力值，选取最接近应试者能力值的试题进行施测，直至考试结束。
SAFM的设计思路：设有初始探查阶段，自适应选题施测阶段以及测试终止阶段。在选题策略方面，以知识点关联关系，根据答题情况选取试题进行施测，达到测试目的。
1.1初始探测选题
由教师用户选定考查的知识点后，设置各题型试题数量，整体难易度后，系统自动生成一组试题进行施测。在第一部分测试结束之后，系统自动对第一部分答题情况进行分析统计。
1.2自適应选题策略
基本思想是：分析第一部分考试结果后，根据之前某个知识点的试题答题情况，按照难度等级递增或者递减的原则来随机选取下一道关联这个知识点的试题施测，直至考查结束，实现考查知识点的全覆盖。在本阶段，关于某个知识点的试题至多只有两道。
自适应特征选题工作流程如图1所示。
由图1可知，第一道题与第二道题的选题策略是保证考试质量的核心。
假设第一部分考试中出现的知识点为T（a1，a2，a3......ax），某个知识点考查的试题为M（M1，M2，M3，Mx），试题对应的难易度为P（P1，p2）2，Px）。
对于某个知识点ai，关于知识点ai的试题集合M，自适应特征考试第一题选题策略如图2所示。
第一道试题选择策略简述如下。
（1）若全部答对，且试题M中存在某一试题Mi难度等级为难，则该知识点考查结束，考查下一个知识点。
（2）若全部答对，且试题M中不存在试题难度等级为难的试题，选取集合P中的等级最高值Pi，抽取一道关于知识点ai难度等级为（p1+1）的试题进行测试。
（3）若全部答错，则选取一道关于知识点ai的难度等级为容易的试题进行测试。
（4）若答错和答对都有，则记录答错题的最高难度等级Pi，选取一道难度等级为（Pi-1）的试题进行测试。
第二道试题选择策略简述如下。
（1）若答对N，且R为难，则知识点ai考查结束。
（2）若答对N，且R不为难，则选取一道难度等级为（R+1）的试题继续测试。
（3）若答错N，且R不为容易，则选取一道难度等级为（R—1）的试题继续测试。
（4）若答错N，且R为容易，则知识点巩考查结束。
1.3终止规则
过多的测试题目容易导致测试时间过长，测试效率不高。SAFM采用终止策略是：在自适应特征考试部分，关于某个知识点的试题达到一定数量即终止考查，考查下一个知识点。
2.AFOMS的设计
2.1 AFOMS的总体结构
AFOMS的系统模型结构如图4所示。
2.2数据库设计
采用Oracle 10g作为数据库管理系统，设计了—个考试数据库，共建了27个数据表。其中主要的数据库表为15个，分别是学生信息表（命名为“STUDENT”）、课程信息表（命名为“LESSON”）、知识点信息表（命名为“KNOWLEDGE”）、题目信息表（命名为“QUESTION”）、考试配置表（命名为“TESTCONFIG”）、试卷难易度表（命名为“NYDTEST”）、第一部分考试知识点表（命名为“PRE_KNOW”）、第一部分考试答题信息表（命名为“PRE_PAPER”）、第一部分考试成绩表（命名为“PRE_SCORE”）、第一部分考试分析表（命名为“PRE_RESULT”）、自适应特征考试知识点表（命名为“TEST_KNOW”）、自适应特征考试答题信息表（命名为“PAPER”）、自适应特征考试成绩表（命名为“SCORE”）、自适应特征考试分析表（命名为“F_RESULT”）、第一部分考试和自适应特征分析表（命名为“F_RESULT_ALL”）。
主要数据表之间的关系如图5所示，其中pk表示主键，fk表示外键。
3.系统测试与分析
系统初步搭建后，两位考生完成了考试。两位考生的考试情况如表1所示。对比数据来看，第一部分考试答对的试题越多，自适应特征考试的时间相应缩短，收敛速度较快。考虑到考生心理因素及其他因素，由两部分考试的答题情况来评定最终成绩比较合理。因此考试成绩能反映出应试者的知识水平，具有一定的实用性。
4.总结
为考查应试者知识掌握水平，避免cAT的缺点，设计了以知识点为关联的具有自适应特征的在线考试系统。实验证明，具有自适应特征的在线考试系统能够实现应试者初始能力评估、自适应选题测试以及知识点的全覆盖考查。考试结果能够反映应试者的知识掌握水平。
我们将在未来继续对选题策略、题库结构、知识点体系结构的布局等展开研究。如在题库中加入主观题后，存储结构如何发生变化；主观题的评判结果是否准确及是否会影响选题策略；选题策略如何调整等。