论文部分内容阅读
摘 要：基于web的在线考试系统已成为高职院校考试形式中的重要组成部分，通过对在线系统现状的分析、对系统架构提出了引入RIA技术、优化界面的设想，并对在线考试系统自动组卷算法与主观题自动评分算法等实现难点进行了研究。
关键词：在线考试系统；RIA；物种入侵动态遗传；文本相似度；单向贴近度
中图分类号：TP311.52
1 现状及分析
在线考试系统在高职院校的应用与推广，必须针对高职院校的课程进行分析。根据其特点，高职院校课程可分三类：第一类是纯理论知识概念型，非常适合使用在线考试系统进行测试。第二类是知识技能型，并不完全适合使用在线考试系统进行测试，考试系统无法针对实际操作进行评分。第三类是纯操作的实践、实训课程，系统不便模拟实际操作，不适用。总体看来，在线考试系统还是能够应用在高职院校的大部分课程中的，有着较好的应用前景。
在高职院校，传统的纸质考试做法已经沿袭多年，同时它的弊病也越发凸显。首先，试卷涵盖知识点难以做到客观全面，对学生的评价具有导向性，缺乏对学生综合素质的客观评价。其次，对于教师而言，出题与阅卷是一个漫长而痛苦的过程。为保证公平性，在同一考试中往往会出现多套试卷，这显然意味着更大的工作量。而在有限的试卷中，考生较易掌握出题规律或者试题，大大缩短了试卷寿命。再次，因为试卷内容相同或者相似，学生作弊成本低，考试公平性低。总之，传统试卷组卷成本高、周期长、寿命短、效果差、效率低、公平性也低。
为了解决传统考试的弊端，早在上世纪六十年代便有学者开始研究计算机考试系统，经过几十年发展，基于web技术的在线考试系统应用最为广泛、发展前景最为宽广。
2 在线考试系统的设计
2.1 系统结构的设计与优化。基于web在线考试系统的基本架构大都为B/S型或者C/S型；简而言之就是由在线考试系统的服务器端进行数据管理，使用终端机上的考试系统客户端或者浏览器进行答题。在服务器端，教师通过对具体课程试题库的管理，来实现考试系统自动组卷。首先，通过使用随机算法、遗传算法等由系统在题库中自动组卷。随后，学生在终端的客户端/浏览器上进行答题。结束后，客户端/浏览器将结果上传服务端，进行自动评分，统计考试成绩。
客观题的答案简单，自动评分易实现。主观题由于自然语言的复杂性，答案语意纷繁、内容复杂、不确定性大；服务器端主观题自动评分算法繁杂低效、计算量巨大。在大规模测试当中，主观题的自动评分对系统服务器硬件配置要求高、负载压力大，大大限制了在线考试系统的应用于推广。
在以往的架构当中，系统越完善功能越强大，其运算量也呈几何倍数增长；制约了系统的发展。而在web架构中采用基于RIA（Rich Internet Applications）富互联网应用技术，便可使问题迎刃而解。
RIA是新一代网络应用程序，最突出的特点为“Rich”，同时RIA最核心的部分也体现在“Rich”中。“Rich”包含了两层含义。丰富的数据模型、丰富的界面元素。
将RIA应用到在线考试系统中简单讲便是将系统中由原本的服务器完成的大部分运算量，调整成为由所有参与考试的客户端完成，大大降低服务器的负载，整体提高系统的稳定性与适用性。在考试的过程中，先由教师进行组卷、分发，学生答卷后，由客户端进行自动评分，并最终上传学生答案和成绩。从而大幅度降低服务器的运算量，减少了评分时间，优化了系统架构。
2.2 系统界面的设计与优化。在线考试系统的界面设计应友好、人性化。学生在登陆系统后，能快速、准确的找到所需试题。界面经过优化后，应能增加学生的作弊成本。例如：系统自动组卷后，不仅卷卷不同，而且系统界面中每次只显示3-4道试题，完成答题并确认后，才能显示新的题目。如此一来，在不同的试卷中寻找相同的试题需要时间大幅增加，加大了学生的作弊成本。最终，学生将自动放弃偷窥试题。
3 系统实现中的难点
目前，web在线考试系统实现过程中，还普遍存在着一些难点；主要集中在系统自动组卷、主观题自动评分这两个方面。首先，由于题库中试题数量有限，应如何组卷，使得试卷既有较低的重复率又能把握考试重点？其次，由于自然语言的复杂性，主观题中自动评分功能的算法及实现一直都困扰着研究者们，其结果仍然无法做到“令人满意、取代人工阅卷”。
3.1 遗传法自动组卷。在国内外关于自动组卷的研究中，算法策略大致分为如下几种：基于随机搜索、基于深度及广度搜索、基于项目反应理论、基于数据挖掘与知识发现、基于遗传算法。相较前面几种而言，遗传算法具有操作简单、收敛速度快及鲁棒性强等特点，非常适合用来解决组卷问题，获得了研究者们的广泛认可。
同时，遗传法研究也取得了一定成果，例如：Gordberg M.W的寻优模型、戴文华等提出的十进制编码、陈志等提出的启发式遗传算法、赵苓提出的物种入侵的动态遗传算法SIDGA、葛宇等提出的免疫遗传算法等。其中，物种入侵的动态遗传算法SIDGA的观点较为新颖，在实验应用中也获得了较好的结果。
物种入侵的动态遗传算法SIDGA的核心思想：在传统的遗传法流程中，加入模拟生物物种入侵概念，保持种群多样性，控制收敛速度。其较好地解决了传统法中收敛过快的问题。
其步骤如下：
Step1：确定组卷的题型、数量、分值、难度等基本要求，并用非负的适应度函数表示，并确定选择策略；
Step2：選定一种较好的编码策略，并对所求问题的可行域中的所有可行解进行编码；
Step3：按照一定的种群初始化方式，产生一定个体数量的个体作为算法的初始种群；
Step4：按照所设定的适应度函数，计算出群体中全部个体的适应度；
Step5：按照个体的适应度，结合算法所选用的终止条件，判断是否达到收敛准则，如果达到，则输出最优解即组卷完成，否则转Step4； Step6：按照算法选用的选择策略对当代群体中的个体进行选择操作；
Step7：依据设置好的入侵条件判断是否满足入侵操作条件，如满足，则转Step8，否则转Step10；
Step8：随机生成m个个体替换掉当前群体中较差的m个个体；其中，m=种群规模M×入侵率rP；
Step9：计算刚加入群体中的m个个体的个体适应度；
Step10：用交叉率进行交叉操作；
Step11：用式变异率进行变异操作；返回Step4。
3.2 主观题自动评分。在主观题自动评分中，涉及人工智能、自然语言、识别模式等领域，所以一直限制着考试系统的发展。目前，国外典型的系统是英国诺丁汉大学开发的Course Master；国内也有一些成果，李阳明等提出基于模糊理论的算法，李少芳等提出似串匹配算法，程传鹏等提出文本相似度算法，郭扉扉、尹文生提出改进型单向贴近度算法。在这些算法中文本相似度算法和改进型单向贴近度算法具有比较明显的优势，但是也依然避免不了它的一些局限性。
所谓文本相似度算法：就是先计算学生答案和标准答案特征值的相似度，这部分的实现主要是基于哈工大的《同义词词林》进行的。然后用二部图匈牙利算法构造学生答案和标准答案特征值相似度的完备二部图的最大权匹配，在此基础上计算学生的最终分数。
具体步骤如下：
Step1：把标准答案按词条切分，以集合A的形式保存；同理，把学生答案切分为集合B。
Step2：参考二部图匈牙利算法，把集合A看作二部图的子集X，集合B看作二部图的子集Y。
Step3：针对标准答案中的每个特征字，在学生答案中查找是否有意思相近的，并计算它们的相似度。即根据文献[3]第二部分所描述的方法，计算A每个顶点和B每个顶点的相似度Sim（ai，bi）。
Step4：用二部图匈牙利算法将A集合的顶点，B集合的顶点和上文的相似度Sim（ai，bi）构造成学生答案和标准答案特征字相似度的完备加权二部图，并求此二部图的最大权匹配M。
Step5：根据上文的最大权匹配M，使用文献[3]3.2中的公式，依次带入相似度值和权重便可算出学生答案和标准答案的相似度。再将此相似度和试题满分相乘，即可得到学生的分数。
此算法直接以相似度计算答案得分，为自动评分算法提供了很好的参考。但是，此算法缺点也比较明显。一是计算量大，二是由于自然语义的复杂性，在文本相似度高的情况下依然存在语义不同的现象。即此算法无法计算、考察答案中的逻辑语义。
所谓改进型单项贴近度算法：就是先根据标准答案遍历学生答案，计算标准答案中每个词串和学生答案的单项贴近度值，在此基础上计算出学生的分数。
具体步骤如下：
Step1：将标准答案划分为词串集合Keys，集合中的元素是标准答案的关键字。
Step2：用文献[3]第二部分的算法，为集合Keys中的每个词串遍历学生答案，查找出学生答案中相似的词串，并依次计算出它们的单项贴近度。以集合形式保存。
Step3：根據实际情况对上文的单项贴近度值进行调整，如调整阈值等。
Step4：参照评分标准，为标准答案的每个词串分配相应的分数。最后将每个词串的单项贴近度值和它对应的分数相乘，再将所得结果相加，即可得到学生的分数。
此算法相较文本相识度算法更加简单有效，且计算量更小。其基于语义脉络的单向贴近度字符串匹配算法，既考虑了以句子为单元的结构信息，同时加入同义词的语义信息，并运用动态规划算法，按照字符串顺序进行匹配，使算法较符合人工卷思维。但是，其同样也存在着一些缺陷，如：没有考虑较复杂的语法等逻辑语义，对于逻辑性较强的文本可能结果不准确。
3.3 主观题评分自动纠正提示。由于现存主观题自动评分算法的缺陷性，能够对自动评分进行纠正提示对在线考试系统而言尤为重要。其基本思想是横向对比每一主观题的分数，在统计该题所有得分后，其分值的分布应符合正态分布；系统自动标记出得分偏差较高的答案，以供人工复核之用。即，找出答题得分特别高或者特别低的答案，提示教师进行二次阅卷，提高准确度。
4 系统应用的前景与展望
越来越多的各类考试，开始摆脱传统的纸质模式，向无纸化网络化转变，以适应时代的发展及考试本身的需求。一些考试系统在各类院校特别是高职院校中获得了一致的好评，例如：全国计算机等级考试系统、全国大学生英语四级等级考试系统及西安交大等联合编制的“高等学校工科大学物理课程试题库系统”等。基于web技术的在线考试系统因其成本低、周期短、寿命长、效果好、效率高、公平性高的等优点，具有较大的发展空间和良好的应用前景。
相信在不久的将来，功能更加强大、算法更加完善、界面更加友好的web在线考试系统将悄然出现在我们身边，发挥着越来越重要的、无法忽视的作用。
参考文献：
[1]李少芳，车艳近.似串匹配算法在自动评分系统中的应用[J].东莞理工学院学报，2008，15（3）：25-28.
[2]郭扉扉，尹文生.改进型单向贴近度主观题自动评分算法的研究[J].计算机工程与科学，2011，33（7）：172-177.
[3]程传鹏，齐晖.文本相似度计算在主观题评分中的应用[J].计算机工程，2012，38（5）：288-290.
作者简介：玉泉，男，广西南宁人，讲师，学士，研究方向为：计算机网络、教学系统的计算机应用。
关键词：在线考试系统；RIA；物种入侵动态遗传；文本相似度；单向贴近度
中图分类号：TP311.52
1 现状及分析
在线考试系统在高职院校的应用与推广，必须针对高职院校的课程进行分析。根据其特点，高职院校课程可分三类：第一类是纯理论知识概念型，非常适合使用在线考试系统进行测试。第二类是知识技能型，并不完全适合使用在线考试系统进行测试，考试系统无法针对实际操作进行评分。第三类是纯操作的实践、实训课程，系统不便模拟实际操作，不适用。总体看来，在线考试系统还是能够应用在高职院校的大部分课程中的，有着较好的应用前景。
在高职院校，传统的纸质考试做法已经沿袭多年，同时它的弊病也越发凸显。首先，试卷涵盖知识点难以做到客观全面，对学生的评价具有导向性，缺乏对学生综合素质的客观评价。其次，对于教师而言，出题与阅卷是一个漫长而痛苦的过程。为保证公平性，在同一考试中往往会出现多套试卷，这显然意味着更大的工作量。而在有限的试卷中，考生较易掌握出题规律或者试题，大大缩短了试卷寿命。再次，因为试卷内容相同或者相似，学生作弊成本低，考试公平性低。总之，传统试卷组卷成本高、周期长、寿命短、效果差、效率低、公平性也低。
为了解决传统考试的弊端，早在上世纪六十年代便有学者开始研究计算机考试系统，经过几十年发展，基于web技术的在线考试系统应用最为广泛、发展前景最为宽广。
2 在线考试系统的设计
2.1 系统结构的设计与优化。基于web在线考试系统的基本架构大都为B/S型或者C/S型；简而言之就是由在线考试系统的服务器端进行数据管理，使用终端机上的考试系统客户端或者浏览器进行答题。在服务器端，教师通过对具体课程试题库的管理，来实现考试系统自动组卷。首先，通过使用随机算法、遗传算法等由系统在题库中自动组卷。随后，学生在终端的客户端/浏览器上进行答题。结束后，客户端/浏览器将结果上传服务端，进行自动评分，统计考试成绩。
客观题的答案简单，自动评分易实现。主观题由于自然语言的复杂性，答案语意纷繁、内容复杂、不确定性大；服务器端主观题自动评分算法繁杂低效、计算量巨大。在大规模测试当中，主观题的自动评分对系统服务器硬件配置要求高、负载压力大，大大限制了在线考试系统的应用于推广。
在以往的架构当中，系统越完善功能越强大，其运算量也呈几何倍数增长；制约了系统的发展。而在web架构中采用基于RIA（Rich Internet Applications）富互联网应用技术，便可使问题迎刃而解。
RIA是新一代网络应用程序，最突出的特点为“Rich”，同时RIA最核心的部分也体现在“Rich”中。“Rich”包含了两层含义。丰富的数据模型、丰富的界面元素。
将RIA应用到在线考试系统中简单讲便是将系统中由原本的服务器完成的大部分运算量，调整成为由所有参与考试的客户端完成，大大降低服务器的负载，整体提高系统的稳定性与适用性。在考试的过程中，先由教师进行组卷、分发，学生答卷后，由客户端进行自动评分，并最终上传学生答案和成绩。从而大幅度降低服务器的运算量，减少了评分时间，优化了系统架构。
2.2 系统界面的设计与优化。在线考试系统的界面设计应友好、人性化。学生在登陆系统后，能快速、准确的找到所需试题。界面经过优化后，应能增加学生的作弊成本。例如：系统自动组卷后，不仅卷卷不同，而且系统界面中每次只显示3-4道试题，完成答题并确认后，才能显示新的题目。如此一来，在不同的试卷中寻找相同的试题需要时间大幅增加，加大了学生的作弊成本。最终，学生将自动放弃偷窥试题。
3 系统实现中的难点
目前，web在线考试系统实现过程中，还普遍存在着一些难点；主要集中在系统自动组卷、主观题自动评分这两个方面。首先，由于题库中试题数量有限，应如何组卷，使得试卷既有较低的重复率又能把握考试重点？其次，由于自然语言的复杂性，主观题中自动评分功能的算法及实现一直都困扰着研究者们，其结果仍然无法做到“令人满意、取代人工阅卷”。
3.1 遗传法自动组卷。在国内外关于自动组卷的研究中，算法策略大致分为如下几种：基于随机搜索、基于深度及广度搜索、基于项目反应理论、基于数据挖掘与知识发现、基于遗传算法。相较前面几种而言，遗传算法具有操作简单、收敛速度快及鲁棒性强等特点，非常适合用来解决组卷问题，获得了研究者们的广泛认可。
同时，遗传法研究也取得了一定成果，例如：Gordberg M.W的寻优模型、戴文华等提出的十进制编码、陈志等提出的启发式遗传算法、赵苓提出的物种入侵的动态遗传算法SIDGA、葛宇等提出的免疫遗传算法等。其中，物种入侵的动态遗传算法SIDGA的观点较为新颖，在实验应用中也获得了较好的结果。
物种入侵的动态遗传算法SIDGA的核心思想：在传统的遗传法流程中，加入模拟生物物种入侵概念，保持种群多样性，控制收敛速度。其较好地解决了传统法中收敛过快的问题。
其步骤如下：
Step1：确定组卷的题型、数量、分值、难度等基本要求，并用非负的适应度函数表示，并确定选择策略；
Step2：選定一种较好的编码策略，并对所求问题的可行域中的所有可行解进行编码；
Step3：按照一定的种群初始化方式，产生一定个体数量的个体作为算法的初始种群；
Step4：按照所设定的适应度函数，计算出群体中全部个体的适应度；
Step5：按照个体的适应度，结合算法所选用的终止条件，判断是否达到收敛准则，如果达到，则输出最优解即组卷完成，否则转Step4； Step6：按照算法选用的选择策略对当代群体中的个体进行选择操作；
Step7：依据设置好的入侵条件判断是否满足入侵操作条件，如满足，则转Step8，否则转Step10；
Step8：随机生成m个个体替换掉当前群体中较差的m个个体；其中，m=种群规模M×入侵率rP；
Step9：计算刚加入群体中的m个个体的个体适应度；
Step10：用交叉率进行交叉操作；
Step11：用式变异率进行变异操作；返回Step4。
3.2 主观题自动评分。在主观题自动评分中，涉及人工智能、自然语言、识别模式等领域，所以一直限制着考试系统的发展。目前，国外典型的系统是英国诺丁汉大学开发的Course Master；国内也有一些成果，李阳明等提出基于模糊理论的算法，李少芳等提出似串匹配算法，程传鹏等提出文本相似度算法，郭扉扉、尹文生提出改进型单向贴近度算法。在这些算法中文本相似度算法和改进型单向贴近度算法具有比较明显的优势，但是也依然避免不了它的一些局限性。
所谓文本相似度算法：就是先计算学生答案和标准答案特征值的相似度，这部分的实现主要是基于哈工大的《同义词词林》进行的。然后用二部图匈牙利算法构造学生答案和标准答案特征值相似度的完备二部图的最大权匹配，在此基础上计算学生的最终分数。
具体步骤如下：
Step1：把标准答案按词条切分，以集合A的形式保存；同理，把学生答案切分为集合B。
Step2：参考二部图匈牙利算法，把集合A看作二部图的子集X，集合B看作二部图的子集Y。
Step3：针对标准答案中的每个特征字，在学生答案中查找是否有意思相近的，并计算它们的相似度。即根据文献[3]第二部分所描述的方法，计算A每个顶点和B每个顶点的相似度Sim（ai，bi）。
Step4：用二部图匈牙利算法将A集合的顶点，B集合的顶点和上文的相似度Sim（ai，bi）构造成学生答案和标准答案特征字相似度的完备加权二部图，并求此二部图的最大权匹配M。
Step5：根据上文的最大权匹配M，使用文献[3]3.2中的公式，依次带入相似度值和权重便可算出学生答案和标准答案的相似度。再将此相似度和试题满分相乘，即可得到学生的分数。
此算法直接以相似度计算答案得分，为自动评分算法提供了很好的参考。但是，此算法缺点也比较明显。一是计算量大，二是由于自然语义的复杂性，在文本相似度高的情况下依然存在语义不同的现象。即此算法无法计算、考察答案中的逻辑语义。
所谓改进型单项贴近度算法：就是先根据标准答案遍历学生答案，计算标准答案中每个词串和学生答案的单项贴近度值，在此基础上计算出学生的分数。
具体步骤如下：
Step1：将标准答案划分为词串集合Keys，集合中的元素是标准答案的关键字。
Step2：用文献[3]第二部分的算法，为集合Keys中的每个词串遍历学生答案，查找出学生答案中相似的词串，并依次计算出它们的单项贴近度。以集合形式保存。
Step3：根據实际情况对上文的单项贴近度值进行调整，如调整阈值等。
Step4：参照评分标准，为标准答案的每个词串分配相应的分数。最后将每个词串的单项贴近度值和它对应的分数相乘，再将所得结果相加，即可得到学生的分数。
此算法相较文本相识度算法更加简单有效，且计算量更小。其基于语义脉络的单向贴近度字符串匹配算法，既考虑了以句子为单元的结构信息，同时加入同义词的语义信息，并运用动态规划算法，按照字符串顺序进行匹配，使算法较符合人工卷思维。但是，其同样也存在着一些缺陷，如：没有考虑较复杂的语法等逻辑语义，对于逻辑性较强的文本可能结果不准确。
3.3 主观题评分自动纠正提示。由于现存主观题自动评分算法的缺陷性，能够对自动评分进行纠正提示对在线考试系统而言尤为重要。其基本思想是横向对比每一主观题的分数，在统计该题所有得分后，其分值的分布应符合正态分布；系统自动标记出得分偏差较高的答案，以供人工复核之用。即，找出答题得分特别高或者特别低的答案，提示教师进行二次阅卷，提高准确度。
4 系统应用的前景与展望
越来越多的各类考试，开始摆脱传统的纸质模式，向无纸化网络化转变，以适应时代的发展及考试本身的需求。一些考试系统在各类院校特别是高职院校中获得了一致的好评，例如：全国计算机等级考试系统、全国大学生英语四级等级考试系统及西安交大等联合编制的“高等学校工科大学物理课程试题库系统”等。基于web技术的在线考试系统因其成本低、周期短、寿命长、效果好、效率高、公平性高的等优点，具有较大的发展空间和良好的应用前景。
相信在不久的将来，功能更加强大、算法更加完善、界面更加友好的web在线考试系统将悄然出现在我们身边，发挥着越来越重要的、无法忽视的作用。
参考文献：
[1]李少芳，车艳近.似串匹配算法在自动评分系统中的应用[J].东莞理工学院学报，2008，15（3）：25-28.
[2]郭扉扉，尹文生.改进型单向贴近度主观题自动评分算法的研究[J].计算机工程与科学，2011，33（7）：172-177.
[3]程传鹏，齐晖.文本相似度计算在主观题评分中的应用[J].计算机工程，2012，38（5）：288-290.
作者简介：玉泉，男，广西南宁人，讲师，学士，研究方向为：计算机网络、教学系统的计算机应用。