论文部分内容阅读
摘要：当前，在线测评系统得到广泛应用，选题策略成为发挥系统效能的关键，传统的选题策略存在检验精度不够、试题曝光不均衡，题库安全性差等不足，论文提出一种新的自适应选题策略，先对题库进行基于难度的分区，区内再按区分度二次分层，建立相应选择量模型，通过反馈机制，选出信息量最大的试题。实验表明新策略在保证检测效能的前提下有效地降低了试卷重复率，保证了题库的安全性。
关键词：自适应策略;信息量;随机抽样法
中图分类号：TP393 文献标识码：A
文章编号：1009-3044（2019）32-0007-04
目前，计算机教学中广泛采用在线训练平台与个性化随机测试相结合。测试过程中，如何有效地进行试题选择成为考评检验学生学习效果的关键，然而传统的自适应试题生成策略存在着试题曝光率過高、试卷重复、检验效果不佳等不如人意的地方，影响到系统的有效利用及学生学习效果检验。因此，提出一种改进的选择策略成为在线训练平台的关键。
1经典的试题选择策略
选题策略是计算机自适应测验中最关键的部分。自适应测验过程中，系统会根据使用者的表现从测验题库中选择最合适的项目进行。广泛应用的在线选题策略主要有：最大信息量法和a分层法。
其中a代表了试题的区分度，c用于对不确定因素的估值，称为猜测因子，b用于表示试题的难度。从以上模型提示项目正比于区分度，反比于猜测因子，试题难度越高越能检验使用者的真实能力。最大信息量策略的核心是通过收集使用者的能力信息，然后再在未选择的试题中选择最大信息量试题。此策略过程为收集使用者的相关测试结果，如果初次使用则可以预设定一个能力初值，依能力值对未选择的试题计算信息量，选出最大信息量的试题供测试者使用，再依据使用试题的结果进行反馈，重新估计能力值，按新的能力值再对选定的试题进行排序，选择直到满足结束条件为止。
此策略应用十分广泛，在此基础上，研究者也对策略进行了进一步的改善，主要有极大加权信息量法、最大全局信息量法，贝叶斯法等。此类策略试题区分度与试题信息量成正比，在难度与猜测因子确定的条件下，此策略会优先选择高区分度的试题。实际使用过程中试题的利用率不均衡，过多使用的试题容易过早暴露于后继使用者面前，造成检验结构失真。
1.2 a分层法
a分层策略先对试题按区分度等级进行划分区间。策略对试题的选择过程是：由先验数据估计使用者的能力值（即使用者的能力特征），无先验数据者可以预估一个值;由使用者的检测步数值从对应的分层中选择试题。依据选择的试题难度与使用者能力值的匹配度，并把此匹配度反馈给使用者。由反馈结果再调整选择合适的分层再选出试题。反复循环，直到满足停止条件。a分层可以避免高区分度试题过度选中，有利于较好的检测出使用者的能力。另外，使用过程中，每次要对题库中没使用的试题计算信息量，增加了资源消耗。
a分层策略在进行层次划分时没考虑试题参数之间的相关性，它对试题理想化为每个分层中均会有不同难度的试题供选择，但实际应用中高区分度分层中通常高难度试题较多，高区分度区间中难找到低难度试题，无法保证检测试题的平衡控制，检验精度比最大信息量法差，同时实际使用过程中，由于计算量大，a分层策略效率更低。
2一种新的自适应选题策略
2.1设计思想
选题策略中，信息量能较好地反映出使用者的能力，最大信息量法具有较好的能力检验度，但高区分度的试题过度使用，不利于题库的安全。a分层策略降低了测试精度。随后研究者提出了信息量分层法与渐近信息量法（GMIR）作为改进策略.渐进信息量法和信息量分层法是自适应选题策略的变种。
M表示模型中测试总步数，已经完成的步数用m表示，θm-1对应测试步数为m-1时反映出来的能力得分，a、b、c分别代表试题的区分度、难度和猜测因子。每次使用时总是计算模型左侧值最大的试题作为被选试题提供给使用者。
为了进一步优化使用效果，研究者在a分层基础上提出试题信息量分层，每次试题难度和使用者能力值最吻合的试题被选中。以上的思想均是在测评准确度与选题曝光率上进行改进。
受此启发，新方法基于难度与区分度进行多级分层，信息量（精度）正比于试题区分度，试题难度与使用者能力如果吻合越好，信息量（精度）会越大;对于题库，统计上有如下规律：试题呈现正态分布，在（-3，3）区间内使用者的能力与难度相吻合，信息量最大，测试最准确，但通常试题题库较大，每次匹配会耗费大量时间。因此，使用分层的方式，依据难度进行题库分层，即先按难度进行一级分层以优化选题效率，并有利于使用者的能力值与难度进行匹配，然后再依据区分度进行二次分层，通过二次分层保证试题处于合理的曝光次数下，有效的提升选题测验的精度。
2.2策略设计
新方法在使用过程中先基于难度分层，可记为难度b分层，能使难度均匀分布，二次分层考虑曝光率，解决了题库的安全暴露问题，提高了题库的安全性，同时也保证了低区分度试题的有效利用性。再通过策略模型选择合适的试题。
依托反应理论中定义的选题策略信息量，精度可由信息量体现，自适应选题策略信息量可以用每个试题的信息量与其概率积的累加和表示，如公式（5）。
此模型中项目i的信息量用Ii（2）表示，试题（项目）的￡越大，越有可能被抽中，因子的引入用以调节高区分度试题的曝光率，使其在合理范围内，也让低区分度的试题能合理利用，同时保证了试题形成的检验有效性。
2.3算法实现
使用时先对试题题库进行两级分层，先按难度分层，检验步数设为N，则难度分层数k满足N
关键词：自适应策略;信息量;随机抽样法
中图分类号：TP393 文献标识码：A
文章编号：1009-3044（2019）32-0007-04
目前，计算机教学中广泛采用在线训练平台与个性化随机测试相结合。测试过程中，如何有效地进行试题选择成为考评检验学生学习效果的关键，然而传统的自适应试题生成策略存在着试题曝光率過高、试卷重复、检验效果不佳等不如人意的地方，影响到系统的有效利用及学生学习效果检验。因此，提出一种改进的选择策略成为在线训练平台的关键。
1经典的试题选择策略
选题策略是计算机自适应测验中最关键的部分。自适应测验过程中，系统会根据使用者的表现从测验题库中选择最合适的项目进行。广泛应用的在线选题策略主要有：最大信息量法和a分层法。
其中a代表了试题的区分度，c用于对不确定因素的估值，称为猜测因子，b用于表示试题的难度。从以上模型提示项目正比于区分度，反比于猜测因子，试题难度越高越能检验使用者的真实能力。最大信息量策略的核心是通过收集使用者的能力信息，然后再在未选择的试题中选择最大信息量试题。此策略过程为收集使用者的相关测试结果，如果初次使用则可以预设定一个能力初值，依能力值对未选择的试题计算信息量，选出最大信息量的试题供测试者使用，再依据使用试题的结果进行反馈，重新估计能力值，按新的能力值再对选定的试题进行排序，选择直到满足结束条件为止。
此策略应用十分广泛，在此基础上，研究者也对策略进行了进一步的改善，主要有极大加权信息量法、最大全局信息量法，贝叶斯法等。此类策略试题区分度与试题信息量成正比，在难度与猜测因子确定的条件下，此策略会优先选择高区分度的试题。实际使用过程中试题的利用率不均衡，过多使用的试题容易过早暴露于后继使用者面前，造成检验结构失真。
1.2 a分层法
a分层策略先对试题按区分度等级进行划分区间。策略对试题的选择过程是：由先验数据估计使用者的能力值（即使用者的能力特征），无先验数据者可以预估一个值;由使用者的检测步数值从对应的分层中选择试题。依据选择的试题难度与使用者能力值的匹配度，并把此匹配度反馈给使用者。由反馈结果再调整选择合适的分层再选出试题。反复循环，直到满足停止条件。a分层可以避免高区分度试题过度选中，有利于较好的检测出使用者的能力。另外，使用过程中，每次要对题库中没使用的试题计算信息量，增加了资源消耗。
a分层策略在进行层次划分时没考虑试题参数之间的相关性，它对试题理想化为每个分层中均会有不同难度的试题供选择，但实际应用中高区分度分层中通常高难度试题较多，高区分度区间中难找到低难度试题，无法保证检测试题的平衡控制，检验精度比最大信息量法差，同时实际使用过程中，由于计算量大，a分层策略效率更低。
2一种新的自适应选题策略
2.1设计思想
选题策略中，信息量能较好地反映出使用者的能力，最大信息量法具有较好的能力检验度，但高区分度的试题过度使用，不利于题库的安全。a分层策略降低了测试精度。随后研究者提出了信息量分层法与渐近信息量法（GMIR）作为改进策略.渐进信息量法和信息量分层法是自适应选题策略的变种。
M表示模型中测试总步数，已经完成的步数用m表示，θm-1对应测试步数为m-1时反映出来的能力得分，a、b、c分别代表试题的区分度、难度和猜测因子。每次使用时总是计算模型左侧值最大的试题作为被选试题提供给使用者。
为了进一步优化使用效果，研究者在a分层基础上提出试题信息量分层，每次试题难度和使用者能力值最吻合的试题被选中。以上的思想均是在测评准确度与选题曝光率上进行改进。
受此启发，新方法基于难度与区分度进行多级分层，信息量（精度）正比于试题区分度，试题难度与使用者能力如果吻合越好，信息量（精度）会越大;对于题库，统计上有如下规律：试题呈现正态分布，在（-3，3）区间内使用者的能力与难度相吻合，信息量最大，测试最准确，但通常试题题库较大，每次匹配会耗费大量时间。因此，使用分层的方式，依据难度进行题库分层，即先按难度进行一级分层以优化选题效率，并有利于使用者的能力值与难度进行匹配，然后再依据区分度进行二次分层，通过二次分层保证试题处于合理的曝光次数下，有效的提升选题测验的精度。
2.2策略设计
新方法在使用过程中先基于难度分层，可记为难度b分层，能使难度均匀分布，二次分层考虑曝光率，解决了题库的安全暴露问题，提高了题库的安全性，同时也保证了低区分度试题的有效利用性。再通过策略模型选择合适的试题。
依托反应理论中定义的选题策略信息量，精度可由信息量体现，自适应选题策略信息量可以用每个试题的信息量与其概率积的累加和表示，如公式（5）。
此模型中项目i的信息量用Ii（2）表示，试题（项目）的￡越大，越有可能被抽中，因子的引入用以调节高区分度试题的曝光率，使其在合理范围内，也让低区分度的试题能合理利用，同时保证了试题形成的检验有效性。
2.3算法实现
使用时先对试题题库进行两级分层，先按难度分层，检验步数设为N，则难度分层数k满足N