论文部分内容阅读
本研究采用蒙特卡洛模拟研究的方法对计算机自适应测验中项目曝光率算法进行比较分析，纳入比较的项目曝光率算法有三种:随机化法(简称MM法)，限制法(简称RT法)和项目合格方法(简称IE法)，最大信息量选题法中未加入任何控制简称NO法为比较研究基础，分别从均方根误差RMSE、偏差Bias、能力估计值的标准误、测验重叠率、项目曝光率、曝光率的最大观测值和过度曝光项目比例等七种指标来全面地比较分析各个项目曝光率算法的优势及不足，结果发现未能有一种方法能够在所有指标上表现良好。遂本研究变化能力估计方法、允许的最大曝光率值、题库容量、测验长度等四个参数进行模拟研究，以探讨在两参数Logistic模型下这些因素的改变对各种项目曝光率算法的改善情况，得到如下结论: (1)模拟研究一发现NO法、MM法、RT法和IE法四种项目曝光率算法都其优势并有其不足，NO法得到的测验误差最小，但其测验重叠率最高，题库利用率最低;MM得到的题库利用率最高;RT法得到的测验重叠率最低，但测验误差最高;所以若要综合考虑测验误差和题库安全性的控制，IE法的性能最优，但亦不能令人完全满意，因为IE法并未显著提高题库利用率，只能控制高曝光率项目的曝光率，对于低曝光率和零曝光率项目无能为力。另外还能够发现在各种项目曝光率算法中存在的测验精确性和题库安全性之间的权衡关系，即为若其测验精确性高，那么题库安全性就降低，反之亦然。 (2)模拟研究二结果显示期望后验能力估计方法(简称EAPE)不仅在提高测验精确性的优势，也对改善题库安全性有着微弱的影响。综合考虑，推荐使用的能力估计方法是EAPE。 (3)模拟研究三结果显示允许的最大曝光率对RT法和IE法的测验精确性和题库安全性的影响各不相同。综合考虑，比较分析得出IE法取曝光率的最大观测值rmax为0.15相较而言最为合适，而RT法则发现了明显的权衡关系，所以只能取其中间值0.20合适。 (4)模拟研究四结果显示增加题库容量，能降低测验误差，提高题库安全性，却降低了题库的利用率，对于RT法来说，误差降低很大。而对于IE法来说，增大题库容量，则大幅降低题库利用率，以此换来微弱的测验误差和测验重叠率的降低是否合理，需慎重考虑。 (5)模拟研究五得出增加测验长度，测验误差和测验重叠率呈现降低的趋势，而题库利用率增加。对于IE法来说，增加测验长度，降低了测验误差，提高了题库利用率，而测验重叠率的微弱上升的代价是值得的，对于RT法来说，当题库容量为500，测验长度为30时，测验误差和测验重叠率都最低。 (6)模拟研究六结果显示，考虑到测验精确性和测验重叠率，题库容量为1000和测验长度35时，四种曝光率算法都得出了相对最好的指标，但是依然能够发现测验精确性和题库安全性之间的权衡关系。