论文部分内容阅读
近些年,智慧教育飞速发展。2019年底爆发的全球新冠病毒肺炎疫情迫使许多学校利用线上学习平台代替传统的面对面授课模式,从而进一步加快了智慧教育发展。智慧教育是指利用计算机、网络、信息数据、多媒体和人工智能等现代信息技术促进传统教学方式的变革发展。智慧教育在应对突发事件方面及未来教育体系发展过程具有重要作用。目前,智慧教育要解决的关键问题是个性化学习问题,就是期望按照不同学生的学习特征及需求采用合适的学习方式,达到因材施教的目的。而知识追踪又是促进个性化学习发展的关键。知识追踪能够根据学生以往的在线学习记录,对学生与知识载体(如习题)的交互过程进行建模,从而追踪不同学生在学习过程中知识状态的动态变化情况,预测学生在未来学习活动中的表现。近些年来,随着深度学习技术的发展,深度学习技术也被引入到了知识追踪领域,提出了深度知识追踪(DKT)模型。相较传统的知识追踪模型,DKT解决了人工标注的局限,是未来知识追踪的发展趋势。然而,现有的DKT模型在预测学生知识掌握情况方面存在着挑战:首先,影响学生知识掌握情况变化的因素是复杂多样的,而目前DKT的单一表征能力不足以准确判断学生的知识状态;其次,学生知识状态的变化过程应该是较为稳定的,而目前DKT模型的预测结果容易出现波动现象;最后,为了进一步提高模型预测的准确性,如何通过强化深层次特征提取能力来使特征表达的更充分也是DKT的一个重要研究问题。为了解决上述DKT存在的问题挑战,本文围绕用于智慧教育的深度知识追踪模型展开研究,创新地提出了DKT模型的三个有效改进方案。首先,为了解决DKT的单特征表达问题,提出了基于时空特征融合的深度知识追踪。其次,为了提高DKT模型预测结果的稳定性,提出了深度知识追踪模型的正则化和参数选择方法。最后,为了使DKT模型更加充分的挖掘学生学习表征,提出了基于深度学习表征的深度知识追踪。在公开的教育数据集ASSISTments2009上,验证了上述改进方案的有效性。具体来讲,本文具有如下贡献:第一,本文提出了基于时空特征融合的深度知识追踪方法。作为评估知识追踪模型性能的重要指标,DKT在预测学生未来答题表现时的准确性受到重点关注。传统的深度知识追踪模型忽略了影响学生知识状态变化过程的多方面因素,要么只考虑了学生知识状态随着练习的时序变化因素对学生未来答题表现的影响,要么只考虑了学生个性化学习能力对学生未来答题表现的影响。这些单特征表达的深度知识追踪模型缺乏对影响学习表现信息的多方面考虑,这导致模型在分析学生知识状态时不够准确。为了解决单特征导致模型预测不准的问题,本文创新地融合了知识状态时序变化表现在答题序列上的时间特征和个人学习能力变化表现在答题序列上的空间特征,提出了基于时空特征融合的深度知识追踪模型,简记为DKT-TSFF。DKT-TSFF模型能够通过提取学生答题历史表现中的时间特征和空间特征,引入对学生的知识状态的时序变化和个性化学习能力的分析能力。具体来讲,DKT-TSFF模型采用CNN提取学生答题历史记录的空间特征,采用BiLSTM提取学生答题历史记录的时间特征,并采用注意力机制对二者并行提取到的特征进行融合分析,得到最终的预测结果。对于CNN提取学生答题历史记录的空间特征部分,该模型采用了CKT模型,并作了少量调整以适应后面的注意力层。CKT模型通过CNN等技术从学生的历史答题记录中提取了学生已掌握的知识情况和学习效率等个性化信息,能够很好地根据学生阶段的答题表现分析学生个性化学习能力特征。对于用BiLSTM提取学生答题历史记录的时间特征部分,由于将原始的DKT模型的LSTM结构替换为BiLSTM结构,使得模型在分析每一个时间步的答题表现时能够结合以前和未来的答题表现信息。相较原始的DKT模型,BiLSTM可参考的信息更多。所以模型的预测能力得到增强。在得到学生答题表现的空间特征和时间特征后,利用注意力机制对空间特征和时间特征整合,使对最终的答题表现有重要作用的部分参与到输出的构建过程中,并根据它们对对应时间步上答题结果的贡献分配相应权重,获得注意力值。通过这种方式,输出的最终的预测序列是去除了无关特征干扰的更加准确全面的预测结果。在公开的ASSISTments2009数据集上,实验对比了DKT-TSFF与基于LSTM的DKT在ACC,AUC,r2和RMSE指标上的表现。结果表明:DKT-TSFF的这些指标都优于基于LSTM的DKT。DKT-TSFF较基线DKT模型,ACC,AUC,r2分别提升了 3.98%,13.15%,30.4%,RMSE降低了9.8%。因此,DKT-TSFF的预测性能优于基于LSTM的DKT。基于时空特征融合的深度知识追踪模型对于提高DKT模型的预测精度是有效的。第二,本文提出了深度知识追踪模型的正则化和参数选择方法。深度知识追踪期望通过深度学习网络学习学生知识状态变化的普遍规律,然而在学生答题表现的历史记录中不可避免的存在一些个例。传统的深度知识追踪模型和DKT-TSFF模型的参数较多不容易控制参数调整范围,难以控制对数据集中个例的拟合程度,导致预测结果存在波动现象,不符合实际情况。而且,DKT-TSFF模型未深入考虑时间特征和空间特征提取部分对最终预测结果影响的差异,存在较多干扰因素,导致模型收敛速度较慢,预测精度不足。为了解决参数调整范围不合理导致模型预测结果波动及不够准确的问题,本文创新地通过正则化和个性化参数选择控制模型部分参数调整范围,提出了深度知识追踪模型的正则化和参数选择方法。基于该方法改进的DKT-TSFF模型,简记为DKT-TSFF-RPS。DKT-TSFF-RPS模型能够通过正则化和个性化的参数选择,控制模型参数调整范围。具体来讲,基于DKT-TSFF模型原来的交叉熵损失函数,引入了L1正则化和L2正则化范数。通过正则化限制参数调整范围,使连续的两个时间步的预测结果不易产生较大的差距。从而,缓解了预测结果的波动现象。另外,将时间特征和空间特征的损失也引入到DKT-TSFF模型的目标函数,并对二者的损失分别配以个性化的系数。从而,使得在优化模型时,能够分别考虑到时间特征和空间特征对最终预测结果的影响比重,控制对时间特征和空间特征提取部分参数的优化方向。因此,同时引入L1范数、L2范数和时空特征个性化损失的目标函数使得DKT-TSFF模型的参数的优化范围更加合理。所以,深度知识追踪模型的正则化和参数选择方法能够提高DKT-TSFF模型的预测精度和稳定性。同样,在ASSISTments2009数据集上,实验对比了DKT-TSFF-RPS与基于LSTM的DKT和DKT-TSFF在ACC,AUC,r2和RMSE指标上的表现。结果表明:DKT-TSFF-RPS的这些指标都优于基于LSTM的DKT和DKT-TSFF。DKT-TSFF-RPS 较基于LSTM的DKT模型,ACC,AUC,r2分别提升了22.02%,17.97%,44.92%,RMSE降低了 16.04%。DKT-TSFF-RPS较DKT-TSFF模型,ACC,AUC,r2分别提升了18.04%,4.82%,14.52%,RMSE降低了6.24%。因此,DKT-TSFF-RPS的预测性能优于基于LSTM的DKT和DKT-TSFF。DKT-TSFF-RPS预测精度的提高反映了模型更加贴近实际情况,这从侧面也反映了预测结果的稳定性具有一定程度的提升。所以,深度知识追踪模型的正则化和参数选择方法对于改进模型预测精度和稳定性是有效的。第三,本文提出了基于深度学习表征的深度知识追踪方法。深度知识追踪期望挖掘学生知识状态变化的本质规律。知识状态随练习变化的时序特征与个人学习能力变化特征是有关联的。然而,传统的深度知识追踪单独考虑知识状态随练习变化的时序特征或个人学习能力变化特征,DKT-TSFF或DKT-TSFF-RPS也不够深入挖掘这两个特征变化规律的联系。因此,这些模型在特征的充分表达方面存在进一步改进的空间,从而进一步提升模型的预测精度。为了充分表征学生学习过程,从知识状态随练习变化的时序特征与个人学习能力变化特征的关联性角度深层提取学生学习过程背后的本质规律,本文创新地基于学生的历史答题表现的空间特征提取时序特征,提出了基于深度学习表征的深度知识追踪模型。按照中间特征处理方式的不同,DKT-DLR模型又可分为基于学生个性化的阶段学习特征提取时序特征的DKT-DLR(DKT-DLR1)和基于联合的学习特征提取时序特征的DKT-DLR(DKT-DLR2)。具体来讲,DKT-DLR1首先改变CKT模型的结构,利用CNN提取学生答题历史的空间特征信息。然后,将这一步提取得到的学生当前个性化的学习能力特征信息作为中间特征,向量化后输入到BiLSTM部分,进一步提取学生时序的学习特征,得到对下一时间步学生答题表现的预测结果。在DKT-DLR1模型验证结果不理想后,分析了可能存在的原因。由于BiLSTM部分得到的输入信息是经过CNN学习到的特征信息,对比直接基于原始特征的基线DKT模型,DKT-DLR1模型从来源数据方面就造成了偏差。因此,DKT-DLR1模型无法得到比基线DKT模型更好的预测效果。为了解决DKT-DLR1模型的中间特征信息损失问题,提出了DKT-DLR2模型。DKT-DLR2同样先利用CNN提取学生答题历史的空间特征信息。与DKT-DLR1不同的是,将空间特征与原始的数据特征连接,作为一个联合学习特征输入到BiLSTM部分。这样,在得到预测结果时,就是在原来的答题表现基础上考虑到学生每一时段的个性化学习能力,按照时序特征变化规律对学生下一时间步的答题表现作出的判断。通过如此综合分析得到的信息应该是更加准确的。在公开的ASSISTments2009数据集上,实验对比了基线DKT,基于LSTM结构的DKT-DLR1,(基于BiLSTM结构的)DKT-DLR1,DKT-TSFF-RPS和DKT-DLR2在ACC,AUC,r2和RMSE指标上的表现。结果表明:基于LSTM结构的DKT-DLR1和DKT-DLR1的这些指标都弱于基线DKT,且基于LSTM结构的DKT-DLR1弱于DKT-DLR1。DKT-DLR2优于基于LSTM的DKT和DKT-TSFF-RPS。DKT-DLR2较基于LSTM的DKT模型,ACC,AUC,r2分别提升了 22.71%,18.09%,68.39%,RMSE降低了35.18%。DKT-DLR2较DKT-TSFF-RPS模型,ACC,AUC,r2分别提升了 0.69%,0.12%,23.47%,RMSE降低了 19.14%。因此,DKT-DLR2的预测性能优于基于LSTM的DKT和DKT-TSFF-RPS。基于深度学习表征的深度知识追踪模型对于提高基线DKT和DKT-TSFF-RPS模型的预测精度都是有效的。最后总结,通过上述研究方式对DKT模型的不断改进,本文创新地提出了3个优于基线DKT模型的新的深度知识追踪模型,并通过实验验证了它们的有效性。因此,本文的研究对于智慧教育的发展具有一定意义。