Deep Knowledge Tracing Model for Intelligent Education

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:jaslxj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,智慧教育飞速发展。2019年底爆发的全球新冠病毒肺炎疫情迫使许多学校利用线上学习平台代替传统的面对面授课模式,从而进一步加快了智慧教育发展。智慧教育是指利用计算机、网络、信息数据、多媒体和人工智能等现代信息技术促进传统教学方式的变革发展。智慧教育在应对突发事件方面及未来教育体系发展过程具有重要作用。目前,智慧教育要解决的关键问题是个性化学习问题,就是期望按照不同学生的学习特征及需求采用合适的学习方式,达到因材施教的目的。而知识追踪又是促进个性化学习发展的关键。知识追踪能够根据学生以往的在线学习记录,对学生与知识载体(如习题)的交互过程进行建模,从而追踪不同学生在学习过程中知识状态的动态变化情况,预测学生在未来学习活动中的表现。近些年来,随着深度学习技术的发展,深度学习技术也被引入到了知识追踪领域,提出了深度知识追踪(DKT)模型。相较传统的知识追踪模型,DKT解决了人工标注的局限,是未来知识追踪的发展趋势。然而,现有的DKT模型在预测学生知识掌握情况方面存在着挑战:首先,影响学生知识掌握情况变化的因素是复杂多样的,而目前DKT的单一表征能力不足以准确判断学生的知识状态;其次,学生知识状态的变化过程应该是较为稳定的,而目前DKT模型的预测结果容易出现波动现象;最后,为了进一步提高模型预测的准确性,如何通过强化深层次特征提取能力来使特征表达的更充分也是DKT的一个重要研究问题。为了解决上述DKT存在的问题挑战,本文围绕用于智慧教育的深度知识追踪模型展开研究,创新地提出了DKT模型的三个有效改进方案。首先,为了解决DKT的单特征表达问题,提出了基于时空特征融合的深度知识追踪。其次,为了提高DKT模型预测结果的稳定性,提出了深度知识追踪模型的正则化和参数选择方法。最后,为了使DKT模型更加充分的挖掘学生学习表征,提出了基于深度学习表征的深度知识追踪。在公开的教育数据集ASSISTments2009上,验证了上述改进方案的有效性。具体来讲,本文具有如下贡献:第一,本文提出了基于时空特征融合的深度知识追踪方法。作为评估知识追踪模型性能的重要指标,DKT在预测学生未来答题表现时的准确性受到重点关注。传统的深度知识追踪模型忽略了影响学生知识状态变化过程的多方面因素,要么只考虑了学生知识状态随着练习的时序变化因素对学生未来答题表现的影响,要么只考虑了学生个性化学习能力对学生未来答题表现的影响。这些单特征表达的深度知识追踪模型缺乏对影响学习表现信息的多方面考虑,这导致模型在分析学生知识状态时不够准确。为了解决单特征导致模型预测不准的问题,本文创新地融合了知识状态时序变化表现在答题序列上的时间特征和个人学习能力变化表现在答题序列上的空间特征,提出了基于时空特征融合的深度知识追踪模型,简记为DKT-TSFF。DKT-TSFF模型能够通过提取学生答题历史表现中的时间特征和空间特征,引入对学生的知识状态的时序变化和个性化学习能力的分析能力。具体来讲,DKT-TSFF模型采用CNN提取学生答题历史记录的空间特征,采用BiLSTM提取学生答题历史记录的时间特征,并采用注意力机制对二者并行提取到的特征进行融合分析,得到最终的预测结果。对于CNN提取学生答题历史记录的空间特征部分,该模型采用了CKT模型,并作了少量调整以适应后面的注意力层。CKT模型通过CNN等技术从学生的历史答题记录中提取了学生已掌握的知识情况和学习效率等个性化信息,能够很好地根据学生阶段的答题表现分析学生个性化学习能力特征。对于用BiLSTM提取学生答题历史记录的时间特征部分,由于将原始的DKT模型的LSTM结构替换为BiLSTM结构,使得模型在分析每一个时间步的答题表现时能够结合以前和未来的答题表现信息。相较原始的DKT模型,BiLSTM可参考的信息更多。所以模型的预测能力得到增强。在得到学生答题表现的空间特征和时间特征后,利用注意力机制对空间特征和时间特征整合,使对最终的答题表现有重要作用的部分参与到输出的构建过程中,并根据它们对对应时间步上答题结果的贡献分配相应权重,获得注意力值。通过这种方式,输出的最终的预测序列是去除了无关特征干扰的更加准确全面的预测结果。在公开的ASSISTments2009数据集上,实验对比了DKT-TSFF与基于LSTM的DKT在ACC,AUC,r2和RMSE指标上的表现。结果表明:DKT-TSFF的这些指标都优于基于LSTM的DKT。DKT-TSFF较基线DKT模型,ACC,AUC,r2分别提升了 3.98%,13.15%,30.4%,RMSE降低了9.8%。因此,DKT-TSFF的预测性能优于基于LSTM的DKT。基于时空特征融合的深度知识追踪模型对于提高DKT模型的预测精度是有效的。第二,本文提出了深度知识追踪模型的正则化和参数选择方法。深度知识追踪期望通过深度学习网络学习学生知识状态变化的普遍规律,然而在学生答题表现的历史记录中不可避免的存在一些个例。传统的深度知识追踪模型和DKT-TSFF模型的参数较多不容易控制参数调整范围,难以控制对数据集中个例的拟合程度,导致预测结果存在波动现象,不符合实际情况。而且,DKT-TSFF模型未深入考虑时间特征和空间特征提取部分对最终预测结果影响的差异,存在较多干扰因素,导致模型收敛速度较慢,预测精度不足。为了解决参数调整范围不合理导致模型预测结果波动及不够准确的问题,本文创新地通过正则化和个性化参数选择控制模型部分参数调整范围,提出了深度知识追踪模型的正则化和参数选择方法。基于该方法改进的DKT-TSFF模型,简记为DKT-TSFF-RPS。DKT-TSFF-RPS模型能够通过正则化和个性化的参数选择,控制模型参数调整范围。具体来讲,基于DKT-TSFF模型原来的交叉熵损失函数,引入了L1正则化和L2正则化范数。通过正则化限制参数调整范围,使连续的两个时间步的预测结果不易产生较大的差距。从而,缓解了预测结果的波动现象。另外,将时间特征和空间特征的损失也引入到DKT-TSFF模型的目标函数,并对二者的损失分别配以个性化的系数。从而,使得在优化模型时,能够分别考虑到时间特征和空间特征对最终预测结果的影响比重,控制对时间特征和空间特征提取部分参数的优化方向。因此,同时引入L1范数、L2范数和时空特征个性化损失的目标函数使得DKT-TSFF模型的参数的优化范围更加合理。所以,深度知识追踪模型的正则化和参数选择方法能够提高DKT-TSFF模型的预测精度和稳定性。同样,在ASSISTments2009数据集上,实验对比了DKT-TSFF-RPS与基于LSTM的DKT和DKT-TSFF在ACC,AUC,r2和RMSE指标上的表现。结果表明:DKT-TSFF-RPS的这些指标都优于基于LSTM的DKT和DKT-TSFF。DKT-TSFF-RPS 较基于LSTM的DKT模型,ACC,AUC,r2分别提升了22.02%,17.97%,44.92%,RMSE降低了 16.04%。DKT-TSFF-RPS较DKT-TSFF模型,ACC,AUC,r2分别提升了18.04%,4.82%,14.52%,RMSE降低了6.24%。因此,DKT-TSFF-RPS的预测性能优于基于LSTM的DKT和DKT-TSFF。DKT-TSFF-RPS预测精度的提高反映了模型更加贴近实际情况,这从侧面也反映了预测结果的稳定性具有一定程度的提升。所以,深度知识追踪模型的正则化和参数选择方法对于改进模型预测精度和稳定性是有效的。第三,本文提出了基于深度学习表征的深度知识追踪方法。深度知识追踪期望挖掘学生知识状态变化的本质规律。知识状态随练习变化的时序特征与个人学习能力变化特征是有关联的。然而,传统的深度知识追踪单独考虑知识状态随练习变化的时序特征或个人学习能力变化特征,DKT-TSFF或DKT-TSFF-RPS也不够深入挖掘这两个特征变化规律的联系。因此,这些模型在特征的充分表达方面存在进一步改进的空间,从而进一步提升模型的预测精度。为了充分表征学生学习过程,从知识状态随练习变化的时序特征与个人学习能力变化特征的关联性角度深层提取学生学习过程背后的本质规律,本文创新地基于学生的历史答题表现的空间特征提取时序特征,提出了基于深度学习表征的深度知识追踪模型。按照中间特征处理方式的不同,DKT-DLR模型又可分为基于学生个性化的阶段学习特征提取时序特征的DKT-DLR(DKT-DLR1)和基于联合的学习特征提取时序特征的DKT-DLR(DKT-DLR2)。具体来讲,DKT-DLR1首先改变CKT模型的结构,利用CNN提取学生答题历史的空间特征信息。然后,将这一步提取得到的学生当前个性化的学习能力特征信息作为中间特征,向量化后输入到BiLSTM部分,进一步提取学生时序的学习特征,得到对下一时间步学生答题表现的预测结果。在DKT-DLR1模型验证结果不理想后,分析了可能存在的原因。由于BiLSTM部分得到的输入信息是经过CNN学习到的特征信息,对比直接基于原始特征的基线DKT模型,DKT-DLR1模型从来源数据方面就造成了偏差。因此,DKT-DLR1模型无法得到比基线DKT模型更好的预测效果。为了解决DKT-DLR1模型的中间特征信息损失问题,提出了DKT-DLR2模型。DKT-DLR2同样先利用CNN提取学生答题历史的空间特征信息。与DKT-DLR1不同的是,将空间特征与原始的数据特征连接,作为一个联合学习特征输入到BiLSTM部分。这样,在得到预测结果时,就是在原来的答题表现基础上考虑到学生每一时段的个性化学习能力,按照时序特征变化规律对学生下一时间步的答题表现作出的判断。通过如此综合分析得到的信息应该是更加准确的。在公开的ASSISTments2009数据集上,实验对比了基线DKT,基于LSTM结构的DKT-DLR1,(基于BiLSTM结构的)DKT-DLR1,DKT-TSFF-RPS和DKT-DLR2在ACC,AUC,r2和RMSE指标上的表现。结果表明:基于LSTM结构的DKT-DLR1和DKT-DLR1的这些指标都弱于基线DKT,且基于LSTM结构的DKT-DLR1弱于DKT-DLR1。DKT-DLR2优于基于LSTM的DKT和DKT-TSFF-RPS。DKT-DLR2较基于LSTM的DKT模型,ACC,AUC,r2分别提升了 22.71%,18.09%,68.39%,RMSE降低了35.18%。DKT-DLR2较DKT-TSFF-RPS模型,ACC,AUC,r2分别提升了 0.69%,0.12%,23.47%,RMSE降低了 19.14%。因此,DKT-DLR2的预测性能优于基于LSTM的DKT和DKT-TSFF-RPS。基于深度学习表征的深度知识追踪模型对于提高基线DKT和DKT-TSFF-RPS模型的预测精度都是有效的。最后总结,通过上述研究方式对DKT模型的不断改进,本文创新地提出了3个优于基线DKT模型的新的深度知识追踪模型,并通过实验验证了它们的有效性。因此,本文的研究对于智慧教育的发展具有一定意义。
其他文献
无线光通信由于其安全性高、协议透明、设备尺寸小、信息容量大、抗电磁干扰等优点备受关注,无线光通信的一种应用便是通过光互连在设备间传输。光互连作为取代电互连的一种方式已得到广泛发展。本文创新性地提出了一种板间光互连方式,即在甚短距离内将无线光通信应用到穿透硅晶圆的高速数据传输,这种互连方式在一些特定情形下将具有非常大的实际意义,比如在一些复杂的堆叠条件和拓扑架构中必须穿透硅晶圆通过光互连进行传输。本
生物炭作为一种生物质热解的副产物,被广泛用于催化生物质热解以提高生物油的品质。但由于生物炭的多种特性使得其对生物质热解的催化过程变得复杂,现在的研究还未具体揭示生物炭各特性对催化热解的作用。本研究对生物炭的比表面积、活性官能团和其中碱及碱土金属在催化热解中的作用进行了深入研究,较为全面的揭示了生物炭在生物质催化热解中的催化机理。研究内容如下:竹屑在不同的氨气氛围下(0vol.%、5vol.%、10
液晶弹性体(Liquid Crystal Elastomers,LCEs)因其大且可逆的变形、响应速率快、优异的力学性能、各向异性以及驱动条件简单灵活等特点被人们认为具有广泛的应用潜力,迅速吸引了人们的研究兴趣。然而,目前液晶弹性体的应用仍然面临着制备技术不成熟、成形技术有限以及材料变形模式简单等问题。墨水直写打印技术(Direct Ink Writing,DIW)作为一种3D打印技术,不仅仅可以
随着煤矿开采深度的增加,构造应力复杂多变,导致深部软岩巷道的围岩控制问题尤为突出。因此,研究构造应力区松软围岩巷道的变形破坏特征、围岩变形机理及围岩控制技术是非常重要的。本文以糯东煤矿构造应力区松软围岩巷道为研究对象,结合副平硐现有支护方式,利用现场调研及监测、实验室试验、理论分析、数值计算及井下工程试验相结合的方法,研究了构造应力区松软围岩巷道变形破坏规律,并基于应力控制原理,提出了构造应力区松
可靠性分配是系统可靠性设计的重要任务之一,其结果直接影响系统的设计方案。通过可靠性分配,可以从技术、时间、成本等方面分析各部分实现的难易情况,从而使系统不同层次的设计人员明确各自的设计目标,为质量控制和采取改进措施提供依据。由于复杂机械系统失效模式种类多、零部件标准化程度差和寿命分布不同,造成可靠性影响因素多、层次不一、分配难度较大的情况。复杂机械系统设计初期,可靠性分配方法较多,分配主观性太强、
极小模型的计算在人工智能推理系统中是一项必不可少的任务。然而,即使是正CNF(Conjunctive Normal Form)公式,其极小模型的计算和验证都是不易处理的。当前,计算CNF公式极小模型的主要方法之一是通过将CNF公式转换为析取逻辑程序后,用回答集程序(Answer Set Programming,ASP)求解器计算其稳定模型/回答集。针对计算CNF公式的极小模型这一问题,本文提出了几
伴随着电子设备在生活中越来越广泛的应用,电磁波污染问题不可忽视。微波吸收材料就是一类通过耗散入射电磁波,将电磁波转换成别的形式的能量。从而大幅衰减反射波能量,减少电磁污染的一类材料。我们认为,微波吸收材料需要具有轻质,低厚度,高物化稳定性,吸收频带宽,强吸收等优点。石墨烯以及二硫化钼(Mo S2)是一类具有层状二维结构新型纳米材料,拥有良好的化学稳定性以及高比表面积,是一种理想的电介质微波吸收材料
数字贸易作为智能技术和互联网络快速发展、融合的产物,对全球产业链发展至关重要,尤其是在新冠肺炎疫情下,能够提高经济韧性和抗风险能力。东北亚经济圈作为全球重要的经济增长极之一,对中国的对外贸易举足轻重。基于此,选取东北亚经济圈中的中国、日本、韩国、俄罗斯、蒙古五国2001-2020年的数据作为研究样本,用因子分析法构建测度指标体系对数字贸易进行衡量,并将其带入构建的出口随机前沿引力模型,研究结果表明
研究目的初步揭示肝脏I/R过程中线粒体和脂质成分的动态变化,研究UDCA-LPE对肝脏I/R的保护作用及其机制,为肝脏I/R的防治提供新的治疗方向。研究方法1.构建体内体外肝缺血再灌注模型,构建体外肝细胞氧化应激模型。2.通过MDA、SOD、GSH试剂盒,ROS荧光探针、线粒体ROS探针,氧化还原信号通路分子水平检测等方法分析UDCA-LPE预处理对肝I/R过程中氧化应激水平的影响。3.通过电镜,
律师在场权最初产生于美国,发展于英美法系其他国家。二战后,随着世界范围内人权保障运动的兴起,大陆法系许多国家也确立了律师在场权。作为犯罪嫌疑人的一项重要诉讼权利,律师在场权对于制约侦查权,防止违法侦查行为,实现程序公正,保障犯罪嫌疑人的程序性权利和其他合法权益都具有重要意义。由于受历史环境、司法制度和传统诉讼文化的影响,我国刑事诉讼法特别注重发挥公安机关、人民检察院、人民法院在惩罚犯罪中的职权作用