基于自注意力机制的深度知识追踪模型研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:my163mail12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
知识追踪是教育数据挖掘领域的一个重要研究方向,其任务是从学习者的历史学习轨迹信息中挖掘出潜在的学习规律,并对学习者的知识状态建立随时间变化的模型,然后对其未来的表现进行预测。通过知识追踪,在线平台可以实时掌握学习者的知识点掌握情况,并以此做出个性化的学习资源推荐。同时,对知识状态的进一步分析还可以构建出知识图谱,帮助平台制订更合理的教学计划。深度学习因其强大的特征提取能力而得到了许多研究者的重视,目前的知识追踪方法以基于深度学习的模型为主,尤其是循环神经网络。但长期依赖问题限制了循环神经网络的表现,同时,可解释性差、缺少学习特征也是深度知识追踪领域存在的主要问题,现有的模型主要针对这3个问题进行了改进。在改进的模型中,基于自注意力机制的模型(Transformer)具有很大的优势,它没有长期依赖问题,且注意力机制天然的具有更好的可解释性,但Transformer在知识追踪领域的应用较少,还存在一些问题限制其在知识追踪任务上的应用。首先,Transformer中使用的相对位置编码无法反映学习过程中的遗忘行为,而遗忘行为对学习有十分重要的影响。缺少遗忘行为的建模,模型的预测值就无法准确的反映学习者的知识状态。其次,现有的大部分模型仅使用了(题目,回答)形式的交互对作为输入,对数据集中提供的其他特征信息(如题目类型、答题时间、尝试次数等)没有很好的利用,这在一定程度上影响了模型的性能。针对上述2个问题,本文提出了一种基于时序增强和特征融合的自注意力机制知识追踪模型,具体的研究内容如下:(1)针对相对位置编码无法反映遗忘行为的问题,本文提出了一种时序增强算法。使用时间间隔信息代替相对位置编码,考虑到时间间隔可能存在交叉的情况,使用相邻题目间答题结束时间的差值来计算时间间隔。间隔信息被量化为随时间间隔增大而减小的遗忘因子,使用可以学习的超参数平衡遗忘因子的权重,结合自注意力机制的计算特性,使注意力值随时间间隔增大而减小,以对遗忘行为建模,且有更高的可解释性。在4个公开数据集的实验结果表明,此方法可以有效提高模型的性能,且在数据量增多时有更好的表现。(2)针对缺少学习特征的问题,本文提出了一种融合题目特征的交互嵌入方式。通过人工特征工程的方式,从数据集中提供的丰富学习信息中,手动提取出题目特征并向量化,然后将其添加到以知识点嵌入为基础的交互建模中。将本文提出的时序增强算法和特征融合算法应用于知识追踪任务,在4个公开数据集上的效果均优于4个开源的经典模型,且在部分数据集上有10%左右的性能提升。此外,额外的消融实验表明了两个算法在独立使用时,均能有效提高模型的表现。
其他文献
随着农业信息化的快速发展,农产品质量安全问题得到关注,农业物联网逐渐成为智慧农业必要的基础技术。为了解决农产品从种植到销售过程中数据孤立、易被篡改以及难以追责的问题,本文建立了可追溯模型,在保护隐私的前提下提高了透明度。为了避免追溯过程中出现隐私泄露的问题,使用基于区块链技术的数据库审计技术保障数据库安全,实现系统的高隐私性,最终提出了基于区块链的高隐私性农业物联网溯源体系。本文主要研究内容与贡献
学位
人工智能(Artificial Intelligence,AI)及其应用的伦理风险与挑战已经受到了研究人员的广泛重视,而怎样从技术实现角度研发出符合人们价值观与伦理标准的AI体系,即,合乎人类伦理学的AI设计体系,是目前亟待解决的重大问题之一。基于机器学习的伦理与道德判别是此方面的有益探索。社会新闻数据具有丰富的伦理和道德的内容及知识,为机器学习的训练数据开发提供了可能。本文对基于深度学习的伦理行
学位
随着区块链技术的不断发展,其与无线Mesh网络(Wireless Mesh Network,WMN)的结合成为了当今研究的热点。由于WMN和区块链网络均要通过一系列设备来中继数据,这意味着区块链与WMM结合的网络在路由时可能会遭受一系列的路由攻击。为了解决这一问题,我们进行了基于区块链和信誉机制的无线Mesh网络安全路由的研究,提出了一种基于区块链和信誉机制的无线Mesh网络模型BRWMN(Blo
学位
动脉粥样硬化斑块破裂后的愈合过程对临床结果意义重大,良好的斑块愈合可以阻止血栓的进一步发展,避免急性心血管事件的发生,但反复的斑块愈合也被认为可加重斑块负荷,引起血管慢性狭窄。随着腔内影像技术的发展,对斑块愈合的研究愈加深入,许多针对斑块愈合的治疗方法也在实施或研究中。
期刊
伴随互联网技术的蓬勃发展,人们越来越倾向于在社交平台上以视频的方式分享日常生活、表达自身观点。随着时间的推移,这些平台上积累了大量带有个人情感倾向的视频。对其进行情感分析,既有利于政府进行网络舆情监控,也有利于帮助用户做出产品购买决策。由于噪音等因素的影响,基于单一模态的情感分析鲁棒性差,容易产生歧义性。同时,人类表达情感的方式往往是多模态共同作用的结果。多模态视频情感分析结合多个模态的数据推断视
学位
目的:1.探讨常规超声及超声造影(contrast-enhanced ultrasound,CEUS)在甲状腺囊实性结节(partially cystic thyroid nodules,PCTNs)良恶性鉴别诊断中的应用价值;2.评价超声引导下微波消融(Microwave ablation,MWA)治疗PCTNs的疗效。方法:回顾性分析2011年1月-2016年12月于中国人民解放军总医院第一医
学位
<正>概念分析“言丰意实”是指语言丰富具体,意识充实,切中要旨。优秀的中考记叙文要求立意有深度,见解独特,内容充实,选材新颖。其中“内容充实”是必不可少的要素。记叙文的“内容充实”指事例丰富、数据精确、情感真挚,它决定了文章的思想深度和艺术价值。“内容充实”是文章内容具体、有可感的材料和语言,真正做到言之有物、表之有情。
期刊
税务部门作为政府机构,对税费与非税收入等具有征收管理职能。税务部门组织的税收收入在财政收入中占有绝对比重,直接保障着国家财政。在2018年党和国家机构改革的要求下国地税合并,是提升效能和征纳效率的税务系统机构改革举措。在税收征管上,向现代化税收征管体系迈进,形成突出重视大数据、风险管理、税务稽查相结合的新格局。税收征管体制改革进一步要求税务部门务必依法治税,尤其区县级税务部门是直接向纳税人与缴费人
学位
数据的快速生产和长期积累对数据的存取性能带来巨大挑战。索引是支持和加速数据存取的重要方式。传统索引的构建和使用需要占用大量的CPU、内存和Cache等资源,面向大规模的数据存取时存在较大的性能优化空间。最近研究提出了“学习索引”结构,使用机器学习方法获取数据特征辅助构建索引,因其能够很好地拟合数据特征,具有比传统索引结构更好的时间、空间性能。但现有支持动态工作负载的学习索引,一方面在性能上受到缺页
学位
本文结合图书馆当前发展实际,紧贴新技术发展趋势,制定核心业务系统转网升级和数据迁移方案,探索相关操作实施路径,以期满足新形势下智慧服务对图书馆信息化建设的新需求,从而最大化地瞄准职能目标定位,使军校图书馆更加个性化、精准化地服务广大读者。
期刊