电子化在线教育是互联网与算机技术同教育方面的需求相结合的产物。近年大规模开放式在线课程学习平台得到了教育界人士的关注和大力推广。在基础设施条件良好的前提下,相比传统的教育形式,在线教育平台有着对用户的学习时间和学习地点友好、大规模授课成本更低、可以更顺畅地衔接各种电子化的或者多媒体教学资源以及在一些方面上可以更便捷地记录学习者的行为及反馈等优势。但在线教育平台由于其大规模性及线上性,在对学生的个性化指导方面多有欠缺。因此建立智能导学系统成为了在线教育方面的一项重要的研究课题。知识追踪是根据历史练习记录对学生的知识组件掌握程度进行建模的任务,是关于智能导学系统的学习者模型的一项重要研究。该研究的基础是机器学习方法和网课平台所提供的大量学生课程学习历史记录,属于教育领域的数据挖掘任务。早期的知识追踪方法常基于隐马尔可夫模型;在深度学习兴起后,基于循环神经网络的结构得到了知识追踪研究者的重视;但更新颖的方法当属基于注意力机制的模型。近年来在序列建模领域,出现了多种基于注意力机制的方法,其中一种重要的深度注意力神经网络为Transformer结构。本文提出了一种基于Transformer进行知识追踪的方法对知识追踪任务进行了模型实现和迁移学习的两方面的研究:（1）设计了一种完全基于注意力机制的深度知识追踪模型。相对于以往的一些基于注意力机制的模型,本文的方法改进了互动记录的嵌入表示,设计了适用于该方法的门结构,并且优化了自注意力运算子层的输入处理以提高深度知识追踪模型的预测性能。在知识追踪的五个常用公共数据集上的实验结果表明,相比以往方法,本文提出的模型能更好的反映学习者对知识点的掌握情况,并且在样本量大的数据集上有更好的表现。（2）对于知识追踪数据集的知识组件元素提取公共概念关系数据库以及通过手工标注的方法构建了知识图谱,之后使用图嵌入表示的方法生成预训练向量。该预训练向量可以用在多种使用嵌入表示作为输入的知识追踪模型之中,以固化或者非固化编码层参数的形式参与模型的训练。根据实验结果,使用该方法相对于采用随机初始化编码层参数的方式,在三个公共数据集上得到了2%的提升。