在教育信息化高速发展的今天,不断丰富的网上教育资源,为各类学习者提供全面的教学教育服务。如何追踪学习者的知识状态,选择合适的资源推荐给学习者,是未来网上教育的研究重点。目前深度知识追踪在习题推荐应用方面,已取得了不错的应用效果,但是还存在以下两个主要问题:1)基于深度学习的深度知识追踪（DKT）模型,由于学习者的实际答题时间存在个体化差异,无法进行学习状态的采集,导致预测的准确率不高。2)在习题推荐时,现有基于启发式的习题推荐算法,无法快速找到合适的习题进行推荐,影响学习者的学习效率。针对以上问题,本研究选取了适用于对学习者知识状态建模的网上公开数据集,并对优化模型进行了方法评估,在此基础上,采用深度强化学习推荐算法,进行在线习题推荐,并评估学习者知识点的掌握情况。具体工作如下:（1）在原始的深度知识追踪（DKT）的建模技术上,通过获取学习者每个知识点前后两次的答题时间,来对学习者知识点的学习时间进行动态分组,将分组结果加入到模型中,提出了融入学习者动态技能学习时间分组的知识追踪模型DKT-DSST。同时,为最大化学习者答题时间个体化差异带来的收益,引入了与原始DKT模型的损失函数相对应的正则化项,重构了优化模型的损失函数。（2）将知识追踪模型应用到习题推荐上时,改进的DKT-DSST作为与环境交互的学习者知识状态模拟器,将强化学习引入到习题推荐算法中。采用基于深度神经网络的智能体,设计针对习题的奖赏函数,并用策略梯度更新方向,来改变策略参数,快速找到合适的习题,以提高学习者的学习效率。（3）结合DKT-DSST,设计实现了在线答题系统。在系统实现部分,展示了结合学习者模型和推荐算法的推荐全路径。然后进行习题系统的主要业务功能模块和数据表的设计。在实现部分选取学习者进行在线习题推荐,每次推荐后都会对学习者的隐知识水平进行计算评估,完成了对习题推荐功能的实现。