当今社会随着互联网的不断发展,学习资源的数量呈指数型上升,种类也多种多样,例如数字图书馆的学习资源、网络课程学习资源等等。在如此多的学习资源面前,用户想要找到最适合自己的学习资源也变得越来越困难,所以如何准确的向用户推荐最适合他的学习资源是一个非常必要的问题。推荐系统是根据用户的需求、兴趣将用户感兴趣的信息（如产品、图书、课程等）推荐给用户的系统。传统的推荐方法在推荐的过程中有很多局限:推荐过程是静态的,忽略了用户偏好的动态变化;大多数推荐系统目标是最大化即时收益得到最终推荐结果,忽略了长期收益的可能;传统的推荐系统倾向于推荐大众化的物品,对没有人交互过的物品或者小众化物品的探索能力不足。深度强化学习能对推荐系统模型进一步优化,深度强化学习的思路和人类学习的思路相近,是通过在某个状态下尝试一个动作,在之后的结果中得到这个动作的回报价值来评价这个动作的好与坏,这个回报价值称为奖励值。将深度强化学习运用到序列推荐中,可以有效地最大化长期收益、对结果进行较好的探索、在线更新用户偏好的动态变化。将深度强化学习引入推荐系统解决了传统推荐系统的诸多问题。本文在现有的深度强化学习方法的基础上,重点研究如何将深度强化学习引入到推荐系统中,通过引入深度强化学习实现对推荐系统的结果进行更好的优化。本文首先提出了一个基于聚类的分层强化学习模型,用于数字图书馆的个性化图书推荐。随后在基于聚类的强化学习模型中引入Q学习,提出了通过Q学习的方式加强推荐系统的模型。本文的主要贡献如下:（1）提出了基于聚类的强化学习模型,并将模型用于数字图书馆的个性化图书推荐。该模型使用了聚类与分层强化学习,聚类可以数字图书馆中的图书进行分类,解决数字图书馆中图书数据稀疏的问题。分层强化学习可以找到借书序列中的噪声数据并删除,使模型能更准确的预测用户的偏好,从而推荐相应的图书。（2）提出了基于Q学习的分层强化学习模型,并将模型用于优化基于聚类的分层强化学习模型。该模型将Q学习与基于聚类的分层强化学习模型结合,在分层强化学习模块中加入Q学习,将分层强化学习中低级任务的奖励值与Q学习中的Q值进行计算,得到更准确的序列中的噪声数据。