推荐系统是工业界和学术界处理信息过载的主要手段,其通过分析用户和所推荐项目间的关系,或利用已有用户历史行为记录,帮助用户从海量数据中寻找可能感兴趣的信息。近几十年,推荐系统技术得到了长足发展,基于协同过滤、机器学习、深度学习的模型均已在现实生活中得到了广泛应用,但这些模型表达能力有限,且每次推荐都是按照固定策略,无法适应时刻变化动态的用户兴趣。其次,这些静态模型将每次推荐视为独立过程,没有考虑用户行为的连续性,无法对信息进行充分利用。推荐过程本质上是推荐系统与用户交互的过程,其具有鲜明的交互性。深度强化学习技术因其良好的表达能力与决策能力,被广泛应用于机器人控制、自然语言处理等领域上。近几年,研究人员将深度强化学习与推荐系统相结合,构建了可以在与用户连续交互过程中不断优化推荐策略的动态推荐模型。这些模型虽然克服了静态推荐算法无法处理的用户动态兴趣变化的缺陷,但仍面临训练不稳定、样本利用率低等问题。本文针对基于深度强化学习的动态推荐系统展开研究,主要工作如下:1.提出一种基于SoftActor-Critic架构的稳定动态推荐方法。该方法首先基于用户长期与短期兴趣建模推荐系统的马尔科夫决策过程,使强化学习算法能够根据用户高分反馈行为积累用户长期稳定的兴趣偏好,在此基础上,结合循环神经网络设计了两个编码器来分别获取用户短期与长期兴趣的特征表达。最后,基于强化学习中的Actor-Critic架构设计整个框架,并引入鲁棒性强的深度强化学习算法SoftActor-Critic来训练模型。与已有算法相比,该方法在离线与在线的推荐场景下稳定性更好、推荐准确性更高。2.提出了一种基于Dyna框架与图卷积网络的动态推荐算法。深度强化学习算法应用在推荐系统上往往面临样本利用率低、用户反馈数据稀疏的问题。知识图谱作为辅助信息能提供丰富语义信息,可有效缓解用户反馈数据稀疏问题,该方法利用知识图谱来建模动态推荐系统的马尔可夫决策过程,并结合图神经网络构建强化学习智能体,以此来挖掘知识图谱中项目间的相关性,缓解样本利用率低的问题。另外,为了减少与真实用户的交互,该方法还引入强化学习中的Dyna框架来进一步提高样本利用率。通过仿真在线实验,证明了该方法样本利用率更高,在面临用户反馈数据稀疏能获得更好的推荐性能。3.提出了一种多智能体强化学习的动态推荐算法。该方法将推荐过程分为基于用户与基于用户群体的两个马尔科夫决策过程,并利用深度强化学习中的深度Q学习算法分别对其建模。模型拥有两个深度Q网络结构的智能体,关联全局的深度Q网络掌握着实时热点的变化,掌控当前流行趋势;相关用户个人的局部深度Q网络记录了用户个人兴趣的变化,获取当前用户个性化偏好。在用户冷启动的实验环境下的实验结果验证了所提出方法的能够有效提高推荐精度。