随着大数据的到来,网络用户的规模呈现爆发式增长。面对海量繁杂的网络大数据与千差万别的网络用户,如何从海量数据中精准的推荐给用户感兴趣的信息是十分重要的。推荐方法在一定程度上解决了信息过载问题,但传统推荐模型在挖掘数据特性和多样性推荐方面有待改进。为此,本文从挖掘数据特性和多样性推荐方向出发对基于马尔可夫决策过程的推荐方法开展了研究。首先介绍了本课题的研究背景及推荐系统的相关研究,阐述了本课题研究的意义。介绍了交互式推荐系统方法及强化学习的相关理论基础,以及多样性推荐的基本方法。然后,针对无法完全利用数据特性进行推荐的问题,结合强化学习方法提出基于马尔可夫决策过程的序列模式推荐模型(SPRR),将推荐过程建模为马尔可夫决策过程,设计融合序列模式评分的奖励作为交互式推荐的反馈信息,通过对累计奖励回报设计标准化操作来降低策略梯度的方差,实现提高累积奖励较大的推荐轨迹的概率,同时降低累积奖励较小的推荐轨迹的概率,学习更优的推荐策略,实现较好的挖掘数据特性进行推荐。实验表明基于马尔可夫决策过程的序列模式推荐模型合理可行,并取得了较好的推荐结果。其次,针对推荐过程中缺乏多样性的问题,在SPRR模型基础之上做出改进,提出了基于马尔可夫决策过程的多样性推荐模型(DR)。在序列模式推荐模型的基础上,阐述了多样性策略的具体做法,通过在推荐过程中依据相似度阈值,将高度相似的项目删除,降低推荐项目空间复杂度,提高推荐结果的多样性。最后,在公共数据集上的实验表明,所提方法在不同评价指标上均取得较好的推荐效果,并且增强了推荐列表的多样性。