作为机器学习领域的重要研究子领域,强化学习主要研究智能体如何在与环境的不断交互中学习并做出行为决策这一问题及解决方法,在很多场景中都显现出巨大的研究价值和广阔的发展前景。通过将深度神经网络的强泛化性融入强化学习中,深度强化学习能在一些复杂任务中表现亮眼。但以往的许多深度强化学习算法都存在着样本效率低下的问题,它们通常需要和环境进行数千万次交互才能学习到较为智能的行为策略。近年来,一些研究者们发现情景记忆的使用可以记忆并回放历史最佳决策序列相关信息,从而帮助智能体快速锁定历史最佳动作,减少达到指定学习效果所需要的样本数,提升算法的样本效率。如何使用和改进情景记忆并用于提升深度强化学习算法的样本效率有着非常重要的研究价值。本文的主要研究工作如下:第一,本文提出情景记忆命中率深度Q网络（EMHR-DQN）算法,通过使用奖励塑形方法重塑情景记忆检索出的奖励值来提升样本效率。受启发于奖励塑形方法,本文设计了一个新的奖励塑形函数情景记忆命中率（EMHR）来为情景记忆的检索结果提供额外的奖励信息。通过这种方式,本文提出的方法可以修正情景记忆中的奖励从而帮助智能体更好的学习。在六个经典的雅达利游戏上进行了实验,结果表明了本文提出的方法可以在使用相同交互次数的情况下（40M）获得比其他算法更高的均值人类标准化分数和中值标准化人类分数,可以有效提升样本效率。第二,本文提出了基于状态表示增强的情景记忆强化学习算法（EMSR）,在使用少量样本的情况下获得比先前算法更高的样本效率。具体地,本文使用一个转移模型来预测智能体未来多步的隐层状态表示来增强奖励的最大值,从而帮助智能体更快地学习策略。所提出的方法在雅达利游戏上进行实验,结果表明本文提出的方法可以有效提升算法的样本效率,并在使用小规模交互数（100k）时获得了比之前算法更高的游戏分数。本文从两个角度为使用情景记忆的深度强化学习算法如何提升样本效率提供了思路。在未来工作中,可以优化情景记忆的存储结构从而实现更加高速的检索,进一步提升算法的性能。