深度强化学习算法研究是近年来机器学习领域的一个研究热点。经验重放机制是深度强化学习算法中的一项重要技术,如何提高样本利用率并解决经验重放的固有缺陷是深度强化学习领域的热点问题之一。传统经验重放机制使用等概率抽样的方式,一定程度上降低了重要样本的采样率,智能体的性能并不令人满意。本文着眼于大规模样本空间下样本的使用效率,针对经验重放机制的不足,提出一系列改进的基于经验重放的深度强化学习算法,主要研究内容包括以下三部分:(1)提出一种线性动态跳帧方法,每个动作的跳帧率不是固定的,而是随着网络输出Q值大小线性增长。这使得每个动作的跳帧率由智能体根据当前状态和动作的重要程度来确定,使跳帧率成为一个可根据动作值动态学习的参数。此外,从经验池中抽样以训练网络时,将时间差分误差和跳帧率以权重方式组合作为评价样本优先级标准。基于上述改进,本文提出基于线性动态跳帧和改进优先级经验重放的深度双Q网络算法——LDF-IPER-DDQN,并在一系列Atari 2600游戏中验证算法的性能进而说明该算法的有效性。(2)提出一种基于平均值的异步优势行动者评论家算法——Averaged-A3C。为了降低存储和节约资源开销,该算法采用异步更新来训练网络,解决了经验重放机制的缺陷并且能够使用同策略的强化学习方法。该算法使用动作的优势函数更新策略和值函数,使用平均值的思想大大减少优势函数计算的方差。通过在Atari 2600和MuJoCo环境下的一些游戏来评估该算法的性能。实验结果表明,与原始的A3C算法相比,Averaged-A3C算法有效地提高了智能体的性能和训练过程的稳定性。(3)提出一种基于生成对抗网络的规划模型——GBPM。该模型能够充当经验重放的角色,获得更加准确的环境模型并提高经验重放的规划能力,并能够应用于基于模型和无模型的深度强化学习算法中。在训练期间,使用智能体所经历的真实转移样本来训练GBPM,并且智能体还可以利用GBPM来产生模拟经验或轨迹,用于改进学习的策略。本文将GBPM有效地集成到了一些深度强化学习方法中,例如深度Q网络、行动者评论家等算法中。在Atari 2600游戏和迷宫问题中使用GBPM模块评估了这些方法,实验证明GBPM模型能够有效提高这些算法的性能。本文分别从基于值函数、基于策略、基于模型和策略搜索的深度强化学习算法这三个方面研究如何改进现有经验重放机制的不足,算法性能得到了有效的提升。