深度学习是机器学习的一个分支,其在许多研究领域得到了发展,现在已经被应用在了语音识别、计算机视觉、自然语言处理等任务当中。强化学习在可交互的环境当中通过试错进行学习,其与深度学习相结合形成了深度强化学习。现阶段,深度强化学习已经被应用在了机器人学、视频游戏、金融等领域。经验池(Replay Buffer)在很多深度强化学习算法当中被应用。因为计算机硬件的原因,经验池都会具有预算空间大小的限制。当预算空间被用完,通常做法是将经验池当中保存时间最长的样本遗忘(丢弃)掉,来为新产生的经验样本腾出存储空间。这种方式没有考虑样本之间的重要性差异,导致具有高价值的经验样本在被充分学习之前就被遗忘,从而造成了经验池的利用率不高。针对该问题,本文提出了一种基于样本重要性来决定遗忘顺序的优先遗忘经验回放算法(PFER),不再根据样本的保存时间长短来选择被遗忘的样本。优先遗忘经验回放算法给经验池当中的每一个样本赋予一个优先遗忘权重值,该遗忘权重值使用样本的时间差分误差(TD error)计算而来。样本的时间差分误差大,说明该样本还没有被充分学习,其需要被保留下来进一步被采样学习。在新的经验样本产生而经验池没有存储空间的时候,优先遗忘经验回放算法根据优先遗忘权重值来遗忘经验池里面的样本,从而使得经验池保存更多的高价值样本,提升高价值经验样本的利用率。在基于MuJoCo模拟引擎的环境任务上,具有优先遗忘经验回放算法的DDPG能提升学习效率,得到比原始DDPG算法和具有优先经验回放的DDPG算法更多的环境奖励值。针对优先权重的计算方式,本文进一步提出了使用时间差分误差和被采样次数来衡量样本重要性的增量式优先遗忘经验回放算法(IPFER)。该算法使用增量的方式来更新遗忘权重值,经验样本的每一次被采样学习都会使其遗忘权重值增加,增加的数值与时间差分误差相关,被采样的次数越多增加的次数就越多,优先遗忘权重值就会越大,从而其被遗忘的概率就会越大。在基于MuJoCo模拟引擎的实验环境当中,具有增量式优先遗忘经验回放的DDPG算法表现超过了原始DDPG和具有优先经验回放的DDPG,同时超过了具有优先遗忘经验回放的DDPG算法,在环境当中得到了更多的奖励回报。