深度增强学习是深度学习和增强学习的有机结合,继承了他们各自的优点,包括深度学习对事物较强的感知能力以及增强学习较强的决策能力,但也仍具有深度学习或增强学习中存在的一些问题。如较多基于值的深度增强学习算法仍具有原始增强学习算法中的过高(低)计问题,过高(低)估计会产生正(负)偏差从而影响算法的稳定性,因此本文针对该问题进行了以下工作:(1)分析研究了影响增强学习稳定性的因素,从偏差和方差两大方面进行了探讨。在偏差方面包括正偏差、负偏差和妄想偏差;在方差方面包括随机方差和重要性采样方差。本文分析了这些因素产生的原因和对算法稳定性造成的影响,为解决这些问题提供了思路。(2)针对解决正负偏差问题,本文创新的提出了一种名为交错存取的解决方法,该方法包括三个部分:一是提出了一种新的估计器——耦合估计器,耦合估计器可以权衡最大估计器和双估计器产生的正负偏差,提高估计的准确率;二是对耦合估计器的耦合率提出了一种创新的设计方式,使得耦合率可以根据样本的变化自适应的调节进而提高性能;三是在耦合估计器的基础上引入交错存取的方式,进一步降低耦合估计器的方差。本文将这三部分统称为交错存取方法。(3)将交错存取方法因地制宜地应用到各类增强学习算法和深度增强学习算法中,提出了对应的交错存取版本的新算法。被改进的算法包括一步时序差分算法中的Q-学习、Sarsa和期望Sarsa;n步时序差分算法中的n步Sarsa和Sarsa(λ);以及深度增强学习算法中的深度Q-学习。本文在最后对各类算法与其双结构版和交错结构版的算法在不同的实验环境中进行了性能对比,并进行了详细分析,本文提出的交错存取版本的新算法均表现最优。