将深度学习与强化学习结合已经成为了一种主流趋势,但将其运用到现实环境还面临许多的挑战,仍需要大量的训练数据、高维度的观测空间以及精确的智能体输出端口,这些都需要更强大的探索算法,探索性的缺失将导致算法在多峰值函数的更新中陷入局部最优;然而过度的探索也会导致算法性能的下降,使算法的收敛速度下降。因此,如何平衡探索与利用的关系,加快算法的收敛速度,成为了强化学习算法的一个挑战。为了缓解上述问题,本文主要做了以下三方面工作:（1）提出一种基于路径调整的截断Lévy飞行多峰探索框架。目前的探索方法大多基于1-步随机行走,而在随机探索过程中的大部分路径是重复的,即1-步随机行走限制了智能体探索更大区域的能力。针对这种情况,本文提出了一种基于多步随机行走的深度强化学习多峰探索框架,利用Lévy飞行算法,扩大了多步探索的随机性,使智能体能够探索更多的值函数峰值,从而探索到更好的动作值函数。该探索框架能够与多数探索方法兼容,且在实际过程中融入路径调整策略,使得智能体避开已知的较差状态进行飞行。结合后的强化学习算法在连续动作环境与离散动作环境下都取得了更好的效果,具有更好的探索性。（2）提出了基于好奇心驱动的多步随机行走方法。先前的多步随机算法采用随机策略生成动作,虽然能缓解多峰值函数的局部最优问题,但在部分训练收敛的状态下会出现探索浪费的问题,即在相对熟悉的位置,智能体仍然可能会采用多步随机行走,这样的策略同样会降低算法的探索性,因此在相对不熟悉的状态采用多步随机行走效果会更好。针对这一问题,本文提出了好奇心驱动的多步随机行走方法,在好奇心大的状态采用多步行走策略,在好奇心低的区域采用网络输出动作,该方法解决了先前框架的探索浪费问题。本文将该框架与未加入好奇心驱动的多步随机行走算法进行对比,实验证明加入好奇心驱动的算法在大部分环境中得到了更多的奖励。（3）提出了基于行动者-评论家框架的最近经验λ-回报方差修正算法。多数强化学习算法采用1-步时序差分方法来更新值函数。该方法更新时产生的方差较低,但需要自举的方式来逐步更新值函数,最终收敛。这导致算法的收敛速度较慢,且容易陷入局部最优的情况。针对这一问题,本文提出了最近经验λ-回报方差修正算法,该方法将最近经验中的λ-回报与全局经验的1-步时序差分进行混合更新,并且对λ-回报部分进行了方差修正算法,进一步缓解多步时序差分带来的方差问题。实验证明,基于AC框架的最近经验λ-回报方差修正算法由于多数传统随机算法,获得了更高的累计奖赏。