近些年来,将深度学习与强化学习相结合的深度强化学习在人工智能领域取得了令人瞩目的成就。深度强化学习方法利用深度神经网络强大的表征能力的同时,也使用了强化学习算法的自主决策能力,在多个学习领域中都展现出较强的通用性并取得了不错的效果。连续控制类任务是一大类热门的研究领域,在深度强化学习算法中通常采用基于确定性策略梯度与行动者-评论家架构的深度确定性策略梯度算法。在面对大型状态空间任务时,深度确定性策略梯度算法中的单个行动者网络难以应对,以及存在探索盲目和最大化偏差等问题。本文对深度确定性策略算法进行了以下三个方面的研究。（1）深度确定性策略梯度算法中使用的单个行动者网络难以应对复杂的状态空间,使行动者网络学习会受不同状态的影响。针对该问题,提出了一种基于K-means聚类的渐进式多行动者深度确定性策略梯度算法。该算法在训练过程中,对于每一时间步下的当前状态,在选择动作时,依据K-means判别结果进而选择对应的行动者网络。同时为了增加算法的有效性,采用随着训练时间步的增加,逐渐增加K-means类簇的个数和行动者网络个数的方式。将该算法应用于Mujoco仿真平台上,实验结果表明,算法在大多数连续控制任务中具有良好的效果。（2）深度确定性策略梯度算法对于一些简单的连续动作空间任务有着不错的效果,但当任务的状态空间趋于复杂时,单个的行动者网络难以应对,同时存在采用非最优动作和灾难性遗忘等问题。虽然上述（1）算法能有效解决该类问题,但是在（1）算法中,K-means聚类和判别等操作的时间复杂度和训练成本较大。大量实验结果表明,大部分连续动作空间任务的状态空间在训练时满足状态与训练时间步同步变化。利用该思想,在上述（1）的基础上,用时间步来替换K-means聚类、判别等操作,可以有效地减少时间复杂度。此外通过添加优秀经验来指导动作的选取,避免探索盲目问题。结合两者提出了一种基于经验指导的渐进式多行动者深度确定性策略梯度算法。实验结果表明,算法在较低时间复杂度同时,效果也十分优秀。（3）分类经验回放方法可以解决深度确定性策略梯度算法中经验样本利用不充分以及随机采样等问题。分类经验回放方法通过先将经验样本与分类标准比较,然后根据比较结果将经验样本存储到相应的经验缓冲池,然后在训练时根据需要从不同经验缓冲池提取不同比例的经验样本用以训练。该方法可以使经验样本得到充分使用。同时由于分类存储,不同经验样本间相关性也被减弱。然而分类经验回放方法固定了经验池个数,在训练初期每个经验池由于经验分类,导致单个经验池内的经验数量增长缓慢,难以有效地利用经验训练。针对该类问题,将分类经验回放方法与渐进式的方法结合提出了基于渐进式分类经验回放的深度确定性策略梯度算法。该算法相较于单纯的分类经验回放方法,在大多数连续控制任务中实验结果表明,具有更好的效果。