近些年来,深度强化学习算法在很多强化学习任务上取得了令人瞩目的表现。深度强化学习算法集合了深度学习的表征能力和强化学习的自主决策能力,被认为是通向通用人工智能的必经之路。连续动作空间任务是深度强化学习研究的重要方向,般采用确定性行动者-评论家架构来解决。但是确定性行动者-评论家架构存在探索方式不当,学习不稳定,以及最大化偏差等问题。本文针对这几方面问题,提出以下几点研究内容:(1)深度确定性行动者-评论家算法在某些连续任务上表现得不稳定,且盲目的探索方式使智能体不能获得好的经验来支持其学习。针对这些问题,本文提出了基于经验指导的深度确定性多行动者-评论家算法。新算法不使用外部噪声源,而是应用基于优秀经验的机制来指导智能体的学习和行动,让智能体更加倾向于选择具有高回报的轨迹。此外算法还使用了多行动者-评论家机制来减轻单个网络学习的不稳定性。实验表明新算法在一些连续控制任务中可以获得更好的效果。(2)针对深度确定性行动者-评论家算法不稳定、盲目探索的问题,提出了结合生成对抗网络的自我指导的深度确定性多行动者-评论家算法。该算法不仅使用多行动者-评论家结构缓解单个网络学习的不稳定性。同时自我指导机制将生成对抗网络中的生成器作为指导网络来指导智能体学习,并将判别器构成了主观奖赏使用,从而引导智能体选择具有高回报的轨迹。最终在一系列复杂的连续任务上进行验证说明了模型的有效性。(3)由于使用的是确定性策略,确定性行动者-评论家算法中会出现最大化偏差现象。为了减少最大化偏差对算法性能的影响提出了双延迟的基于经验指导的深度确定性多行动者-评论家算法。算法使用了截断双评论家机制和延迟更新策略、目标网络机制来解决最大化偏差问题。实验结果表明新算法在多个任务上的性能表现更佳。