深度强化学习通过深度学习提取高维数据特征,结合强化学习算法,在无需预处理输入数据的情况下可以处理复杂的大规模连续状态空间任务。行动者评论家算法作为深度强化学习中的核心算法之一,在行动者进行动作选择时通常会加入探索动作以防止算法陷入局部最优,但是探索动作会导致值函数的低估,从而影响算法的收敛速度,并且探索动作的随机性会导致算法的稳定性不足。本文针对行动者评论家算法中的探索动作带来的值函数不准确、收敛表现不佳、稳定性差等问题,提出了一系列改进探索动作的行动者评论家算法。主要研究可以概括为如下三个方面:(1)针对在离散动作任务中,行动者评论家算法由于使用最大熵正则项会产生值函数的低估和收敛不稳定等问题,在近端策略优化方法的基础上,提出了最大熵修正算法,利用网络中存在的状态值函数与策略函数构造近似的状态动作值函数,并利用贝尔曼最优方程获得最大熵修正项。理论分析了最大熵修正项的优势,并通过相应的实验验证了算法的有效性。(2)针对在连续动作任务中,行动者评论家算法由于采用高斯分布策略导致边界动作被选择的概率大大提高,从而降低了算法稳定性的问题,在通用优势估计器的基础上,引入了重要性采样机制,提出一种重要性采样优势估计器,并推导出相应的更新公式。重要性采样优势估计器利用重要性采样限制了边界动作的更新,提高了值函数与策略的一致性,加快了算法的收敛速度,并通过在多关节机器人实验平台中的实验验证了算法的有效性。(3)针对在连续控制任务中,重要性采样优势估计器会阻碍策略向边界动作收敛的问题,在重要性采样优势估计器的基础上,将截断动作策略梯度引入算法当中,提出了结合重要性采样的截断动作策略梯度算法。该算法通过改变边界动作的梯度,提高了重要性采样优势估计器在边界动作的收敛速度,改善了其在边界动作最优任务中的表现,并通过对比实验验证了算法的有效性。