无模型深度强化学习算法作为强化学习中的一种主要算法,其最大特点是在不对环境建模的情况下,通过与环境不断交互自主的进行学习。强化学习虽然已经在一系列具有挑战性的决策和控制任务上得到了长足的发展,但是连续控制任务下的深度强化学习的研究还是处于初级阶段,这些算法仍存在着一些问题和挑战,比如维度爆炸、随机环境下泛化能力差、样本数据使用效率低、脆弱的收敛特性和极易陷入局部最优策略。这些问题导致多数模型需要细致的超参数调优,严重限制了深度强化学习方法在复杂现实领域的适用性。在连续动作空间的行动者（Actor）-评论家（Critic）深度强化学习算法中,最先进的双延迟深度确定性策略梯度（TD3）算法缓解了深度确定性策略梯度（DDPG）算法中的过高估计问题,但它可能会导致某些动作严重被低估,TD3维护的这个下界远非真实的Q函数,从而会干扰行动者向最优动作收敛,多次选择次优动作导致行动者难以探索上界,同时也存在样本利用效率过低的问题。本文针对这些问题,对现有的确定性策略梯度算法进行改进,并提出了新的算法。本文的主要工作和研究成果包含以下几个方面:首先,对于连续控制问题,提出了一种对评论家网络平滑的方法。由于连续控制的动作空间是无限大的,我们每次却只能执行一个确定的动作,每次只根据这一个动作和回报对网络进行梯度更新,导致评论家网络产生很多的极点。针对此问题,本文认为理想情况下评论家函数应该是平滑连续的,提出了一种对评论家网络的目标函数平滑的方法,降低了行动者网络的收敛难度,提高了样本利用效率。为了验证新方法的效果,我们通过改进DPG、DDPG算法在Open AI开源的简单双足机器人环境下进行了实验,实验结果表明平滑后的算法收敛速度得到了提升。其次,针对值函数影响最优策略上限的问题,本文通过三种不同的思想提出三种平滑函数,1.两极分化思想:我们认为在行动者-评论家框架中,评论家对动作之间折扣累计估值的排序与真实的折扣累计值的排序一致性很重要,通过把动作估值差距拉大,使误差不足以影响关键动作之间的排序。2.保守思想:我们认为提升某一动作范围内的估值下限会使模型更加健壮。3.熵值思想:从估值准确性来看,估值高的动作熵值较低,估值低的动作熵值较高,所以低熵动作置信度更高,占的权重也高。在本文中,我们将三种不同的平滑方式应用到DDPG和TD3中,分别在两种环境下进行测试,实验表明本文提出的三种平滑函数可以提升最优策略的上限,但也会增加模型收敛不稳定的概率。然后,针对模型不稳定问题,我们发现训练中的行动者稳健性与模型的收敛能力成正相关,行动者陷入局部最优和评论家网络波动过快都会影响学习效果。针对此问题,本文提出了采用双行动者-双评论家架构、延迟更新的算法,降低了行动者陷入局部最优的概率,降低了评论家网络更新速率使行动者可以得到稳定的收敛。为了验证算法的有效性,我们在Open AI开源项目gym中的困难双足机器人环境下进行了大量试验,通过单行动者-双行动者对比试验,验证了双行动者可以使模型的收敛更加健壮,明显减少模型的“雪崩”现象。最后我们将几种方法融合得到的新算法——平滑的双延迟双网络深度确定性策略梯度强化学习算法,与多个最先进的深度确定性策略梯度强化学习算法进行了对比,表明提出的新算法的部分性能优于最先进的算法。