深度强化学习将深度学习与强化学习相结合,成功地在一些复杂且需要高维度感知的决策任务中获得了突破性的成果。深度强化学习方法中一个很重要的问题就是探索与利用的平衡。基于熵的异策略深度强化学习方法在兼顾样本利用率的同时也最大化了策略的探索程度,取得了非常优秀的学习效果。熵的引入使得基于熵的异策略深度强化学习方法在一定程度上解决了探索的问题,可以在更短的时间里学习到更优秀的模型。为了进一步提高当前流行的基于熵的异策略深度强化学习方法的性能,本文主要做了以下三个方面的工作:（1）随机加权三重Q学习方法。在类行动者-评论家算法的学习过程中,剪切双Q学习（Clipped Double Q-learning,CDQ）可以在一定程度上解决动作值高估的问题,但是同时也引入了一定程度的低估问题。为了进一步解决类行动者-评论家算法中的高低估问题,提出了一种新的随机加权三重Q学习（Randomly Weighted Triple Q-learning,RWTQ）方法。该方法通过对三个Q估计值的均值与最小值进行随机加权来有效地缓解在基于熵的异策略深度强化学习算法中的高低估现象。经过实验验证,该方法可以在一定程度上更好地解决基于熵的软行动者-评论家算法中的高低估问题并提升算法性能。（2）奖赏优先经验选择方法。基于熵的深度强化学习算法在立即奖赏中加入了一个熵正则项。因为这个正则项的存在,算法会倾向于探索更多的动作。传统的经验池在经验池达到最大值时按照先入先出的顺序丢弃经验,这样会导致一些奖赏值较高的经验没有被充分地利用。为了解决这一个问题,提出了一种新的奖赏优先经验选择（Reward First Experience Selection,RFES）方法。该方法通过选取经验时超额选取并按奖赏大小选取经验元组进行更新的方式来有效提高大奖赏经验的利用效率,从而提升基于熵的类行-动者评论家算法的学习性能。经过实验验证,该方法可以有效地提升基于熵的深度强化学习算法的收敛速度与收敛效果。（3）基于熵的深度强化学习机器人控制应用。深度强化学习可以赋予机器人以传统学习无法赋予的环境交互以及自主学习能力。为了将基于熵的深度强化学习优化算法更好地应用到机器人控制中,将该类算法与后见之明经验回放方法相结合,提出了一种基于熵的深度强化学习机器人控制方法。该工作可以更好地将基于熵的深度强化学习优化算法应用到实际的工业界机器人控制领域中,对机器人控制与深度强化学习相关领域研究者的工作具有一定的参考价值。此外,为了能将该方法落实到应用,实现了基于熵的深度强化学习机器人控制模型训练系统。