深度强化学习是当前人工智能研究领域新的热门方向,它将深度学习的感知能力与强化学习的决策能力相结合,以端对端的形式实现了从原始输入到输出的直接控制。提出至今,已经在众多决策控制和需要对高维原始输入数据感知的任务中得到应用,尤其是在指挥决策领域,获得了实质性的突破,然而当前的深度强化学习算法在指挥决策的过程中仍然存在数据利用率低、学习出的策略不稳定以及在欺骗性或稀疏环境中陷入局部最优、长期无法获得奖赏等问题。本文针对以上问题,提出了SOBTPER-DDGBES DQN深度强化学习算法。在经验回放方法方面,本文针对现有方法导致算法数据利用率、学习出的策略质量低等问题提出了“基于二阶优先级反向传播的经验回放方法”,通过样本序列的累计奖赏值、样本数据的TD-error值和所在样本序列的优先级构建第一、二级优先级,同时每一个样本数据的优先级向前反向衰减传播。该方法从样本序列累计奖赏和优先级反向衰减传播两个角度,在获得高质量策略的同时,也提升了数据利用率。在探索利用策略方面,本文针对现有策略导致算法收敛速度慢、稳定性差等问题提出了“基于多样性驱动和贪婪波尔茲曼的探索利用方法”,通过在损失函数上引入相对熵,该方法可以显著地增强智能体Agent对环境的搜索能力。其次,根据智能体Agent获得的奖赏情况使用ε自适应策略,使ε的值可以随着智能体Agent学习的过程动态调整,解决了探索与利用的平衡问题。然后在ε自适应策略的基础上,针对等概率选取动作影响算法速率及效率的问题,引入了波尔茲曼策略。最后基于DQN算法,提出了SOBTPER-DDGBES DQN深度强化学习算法。通过对比实验表明,本文提出的SOBTPER经验回放方法在指挥决策过程中,相对于以往的方法在获取高质量策略、数据利用率上有了明显提升。在探索利用方法方面,相对于以往的的探索利用策略,验证了DDGBES探索利用方法在指挥决策活动中平衡探索与利用的优势。最后与现有的深度强化学习算法进行对比实验,验证了SOBTPER-DDGBES DQN算法在指挥决策活动中具有优异的综合性能,可以极大的提升策略的质量和速度,使指挥决策活动更加科学和合理。