兵棋推演是一种对实际战争进行仿真、模拟的方法,是研究作战行动的重要工具,也是未来战争的关键环节。在兵棋推演过程中利用规则进行决策的方式缺乏对不同地图以及不同对手的适应能力,若利用强化学习方法可以更好地进行推演过程中的自主学习和智能决策,但是现阶段多智能体领域存在的问题限制了该类方法在兵棋推演中的应用。本文以强化学习方法为基础,针对多智能体领域的置信分配以及稀疏奖励两个问题,分别引入值分解方法与分层决策方法,本文主要做了以下两个方面的工作:多智能体策略梯度方法虽然取得了巨大的成功,但因为其在集中式训练的框架下通常使用总体态势进行评估,所以置信分配问题没有得到有效解决。同时,多智能体环境的动态性和神经网络的高维输入也对集中式评估网络的可靠性带来了挑战。为了解决上述问题,本文考虑对集中评估方式进行分解,即将值分解的思想运用于多智能体Actor-Critic算法中,并将以往的状态价值评估改为动作价值评估,提出了一种基于动作价值分解的多智能体方法。该方法首先在本地层网络中对每个智能体的局部态势进行评估获得局部价值,然后在混合层中将它们融合为总体价值来进行网络的学习,混合过程中使用一个两阶段的注意力机制来衡量每个智能体对总体价值的贡献,这种方法能够更好地估算总体价值并衡量局部影响。基于相同的值分解框架,本文还提出了另一种基于状态价值分解的多智能体方法,该方法同样致力于缓解置信分配问题。为了验证以上算法的有效性,本文在星际争霸II的微观环境中进行实验,实验结果表明以上方法优于其他强化学习算法。多智能体环境中往往存在着稀疏奖励问题,因为智能体只有在做出复杂动作时才能获得奖励,且部分环境难以提供正向奖励。同时,在兵棋推演平台上如何针对其原始态势及动作接口进行实际性建模也是强化学习算法设计的难点。为了解决上述问题,本文提出一种分层决策的多智能体强化学习方法,该方法使用基于半马尔科夫过程决策的管理层网络来制定目标,并通过该目标引导执行层中所有的智能体进行学习。本文使用超网络的方式将管理层目标的信息合理地嵌入至执行层网络的评估过程中,以加强管理层与执行层之间的通信。本文针对兵棋推演平台落实了状态空间、双层动作空间与奖励函数的设计。同时为了加强算法的通用性,本文使用异常检测以及聚类算法提出一种免模型学习的分层决策方法,该方法能够实现目标的自动获取。本文在“庙算”陆战平台及Gridworld平台上进行实验,实验结果验证了本方法能够有效地进行复杂决策,且通用性较强。