随着深度强化学习的快速发展,多智能体深度强化学习技术广泛应用于机器人控制、自动驾驶、军事决策、围棋以及视频游戏等诸多领域,在这些领域中发挥越来越重要的作用。目前,多智能体深度强化学习面临的一个重要挑战问题是,在复杂动作状态空间场景下,智能体如何高效地学习到有效策略问题。为此,本文围绕该挑战问题展开研究,针对单智能体策略学习问题,提出了一种基于预训练模型的分层强化学习算法;针对多智能体策略学习问题,提出了一种基于双向协调网络的多智能体强化学习算法;在此基础上,基于《星际争霸2》对抗学习环境,设计实现了一个基于层次控制的多智能体强化学习原型系统,设计了一系列实验场景,对本文工作的有效性进行了实验验证。概括起来,本文的工作主要包括如下三个方面:（1）针对复杂动作状态空间场景下单智能体策略学习问题,提出了一种基于预训练模型的分层强化学习算法。该算法分为三个层次:首先,基于先验知识为每个子策略设计了适宜其相应时间的宏动作;其次是子策略控制器,其核心是基于监督学习的方法,训练能够适应不同需要的子策略,基于随机的宏动作产生子策略监督学习的数据,并且子策略只学习胜利时的操作轨迹;最后是智能体的高级策略控制器,基于策略梯度算法进行扩展,屏蔽了底层繁琐的动作,只对于下层的子策略进行选择,使得作为决策的神经网络参数能够做出更好的动作。（2）针对复杂动作状态空间场景下多智能体策略学习问题,提出了一种基于双向协调网络的多智能体强化学习算法。该算法基于Actor-Critic框架,其特点是:基于全局信息训练Critic网络,用以解决场景中马尔可夫性缺失问题;采用双向RNN网络结构,用以解决场景中多智能体信息通信问题;使用动作映射算法,使得智能体选择收益最高的合法联合动作。（3）基于上述研究成果和《星际争霸2》对抗学习环境,将单智能体强化学习算法和多智能体强化学习算法进行有机融合,设计实现了一个基于层次控制的多智能体强化学习原型系统,并进行实验验证,验证了本文所提出算法的有效性。