单智能体深度强化学习(Deep Reinforcement Learning,DRL)近来取得了巨大突破,很多研究者也开始将DRL算法应用到更加具有实际应用价值的合作型多智能体中。深度强化学习虽然能给多智能体系统提供更为通用的控制方法,但多智能体系统中指数级增长的状态动作空间,会加大DRL算法的探索难度,让算法的学习速度变得非常缓慢。另外,合作型的多智能体之间能否有效地进行协调合作,也是影响系统整体性能的重要因素。因此,本文针对以上提到的两点问题,主要进行了下面几点研究:(1)针对DRL算法在大规模合作型多智能体系统中学习效率低的问题,提出了一种课程式训练方法对DRL算法进行训练。通过将目标系统分解成多个智能体数量不断增加的子系统,让算法先从难度低的子系统充分学习后,再不断往难度更高的子系统进行切换,直到最后在目标系统中收敛。其次,为了将课程式训练方法与IDQN算法相结合,在DQN网络中加入多头自注意力单元,将动态长度状态映射成固定长度的特征,并且提出了一种时间优先经验回放技术,在非平稳问题和数据的利用率之间寻找一个折衷点,以进一步提高学习的效率。实验表明,课程式训练方法能够有效地加快DRL在合作型多智能体系统中的学习速度。(2)针对感知受限情况下独立策略网络会带来的多智能体冲突问题,提出了一种协调通信策略网络的多智能体Actor-Critic算法。接着,针对策略网络中通信单元的设计,研究分析了平均信号通信单元和GRU通信单元,并提出了一种GRU加权信号通信单元。GRU加权信号通信单元利用GRU计算出每个智能体信息的重要性,再基于该重要性对这些信息进行加权求和,使智能体决策时能够关注对自身高相关的信息。实验表明,基于协调通信策略网络的改进算法有效地提高了整体的性能,并且GRU加权信号通信单元在结合课程式训练时表现出了更好的稳定性。