多智能体系统（MAS）是指由多个可以与环境进行交互的智能体所组成的计算机化系统。由于深度强化学习具备极强的探索以及决策能力,深度强化学习技术成为多智能体系统智能决策的主流方法。随着人工智能技术的不断发展,多智能体强化学习得到了广泛的应用,其中协同对抗问题具备极强的研究价值。对多智能体协同对抗问题的深度强化学习研究旨在通过智能体编队与环境的交互求得达成目标的最优策略。多智能体协同对抗环境的推演受到所有智能体动作执行的影响,由于智能体数量庞大并且存在不受己方控制的智能体,所以环境复杂动态且不稳定。并且由于多智能体系统的复杂性随智能体数量的增加而增加,会产生庞大的探索空间,并且在其基础上策略是动态改变的,这使得经验回放样本效率低下。上述问题严重影响了深度强化学习算法在MAS上的性能表现。本文对多智能体强化学习的历史发展进行回顾,并结合现有工作进行研究,本文的主要研究内容包括以下两部分:（1）针对复杂动态且不稳定的环境问题,提出了基于未知智能体行为预测的多智能体协同对抗算法。该算法主体采用值分解网络构造,融合监督学习与强化学习,创新性的加入未知智能体行为预测模块。未知智能体行为预测模块基于未知智能体的历史特征与执行动作,构建并训练监督辅助模型预测未知智能体的动作,值分解网络将预测模块的输出融合环境状态信息进行智能决策。实验证明该算法在SMAC星际争霸II环境与Ma CA编队对抗环境上的表现都优于当前主流的基线算法。（2）针对多智能体经验回放样本效率低下问题,提出了面向鲁棒性的多智能体强化学习经验回放多层构造方法。该方法对经验回放进行三级构造,首先通过蓄水池算法改进了经验回放缓冲池的存储方法,其次通过相似度度量筛选方法筛选出了利于鼓励探索的样本集合,最后在该集合基础上进行基于策略变化的重要性采样,提高了样本的稳定性和可信度。实验证明该方法在SMAC环境以及MaCA环境上都具备良好的效能。