在大规模的多智能体系统中,庞大的智能体数量以及复杂的交互关系对智能体的策略学习造成了较大的挑战。因此,对智能体策略学习过程的简化是一项非常重要的研究课题。当前,传统的多智能体深度强化学习方法主要关注于紧耦合的场景,即智能体之间是紧交互的。然而在现实生活中,多智能体系统中的交互关系往往是稀疏的,这也就意味着智能体不需要在每一个时刻都进行交互,也不需要在每个时刻同所有的智能体交互。利用智能体交互的稀疏性可以大大的简化策略学习的进程。针对该问题,传统的方法使用预定义的度量方法或规则去定义交互的状态和交互关系,但这些方法很难直接应用于大规模的多智能体系统中。因此,本文主要对大规模多智能体系统中的稀疏交互进行研究,针对时间上的稀疏性和空间上的稀疏性,分别提出了基于时间稀疏性的知识迁移方法以及基于空间稀疏性的博弈约简算法。同时,将相关方法应用于电磁频谱对抗场景中,设计了基于深度强化学习的电磁频谱对抗仿真系统,实现理论与实践的结合。其主要贡献可以归纳如下:1.基于对多智能体系统中时间稀疏性的思考,提出了一种新的马尔科夫决策过程(MDP)相似性度量方法,用于识别多智能体系统中智能体的交互区域,并基于该度量方法提出了新的策略迁移算法。具体的,传统的基于Bisimulation度量方法计算复杂,针对此问题本文引入N步回报的概念用于表示环境的局部动态特性,并基于N步回报提出了两种新的迁移方法。其中,直接的值函数迁移方法在目标任务中直接复用源任务中的值函数,然而该方法容易造成负迁移。基于N步回报的迁移方法通过对MDP进行度量,可以有效地避免负迁移,实现选择性迁移,进一步提升算法的学习性能。最终,在多种游戏场景中的实验表明,基于N步回报的方法不仅能够获得最优的策略,同时大大提升了算法的学习效率。2.基于对多智能体系统中空间稀疏性的思考,提出了一种新的基于两阶段注意力机制的博弈约简方法,将硬注意力机制与软注意力机制进行结合,对智能体之间的交互关系进行建模。具体的,利用硬注意力机制获得每一个智能体需要与哪些智能体进行交互,从而将多余的智能体从博弈中直接约简,简化策略学习的过程,更好地应用于大规模的多智能体系统。同时,利用软注意力机制对存在交互关系的智能体之间的关系权重进行学习,进一步过滤不相关的信息,优化策略的学习进程。此外,对于每一个智能体,通过图神经网络获取来自其他智能体的贡献信息,即实现智能体之间的通信或协商。基于此,提出了两种新的多智能体策略学习算法:基于通信的方法GA-Comm和基于协作的方法GA-AC。最终在交通路口和追捕场景中验证了算法的有效性。3.基于对多智能体系统中交互在时间、空间上稀疏性的思考,将以上两种算法应用于大规模电磁频谱对抗场景中,设计并实现了基于强化学习的电磁频谱对抗仿真系统。从而降低使用强化学习进行系统开发的学习成本和研究成本,进一步加速人工智能的落地。并通过任务复盘等功能对策略进行评估、解释并优化,以满足该场景特殊需求。