无人机相互协同共同组成编队集群能够发挥出单无人机所不具有的优势,更加胜任复杂、多任务等场景下的工作。针对集群执行多种不同类型任务的需求,本文对其中最重要的编队集群的控制问题进行研究,实现具有不同功能的异构无人机编队集群的聚集和保持,主要工作内容如下:（1）基于谢尔宾斯基（Sierpinski）三角形设计了一种子编队内同构,编队间异构的集群。在有任务发生时,具有对应功能的子编队可以分离出集群完成对应任务。该集群在局部范围内采用集中式控制,全局范围内采用分布式控制,整体上是一个自相似的异构编队集群。使用强化学习方法对无人机进行训练,简化集群模型的建立过程。针对随着集群系统中的无人机数量增多导致传统强化学习方法收敛慢的问题,基于集群的结构和其中包含的异构信息,提出了一种分组的多智能体深度确定性策略梯度方法（Grouped Multi Agent Deep Deterministic Policy Gradient,G-MADDPG）。仿真实验结果表明该方法能够加快集群中无人机的学习过程,与基准算法对比,收敛时间更快,学习效果更好。（2）基于Sierpinski塔结构设计了一种子编队内异构,编队间同构的集群。同样采用集中式与分布式混合的控制架构,组成一个异构的编队集群。子编队中具有不同功能的无人机,以单个子编队为执行单位可执行多种任务。提出了一种引入注意力机制的多智能体深度确定性策略梯度方法（Multi Agent Deep Deterministic Policy Gradient method with Attention mechanism,A-MADDPG）,采用该方法对集群中的单个子编队进行训练,在单个子编队聚集完成的基础上,通过将不同编队坐标系下的子编队统一到同一个集群坐标系中完成集群的聚集。实验结果表明A-MADDPG方法能够实现对单个子编队的聚集,与基准算法对比收敛的效果要更好,基于坐标转换的多子编队聚集方法可以很好的完成对整个集群的聚集控制。