无人机（Unmanned Aerial Vehicle,UAV）作为一种新兴装备,具有灵活部署和易于控制等特点。将UAV应用于现代移动通信网络,从而扩大网络覆盖范围或构建UAV集群网络,已成为无线通信领域研究热点之一。与此同时,伴随着Alpha Go的成功,作为强化学习（Reinforcement Learning,RL）重要分支的多智能体强化学习（Multi-agent RL,MARL）,由于能很好建模多智能体分布式决策问题,近来也在无线网络分布式决策或无人蜂群网络等领域得以广泛应用与深入研究。本文关注UAV集群与MARL交叉的领域,以MARL辅助UAV智能决策为切入点,讨论基于MARL的UAV集群网络优化设计问题。具体研究内容概括如下:（1）针对认知使能的UAV（cognitive UAV,CUAV）集群网络感知-接入信道选择优化设计问题开展研究,为协调CUAV集群对主用户资源的探索与利用,提出基于感知-融合-传输的信道探索利用协议。由于主用户信道占用统计先验知识未知且原始优化问题NP-难,因而引入马尔科夫博弈（Markov Game,MG）将原始优化问题转化为竞争-协作混合多智能体RL（Competition and Cooperation Hybrid MARL,CCH-MARL）问题。进一步地,引入Hoeffding型置信上界（Upper Confidence BoundHoeffding,UCB-H）策略并基于独立学习者（Independent Learner,IL）机制分别设计了基于Q学习与UCB-H增强的IL-Q学习算法（IL-Q-UCB-H）与基于双倍深度Q学习（Double Deep Q Network,DDQN）增强的IL-UCB-H学习算法（IL-DDQNUCB-H）。数值仿真分析结果表明,所提两种算法均能显著提高系统平均收益和信道感知准确率,验证了本文所提算法的优越性。（2）针对面向分布式感知应用的UAV集群网络联合通信策略与飞行轨迹优化设计问题开展研究,为协调各UAV行为,提出了任务感知-数据回传协议并形成了联合通信与飞行轨迹优化混合整数非线性规划问题。鉴于网络具有分布式特点、任务随机更新特性和优化问题非凸组合属性,设计了基于成本-效用复合的收益函数并将原始问题进一步转化成协作式MG问题。进一步地,为解决连续-离散复合动作空间所带来的问题复杂度提升,设计了基于IL的多智能体复合式动作表演评论家（Multi-agent IL Compound-Action Actor-Critic,MA-IL-CA2C）算法对问题求解。仿真表明,所提算法能大幅度提高系统收益,优化UAV轨迹,降低网络能耗。