随着无人机技术的发展以及应用的普及,单无人机面对复杂多变的环境,自主完成任务的困难性变得明显,多无人机飞行编队组网的研究越来越受到重视。而且未来信息化战场无人作战平台用频设备多、占用频带宽、频谱需求增长快、信息链路易受扰,无人作战平台在受扰环境用频自主决策、无人机编队用频实现临机协同显得尤为重要。本文主要以无人机群网络的频谱分配为研究方向,对基于强化学习的无人机群网络动态信道分配和动态时隙分配算法进行了研究,具体研究内容如下:首先,对无人机群网络的组网方式和强化学习算法进行了研究。无人机群的组网方式包括公平竞争的组网和有优先级的组网;强化学习算法研究了Q学习、深度强化学习算法,并对不同的强化学习进行了对比分析。其次,对公平竞争网络下的无人机群网络进行了深入的研究。针对动态信道分配和动态时隙分配进行了模型的阐述并针对两种情况下的特点进行了强化学习算法的环境映射以便于与强化学习算法接口相匹配;针对强化学习算法,研究了传统的深度Q网络强化学习算法(DQN)以及将卷积神经网络替换成储备池计算网络的改进算法(DQN+RC);为了比较算法的性能,采用三种评价指标,分别是平均碰撞概率、平均奖赏、信道利用率以及时隙利用率。实验结果表明,改进的算法有最优的性能,算法收敛的速度比DQN快500训练步,收敛之后信道利用率和时隙利用率要比这DQN算法高出3%。最后,对有优先级的网络下的无人机群网络频谱交互进行了研究。有优先级的网络与公平竞争网络的主要不同体现在有优先级的网络要有等级划分。无人机之间有优先级分配,可以解决在分配策略中某一无人机过度占用频谱资源。本文引入了M/G/1排队模型来评估优先级机制改进的延迟问题。本文提出了一种强化学习结合长短时记忆网络的改进算法(DQN+LSTM),加速算法的收敛。实验结果表明,DQN+LSTM算法要比DQN+RC算法的收敛速度快2000训练步,且收敛之后时隙利用率要高出8%。有优先级的网络对优先级最高的无人机延迟改善了83%。