随着近年来无人机的自主性和灵活性得到了很大程度的提高,无人机已经是一种重要的飞行设备并被广泛的研究和应用。然而由于无人机执行飞行任务时输入的地图不够精确所带来的环境不确定性,以及外界环境的干扰或是自身模型的不确定性带来的控制扰动,使得对无人机自主飞行能力提出了更高的要求。强化学习作为当今热门的一种机器学习的研究领域,为无人机的在具有环境不确定性和干扰的情况下进行路径规划和控制提供了新的解决方案。本文结合固定翼无人机并围绕上述几个方面展开以下的研究:针对传统单一的PID控制器对固定翼无人机姿态控制鲁棒性差并且无法解决外部环境与内部模型参数具有不确定性的问题,设计了一种基于近端策略优化与传统PID的串级控制器,将无人机当前状态作为强化学习控制器的输入,输出作为PID控制器的输入。经过训练后的强化学习控制器,可以根据固定翼无人机的状态的输入以及模型参数,对固定翼无人机进行精准控制,从而克服了控制中响应慢、外界和模型不确定性的扰动等问题,提高了控制的鲁棒性。防止因为在恶劣环境下使用单一控制器导致控制策略固定且单一使得无人机坠毁从而造成损失。针对固定翼无人机在输入地图不够精确所带来的环境不确定的情况下对固定翼无人机进行路径规划,设计了一种基于球型膨胀和双深度Q网络（SE-DDQN）的两层结构的路径规划算法,实现对不确定环境的适应性同时使得规划路径能够满足固定翼无人机的动力学约束。在第一层中,利用球型膨胀的算法不考虑环境不确定性以及固定翼无人机的动力学约束的情况下快速的生成一条初始路径,并从初始路径中选取合适的子目标点作为第二层优化器的输入。在第二层中,使用强化学习中的深度Q学习算法在样本环境中训练出的局部路径优化器,生成第一层选取的相邻子目标点之间子路径,这些子路径均是考虑了环境不确定性和固定翼无人机的动力学约束。最后将所有优化而成的子路径依次连接便得到了最终的飞行路径。最后,为了验证提出方法的可行性和有效性,在Matlab环境下对局部路径优化器和控制器进行了训练,搭建了飞行环境对上述方法进行了实验验证,并与其他一些同领域的算法进行了对比,实验结果表明所提出的方法在固定翼无人机路径规划和控制方面具有很好的性能。