得益于无人机的低成本和灵活移动性,无人机已经被应用于各类复杂通信场景。传统的无人机通信轨迹规划都是将问题进行人工数学建模后进行优化求解,常假设信道模型为简单的视距链路（Lo S）或者概率Lo S,获得关于无人机位置的函数表达式后,再用凸优化技术进行路径规划。由于信道的时变性和无人机的移动性,传统的建模和描述过于简单,获得的轨迹无法指导无人机的实际应用。深度强化学习是一种在复杂的动态环境中进行最优决策的方法。在动态的低空网络中,对无人机轨迹和资源等参数进行优化,实际上就是一个动态环境中的最优决策问题,与深度强化学习的目标相契合。因此,本文抛弃了传统的基于建模的求解方法,采用DRL构建低空网络的信道环境,生成无线电地图,然后利用无线电地图辅助无人机轨迹优化。如何利用无人机的机动性去更高效的构建无线电地图并完成通信任务,是一个值得研究的问题。本文致力于探究基于深度强化学习算法无人机轨迹优化策略,具体的研究工作如下:一、考虑一个地面蜂窝网络连接的无人机通信场景,通过地面基站实现对无人机的控制,为无人机设计轨迹实现任务完成时间的最小化。为确保安全,需要尽可能地保证无人机与地面网络的连接可靠性。而考虑到低空中基站的覆盖存在覆盖黑洞这一现实情况,我们针对连接约束提出了两种不同的度量标准,基于这两种标准制定了无人机的飞行时间最小化问题。第一,在飞行过程中,无人机单次中断的时间小于一个设定的阈值。第二,无人机的多次中断的累积时间不超过给定的阈值。我们提出了一种基于Dueling DDQN的多步学习算法,将飞行时间最短建模为马尔科夫决策问题,合理地设计强化学习基本元素:状态空间、动作空间以及奖励函数,仿真结果证明了所设计的深度强化学习算法的有效性,能够很好地解决移动感知轨迹设计问题。二、面向无人机无线供能通信网络的场景,无人机给地面设备供能同时接收基站发送的数据,研究联合无人机总能量传输最大化、总数据吞吐量最大化以及能耗最小化问题,提出无人机飞行轨迹设计和飞行策略优化。我们使用了改善的DDPG算法来获得无人机的控制策略,将动态的无线功能网络问题转化为马尔科夫序列决策问题,并设置多维的奖励函数对应着上述三个优化目标,数值结果验证了DDPG算法的有效性,能够优化路径以较小的能耗供应更多的能量同时接收更多数据。与提出的最大速度和最节能速度两个基准方案相比,DDPG算法能够得到最优的策略。