传统的无人飞行器航迹规划搜索算法虽然具有很强的路径搜索能力，但面临新的规划任务或飞行环境时，无法从历史经验中获得先验知识并加以运用。强化学习具有通过试探、评价的迭代学习过程获得经验的能力，进而得到使收益最大化的状态-动作映射策略。因此基于强化学习得到的策略可以在未知环境或新任务中将学到的策略作为先验知识，以此提高航迹规划的效率。深度强化学习利用深度神经网络对环境的强大感知能力和特征表征能力获得强化学习中的优化策略，使航迹规划策略学习模型对动态任务或复杂多变的环境具有泛化能力。论文针对多约束复杂环境的航迹规划问题，提出了一种基于深度强化学习的策略自学习方法。结合规划任务、约束条件、飞行环境、优化目标等输入信息的特点设计深度强化学习系统的状态、动作、回报函数、策略-价值深度网络等关键模型。
　　在状态、动作空间的设计方面，通过对规划任务、全局环境和飞行器所处局部环境的图层编码表示，实现了飞行器转弯状态和匹配状态的图像化表示方法；利用两匹配导航点间的复杂约束条件构造转弯点的可行区间和下一匹配导航点的可行域，约减了动作的表达空间，这不仅使得经过探索和决策得到的航迹能够满足复杂的约束条件，而且可以有效地降低决策难度，加快航迹规划速度。
　　在回报函数设计方面，结合现有传统航迹规划系统中的优化目标设计强化学习中的回报函数，同时采用回报成型技术，将启发信息引入回报函数中，提高系统学习效率。
　　在深度强化学习过程的策略学习和表达方面，结合深度卷积神经网络和Actor-Critic方法设计了转弯点规划策略网络和匹配点规划策略网络。规划策略网络分两个步骤进行迭代学习：1)采用蒙特卡洛树搜索方法，基于规划策略网络引导无人飞行器探索环境，生成样本数据。2)规划策略网络对样本数据进行学习，更新策略。蒙特卡洛树搜索具有强大策略改进能力，能产生更优质的样本数据，有利于提高规划策略网络的学习效率。
　　实验结果表明基于论文设计的深度强化学习系统具备自学习能力，能够较好地完成航迹规划任务。所学规划策略在未知环境或新任务中具备泛化能力。