无人水下航行器(Unmanned underwater vehicle,UUV)在水下执行任务过程中,由于风、浪、海流等因素的影响,同时也因为自身操纵和执行系统本身的误差,其航行轨迹不可能完全和预定航线吻合。因此在航行过程中,应该持续对UUV进行检测,并在其严重偏离预定航向的时候,自动控制,令其重新回到预定航线上。本文针对UUV在未知环境下的三维航迹保持问题开展研究,主要进行了如下几方面的研究工作:首先,介绍UUV和UUV航迹保持技术的国内外研究现状,并对UUV的运动模型进行研究。在建立适用于UUV运动的固定坐标系和运动坐标系基础上,得出UUV的运动学方程,并对UUV所受的几种作用力进行分析,从而得出UUV的六自由度动力学方程。在不影响UUV运动学特征的前提下,根据论文研究需求将UUV的六自由度模型简化为四自由度模型,并选用三种典型运动对UUV模型进行仿真研究,通过分析位置距离、艏向角、速度等信息验证UUV模型的准确性。其次,对UUV航迹保持算法进行研究。在UUV航迹保持领域的研究中,对控制系统的设计大多采用滑膜控制、反步控制、固定参数的PID控制等传统控制方法,为更好的应对复杂多变的环境以及其他干扰的影响,将强化学习中的Q学习算法与BP神经网络进行融合,通过分析UUV在航迹保持过程中存在的强化学习问题,设计出改进的BP神经网络-Q学习算法,利用BP神经网络良好的逼近特性对Q函数进行逼近,使之能够对连续状态的UUV进行学习优化。再次,对UUV航迹保持控制系统进行设计。控制系统由四个控制器组成,并分别对北向位置、东向位置、深度、艏向进行控制。四个控制器均为基于BP神经网络-Q学习算法的自适应PID控制器。四个自适应PID控制器协同配合,不断优化UUV的航迹保持效果。最后,对自适应PID控制器进行设计。通过对自适应PID控制器各模块的设计,使自适应PID控制器能够对控制参数进行实时整定,并对最优的PID控制器参数进行主动学习,很好的解决了传统PID控制器存在的控制参数无法自动调整、对环境适应性差等问题,并通过典型航迹对自适应PID控制器的参数整定效果和有、无干扰两种情况下的UUV航迹保持效果进行仿真验证。