二十一世纪作为海洋的世纪,生态、经济、社会等多方面的发展都与海洋息息相关,对于海洋的开发与保护问题是一项长久的人类课题。其中,海洋自主航行器不仅可以大大提高人类对于海洋的探索效率,而且在开发利用海洋资源和保护海洋生态等方面也有重要的研究意义。无人艇作为一种海洋自主航行器,具有体积小、速度快、费用低和自主性强等特点,在恶劣环境中执行危险或枯燥的任务时具有独特优势。本文研究基于深度强化学习的智能无人艇路径跟踪的控制问题,主要的研究工作如下:第一,针对无人艇路径跟踪问题,本文提出了一种基于深度强化学习的全数据驱动的无人艇运动控制方法,克服了基于机理模型的运动控制方法的限制,建立了以数据驱动为核心的无人水面艇端到端自学习建模方法。基于神经网络预测模型,设计了能够实现无人艇路径跟踪控制目标的模型预测控制器。最后,对控制器进行了仿真验证。仿真结果表明,通过利用无人艇基于简单随机射击采样的输入输出数据对深度网络进行训练,提出的模型预测控制器能够使得无人艇准确地跟踪参数化路径。第二,针对无人艇路径跟踪问题,本文对无人艇路径跟踪控制方法进行了优化,采用一种更为灵活的模型预测控制方法即基于信息论为模型预测路径积分控制对无人艇路径跟踪问题进行研究。这种方法可以有效地解决有限范围非线性最优控制问题,不受状态成本函数限制。本文提出了一种基于深度强化学习和模型预测路径积分控制的无人艇路径跟踪控制方法。具体地说,利用深度强化学习方法训练神经网络来逼近无人艇的状态转换模型。然后,基于学习模型,使用模型预测路径积分控制器来获得最优动作。基于采样得到的控制动作,模型预测路径积分控制器通过计算得到最优的控制输入。最终,实现无人艇的路径跟踪任务。并针对直线、曲线等多种参数化路径跟踪问题进行了仿真验证。仿真结果表明,所提出的基于数据驱动的无人艇路径跟踪算法具有良好的性能。第三,针对无人艇避碰路径跟踪问题,设计了无人艇避碰惩罚函数,提出了集成避碰机制的模型预测-路径积分控制器。首先,利用随机输入输出数据对神经网络模型进行训练。其次,针对障碍物设计避碰惩罚函数,构建了集成避碰机制的模型预测-路径积分控制器。最后,对无人艇避碰路径跟踪问题进行了仿真验证。仿真结果证明了集成避碰机制的模型预测-路径积分控制方法的有效性。