水面无人艇作为无人系统的重要组成部分之一,在科研、民用和军事等多个领域有着广泛的应用。对于无人艇来说,保证其沿着规划路径进行航行并避开障碍物是无人艇执行各项任务的前提条件。因此,关于无人艇的路径跟踪和避障控制算法的研究是十分重要的。由于环境干扰复杂性和无人艇自身欠驱动特性,现有的控制算法在进行路径跟踪和自主避障控制时,常存在参数整定复杂、准确建模困难、复杂计算较多等问题。因此,本文尝试引入深度强化学习算法来解决无人艇路径跟踪和自主避障问题,首先设计了一个适合无人艇运动控制强化学习算法训练的仿真环境,并在该仿真环境的基础上,研究基于深度强化学习的无人艇路径跟踪算法和自主避障算法。具体而言,本文的研究内容如下:①本文构建了一个面向无人艇运动控制的强化学习仿真环境。为了解决无人艇运动控制训练环境缺失问题,本文首先通过对比分析选择合适的水上仿真环境作为基础进行开发,对实验使用的无人艇进行了仿真建模。随后,本文开发了一个ROS软件包对仿真环境和无人艇仿真模型进行封装,并设计了路径跟踪和自主避障场景的生成方法,为后续基于深度强化学习的路径跟踪和避障算法研究提供了基础。②本文提出了一个基于柔性演员评论家的无人艇路径跟踪算法。针对无人艇的路径跟踪问题,本文结合矢量场算法制导,以无人艇的操纵和控制要求为基础,将其转化为马尔可夫决策过程,合理设计其状态空间、动作空间和奖励函数;然后使用柔性演员评论家输出舵角指令,进而实现无人艇的路径跟踪控制。本文在仿真环境中对算法进行了训练和测试,仿真实验结果表明该算法相比于其他对比算法,具有跟踪误差小、航向控制稳定、调节速度快、抗干扰能力较强等优点。③在无人艇路径跟踪算法的基础上,本文进一步提出了一个结合表示学习和柔性演员评论家的端到端无人艇自主避障算法。针对无人艇航行过程中的避障问题,该算法使用激光雷达传感器的点云数据来实时获取周边障碍物的信息,并通过引入表示学习对点云数据提取隐层特征,缓解了深度强化学习算法训练初期学习效率较低问题。仿真环境中的实验结果证明了该算法相比于对比算法在训练过程中可以更快的达到收敛,并且在无人艇路径跟踪和趋向于目标点场景都取得了较高的避障成功率。