无人艇作为新式探索海洋的工具,在智能应用方面的相关研究得到了广泛的关注,无人艇自主导航技术是其实现智能化的关键。随着人工智能特别是强化学习的快速发展为无人艇路径规划问题的解决提供了新方向。本文通过对强化学习进行改进,将其应用于无人艇全局路径规划问题中,并通过将其与局部路径规划算法结合,保证无人艇在有效躲避障碍物、顺利到达目标点的同时,规划出一条最优路径。主要的研究工作如下。首先,通过对无人艇发展现状、全局路径规划算法和局部路径规划算法的研究,明确课题研究背景和意义。对本文的无人艇数学模型进行建模并介绍了无人艇避障基本理论。其次,针对无人艇全局路径规划,提出了改进的Q学习路径规划算法。针对Q学习算法探索利用不平衡的问题,提出了动态调整?-greedy随机策略参数?的方法,通过考虑成功率使得算法可以根据学习的不同阶段动态调整探索因子?,从而满足不同学习阶段对于探索和利用的平衡问题。采用shaping思想,根据已知信息建立势场模型,使目标点势场值最大,障碍物势场值为零,远离障碍物、靠近目标点的状态具有较大势场值,将势场差值作为回报函数的附加奖励,加快算法的收敛速度。然后,针对海域面积广、障碍物形状不固定等诸多不确定因素,利用Q表进行学习的Q学习算法会出现计算量剧增、维数爆炸的情况,提出了将深度Q网络应用于无人艇路径规划问题中。使用神经网络代替Q表,解决了当状态动作对过多时的Q表过大,占用过多内存的情况,同时通过对神经网络的训练使得算法具备了一定的泛化能力,增强了对环境的适应性。采用基于优先级采样的方式可以有效区分不同样本的重要程度。采用另一个与计算Q值的神经网络相同结构的神经网络作为计算目标Q值的目标网络,加快算法学习过程。在紧急避障状态下,基于启发知识选择动作进行避障,可以为神经网络的训练提供更多避障数据,提高学习效率。通过将该算法与RRT算法对比,证明深度Q网络在处理无人艇路径规划问题上的合理性。最后,提出使用改进的动态窗口法解决航行过程中遇到动态障碍物的路径规划问题。由于评价函数权重因子对路径规划效果起到了决定性作用,因此通过模糊控制根据不同情况实时调整评价函数权重参数,改进算法相比于传统算法可以适应更多环境。再将其与全局路径规划方法结合,最终生成一条全局最优的无碰撞路径。