智能水下机器人(Autonomous Underwater Vehicle,AUV)是海洋资源开发的关键装备技术之一,随着作业任务越来越复杂,对AUV自主决策能力要求也越高。规划技术是实现AUV智能化决策的重要手段,决定了 AUV与外界环境的交互能力,是自主完成作业任务的前提基础。本文重点研究复杂环境下的全局规划和局部行为重规划技术,以隧洞探测任务为典型应用背景,结合人工智能技术,将分层强化学习方法应用到AUV全局航路规划任务中,将深度强化学习应用到AUV行为重规划方法中,并有机的结合全局航路规划和局部行为重规划,赋予AUV规划系统自学习能力,提高环境自适应性。首先针对全局航路规划中复杂环境状态的维数灾问题,深入分析了分层强化学习方法的理论与应用,由高到低建立了全局航路规划任务的分层结构,包括:航路规划根任务层、子任务选择层和基本动作层,这种方法易于拓展,可以将问题分解到低维空间上求解。然后,基于分层强化学习算法的原理设计AUV全局航路规划模型:建立环境状态模型和动作模型,设计航路规划任务的评价函数。最后搭建仿真试验平台进行试验以验证算法的准确和实用性。针对复杂动态环境下的AUV行为重规划问题,采用深度强化学习算法,设计了基于多行为网络调用的行为重规划体系结构。然后构建了行为重规划系统模型,规划系统以深度学习网络提取连续环境特征,以强化学习输出动作的近似值函数,形成环境状态-动作的映射,解决了连续环境状态下的感知和决策问题。针对隧洞探测任务的需求定义了趋向目标点、墙壁跟踪和避障三种典型行为,分别构建了对应的行为网络。针对每种行为目标,设计对应的输入环境变量和奖惩函数,构建了基本动作空间。针对墙角问题,提出了基于虚拟目标点改进的墙壁跟踪方法。最后基于Python平台搭建仿真环境并编写学习算法,进行了单一行为在多种环境下的仿真试验以及多行为调用试验。本文将强化学习算法与AUV规划系统相结合,提高了 AUV的自适应水平和自主决策能力。全局航路规划是任务的前提,AUV在实际执行过程中根据全局规划输出的路径点,通过调用行为网络依次达到路径点从而完成任务。在行为重规划系统中针对不同行为需求构建不同的网络模型,使AUV在作业过程中根据实时环境调用相关的行为网络,提高AUV在复杂未知环境下的规划水平。