局部路径规划是水下机器人(AUV)导航任务中的难点。自适应性是AUV所必须具有的关键能力。强化学习被认为是获耳义未知环境下自主机器人控制策略的比较合适的方法，最流行的强化学习是Q-学习，因其简单并易于扩展经常被人们所采用。本文主要研究了强化学习理论及其在水下机器人局部路径规划中的应用，具体完成的主要工作有： 研究了强化学习系统的结构模型，确定了强化学习系统的组成；详细讨论了强化学习系统中的输入模块、输出模块及策略模块的实现方法，并结合一般的强化学习系统，分析了强化学习系统的工作原理。 研究了Q-学习的基本原理、算法和相关的几种改进算法，如Q(λ)算法和SARSA(λ)算法；区分了两类强化学习算法：在策略和离策略算法；讨论了SARSA(0)算法的收敛性。为强化学习应用于实时决策系统提供了理论基础和实现方法。 针对标准Q-学习收敛速度较慢的缺点，采用多步在策略SARSA(λ)强化学习算法，该算法克服了Q-学习收敛速度慢的缺点，运行轨迹平滑，训练过程相对比较安全。CMAC神经网络是一个局部泛化网络，相比BP网络有更快的收敛速度和更好的适应性，非常适合用于动态在线实时控制。 本文提出了在连续状念空间的机器人工作环境下多步在策略连续动作强化学习，针对移动机器人局部路径规划问题，用CMAC神经网络逼近连续状态空间和Q函数，产生与标准离散Q-学习网络数据结构相同的连续动作。结果，该方法对于局部路径规划任务很有效，仿真结果表明，该方法在运行性能和收敛速度两方面都优于其它的离散动作的Q-学习。 首次采用路径规划和沿墙壁行走两个强化网络的互相转换，成功解决了复杂障碍物环境下基于强化学习的自主机器人的局部路径规划问题，仿真试验结果表明了该算法的有效性。