随着各个科技领域的进步,移动机器人应用越来越广泛,移动机器人的研究与开发也越来越受到人们的重视。在移动机器人的研究中,路径规划是很关键的问题之一。它是机器人执行各种任务的基础,反映了机器人在运动过程中与周围环境交互的能力。移动机器人在动态环境下的路径规划尤具现实意义。本文主要研究了分层强化学习理论及其解决移动机器人在未知动态环境中的路径规划问题,具体完成的工作有:(1)分析了一般的路径规划方法,研究了从强化学习理论到分层强化学习理论的实现。(2)提出分层强化学习的分层框架。将路径规划系统由高到下分为三层,下层为上层提供服务,且对上层透明,因而易于扩展,降低了在连续状态和动作空间下学习的难度。每层的决策通过相应机器学习实现,以下一层的学习结果为基础,同时,这种方法避免了手工编码所带来的局限性。(3)研究了Q学习的基本原理和算法,针对Q学习收敛速度较慢的缺点,采用局部泛化的CMAC神经网络改进Q学习算法,克服了Q学习收敛速度慢的缺点。在调整CMAC网络权值时,充分考虑已学习数据的可信任度,有效地实现了在复杂环境中的局部路径规划,并且效果明显。在此基础上实现了基于CMAC的MAXQ算法,非常适合机器人动态在线实时控制。(4)把复杂环境中的障碍物分解为静态的凸形障碍物和凹形障碍物,以及不同运动方向的动态障碍物,给出不同类型障碍物的避障方法,成功地解决了复杂障碍物环境下基于分层强化学习的移动机器人的局部路径规划问题。利用VC++在电脑上完成了仿真软件的编写,加入各种学习算法得出仿真结果,证明了这种算法的有效性。仿真实验表明,分层强化学习适合于复杂环境下的路径规划。