强化学习是一种重要的机器学习方法,不需要建立环境模型,而是通过不断试错,与环境交互获得知识,改进动作策略,具有良好的自学习和在线学习能力。然而,在具有大状态空间的应用领域,强化学习一直被维数灾难问题所困扰。分层强化学习引入抽象机制实现状态空间降维,将强化学习任务分解到抽象内部和抽象间的不同层次上分别实现,从而每层上的学习任务仅需在低维空间中进行,是解决维数灾难问题一种有效方法,有着广泛的应用前景。分层强化学习方法中的层次结构可以由设计者根据专家知识事先确定,也可以自动生成。由于在复杂环境或者未知环境内学习时,任务层次结构很难事先确定,因此有效的自动分层方法一直是近几年的研究热点。本文主要对以下几个方面进行了研究和探讨:首先,介绍了分层强化学习方法的研究进展,接着对强化学习和分层强化学习的相关理论进行了深入研究,并比较了各种方法的优缺点。其次,研究了模糊聚类方法,针对强化学习任务的特点,提出了一种改进的基于遗传算法的模糊聚类方法。最后,提出了一种新的分层强化学习方法。将改进的模糊聚类方法融合到分层强化学习中,对大状态空间进行自动聚类,达到状态空间的降维,并以生成的聚类子空间为基础构造子任务,进而实现学习任务自动分层。通过实验结果证明了该算法的有效性。