强化学习从属于机器学习领域并且是一个重点研究方向,一般用来处理序贯决策问题。其主要应用于众多带有交互性和决策性的问题,这些问题是常用的监督学习和非监督学习方法无法很好处理的。通俗的讲,强化学习就是让智能体连续的同外部环境交互学习,进而完成某个所期望目标的一种模拟人类的学习方法。由于强化学习存在“维数灾难”这一未攻克的难题,分层强化学习领域引入了抽象机制来尽可能的减轻该问题带来的影响。但例如Option、HAM与MAXQ这些经典的方法在智能体开始学习任务之前,均必须人为的去构造它的层次结构,因此在先验知识不足的时候,便会出现所得效果不理想的情况。针对上述问题,提出基于KMeans++和后续表示的Option发现算法。首先对状态空间的后续表示SR进行KMeans++聚类得到子目标集合,其次在不使用外界奖励的情况下,通过潜学习得到Option,其中潜学习不仅从局部上使得每个类的状态逐步靠近该类的聚类中心,而且还从整体上使得每个状态逐渐靠近后续表示SR值最大的状态,然后使用SMDP-Q-learning解决任务,最后利用Grid-1和Grid-2环境验证算法的性能。h-DQN是一种基于内在激励和时空抽象的分层深度强化学习算法,但是h-DQN需要人工设定中间目标的这种方式限制了该模型的使用场景。统一的无模型分层深度强化学习算法利用无监督方法自动求得子目标集合,但在较为复杂环境下得到的候选子目标不是很理想,导致Agent效率低下,效果不是很好。针对这一问题,提出了基于聚类算法的分层深度强化学习。首先利用最近过渡经验集合,将分布异常检测算法和聚类算法结合自动求得子目标候选集G,其次使用改进的kWTA为子目标集合G中的每个子目标建立一个Controller神经网络并对其进行预训练,最后利用Meta-Controller和Controller框架训练整个任务,实验结果表明了此算法在较复杂的环境中也能取得不错的效果。