如何表示数据和怎样自动发现options是强化学习面临的两个巨大挑战。近年来分层强化学习在解决“维数灾难”问题方面取得了显著进展,其主要思想是将任务层次分解为子任务,从而加速智能体的学习和规划过程。目前的层次化分解方法基本都是根据先验知识预先设计好的,并不是自动生成的。特别是在动态变化的复杂领域,单凭先验知识预先设计层次结构,在实际应用中很难实现。子任务的自动发现问题已经成为分层强化学习研究领域的热点。流形学习作为一种重要的特征表示和降维技术,在模式识别中得到了广泛的研究。特征表示不仅对模式识别至关重要,而且对解决具有大规模或连续状态空间的序列决策问题也至关重要。因此,对于强化学习算法,非常有必要研究各种具有不同属性的特征学习方法,从而使其在不同的情况下获得更好的性能。为此,针对目前options发现方法中仍然存在的一些问题与不足,本文主要从策略构建方面和options的构造方面展开研究,提出相应的改进算法。主要研究工作如下:第一,针对options发现问题,本文提出了一种基于拉普拉斯特征映射的options自动发现算法。该算法通过PVFs间接定义options来解决options自动发现问题,通过定义特征目的和特征行为的概念,从特征目的中发现的options引导智能体遍历整个状态空间,所发现的options在不同的时间尺度上起作用且容易被序列化,可以帮助智能体更好地探索环境。此外,本文所提算法采用?-贪心策略来平衡探索和利用,行为策略在原生动作集和options之间以一定比例进行选择,有助于智能体探索整个状态空间,从而改进探索。第二,当前的options发现算法不能和表示学习结合起来,此外,目前的特征选项发现算法仅可用于状态可以被枚举的环境中。针对这一问题,主要介绍了利用表示学习方法指导options发现过程的思想,通过后继表示(SR)估计DIF模型来解决上述问题。在options自动发现的基础上,利用PVFs和后继表示之间的等价性,定义了一种新的奖励函数,提出一种能够在学习表示的同时发现特征选项的算法。经过学习的SR替换了组合拉普拉斯矩阵,被用来发现特征选项。经实验证明,通过SR近似估计DIF模型得到的特征选项确实有助于智能体探索环境,如果能够快速地估计它,那么在环境中使用SR来近似DIF模型会更有意义。