强化学习是一个很重要的机器学习方法,得到广泛地应用,但也存在着一些有待解决的问题。分层强化学习将任务分解成若干子任务并对其进行分别求解,可以有效解决经典强化学习中的“维数灾”问题,分层深度强化学习可以解决深度强化学习中稀疏奖赏的问题。在分层深度强化学习中,Option是分层深度强化学习的一个主要框架,其表示动作抽象。基于Option的方法中,常常通过子任务的目标（子目标）来构建Option。但这类方法存在着无法智能发现子目标,无法得到最优子目标数量以及无法智能构造奖赏机等问题。针对此,围绕着子目标发现,优化子目标数量以及以及通过子目标来构建奖赏机等方向展开研究,提出了基于动作抽象的分层强化学习研究,主要包括以下三部分内容:（1）经典的分层深度强化学习算法难以解决自动发现子目标的问题,针对此问题,本文提出一种基于计算机视觉的自动子目标识别的分层深度强化学习算法（Hierarchical Reinforcement Learning with Automatic Subgoal Identification,ASIDQN）。其利用计算机视觉的方法自动识别子目标,然后将子目标作为输入,实现智能控制,减少了人工干预。ASIDQN算法实现了自动发现子目标,实验验证了算法的性能。（2）一般的Option-Critic算法需要人工来指定Option的数量,建立对应个数的Option,解决任务。但是这种方式所依据的Option数量往往不是解决任务所需的最佳Option数,针对此问题,本文提出了基于优化子目标数的Option-Critic（Option-Critic Algorithm Based on Sub-goal Number,SOC）算法。通过与环境进行交互得到初始的目标数,生成对应数量的Option,以这些Option得到的奖赏值作为反馈给算法进行优化,求得最优解或近似最优解所对应的子目标数。SOC解决了Option数量需要人工指定的问题,实验验证了算法性能。（3）通过奖赏机可以对任务进行分解,但是需要采用人工方式来构建奖赏机。针对此问题,本文提出了一种基于子目标构建奖赏机的分层强化学习算法（Hierarchical Reinforcement Learning Algorithm Based on Subgoal Formation of Reward Machine,SQRM）。SQRM算法是一种基于子目标来构建奖赏机的算法,无需通过人工来指定奖赏,只需要通过找到对应任务下的子目标,以此为依据即可构造奖赏机。SQRM实现了智能构造奖赏机,实验验证了算法性能。