近年来随着人工智能领域的飞速发展,强化学习算法作为人工智能领域的经典算法受到了广泛的关注与研究。而稀疏奖励问题作为强化学习算法面临的主要挑战,因为其与实际生活中面临的问题的贴合性,成为了人工智能领域的一个研究热点。利用强化学习算法解决稀疏奖励环境具有着非常重要的实际意义与应用价值,可应用于无人机控制、无人驾驶和自由度机械臂等多个领域。分层强化学习是强化学习中主要用来解决稀疏奖励问题的算法框架。本文主要工作为针对目前的分层强化学习算法存在智能体探索环境的效率过低、缺乏泛化能力和对环境的特征感知模块无法获取特征长程关联性等问题,提出以下两种创新的用于解决稀疏奖励问题的分层强化学习算法:1.基于深度网络的多目标分层强化学习算法。该方法在现有基于Feudal分层结构的基础上进行设计,创造性地在每个时刻为执行策略设置了多个子任务,对应了多个子目标,这种方式使得智能体可以更简单的获取到奖励,并且同时学习从多个维度对环境进行控制,极大的提升了算法的学习能力与探索效率。2.基于自注意力机制与嵌套LSTM的特征感知方法。该方法提出了一种基于自注意力机制与嵌套LSTM的特征感知模块来获取输入图像的特征与特征之间的长程关联性以及输入图像与输入图像之间的长程关联性,提高了算法对于输入信息的利用效率。该方法拥有自注意力模块与嵌套LSTM模块,其中自注意力模块致力于寻找卷积特征间的长程关联性。嵌套LSTM从输入数据的角度提升了特征提取模块的记忆能力,这在一定程度上提升了我们的分层强化学习算法在稀疏奖励环境上的探索效率。为了验证提出的两个方法对于解决稀疏奖励任务的有效性,本文对以上的两个算法模型进行了充分的实验验证和比较。在强化学习算法最具有代表性的Atari游戏环境上进行实验,并以数种近年有代表性的分层强化学习算法为基准作对比。实验结果表明,以上两种算法都比作为基准的分层强化学习算法在算法的探索效率和泛化性能上有了明显的提升。