在现阶段空空攻防战中,末制导律阶段由于其作为弹目最终交汇条件的判断依据,因此在控制领域中收到广泛关注。现如今,基于末制导律的设计方法多采用传统的比例制导律或其变种,其在理想情况下效果尚可,但在现如今目标机动方式多变、环境存在噪声的末制导场景下,其制导性能较差,因此新型制导律的研发与设计成为了当今的研究热点。针对于传统比例制导律中的导航比系数为一定值,而不能随着弹目当前所处状态的变化而令制导导弹采取相应的导航比,即无法自适应调整各个时刻、各个状态下的比例系数,来增加末制导的灵活性这一缺陷,众多研究者转向研究可变系数的制导律设计方法,并结合发展迅速的机器学习技术和深度学习技术,尤其是针对长序列交互问题的强化学习技术给出了一系列的智能制导律设计方法。但由于相关技术本身的收敛效率低下,导致不能够有效应用于末制导拦截场景中或制导精度较差。因此,一种高效率地、能够敏感捕捉当前状态下所执行策略的价值的强化学习技术是现阶段末制导律设计方法是关键的创新点和突破点。本文集中于基于强化学习的末制导律设计方法性能较差的问题,通过多维度、全方面地总结并应用两种基于回溯思想的高效强化学习算法设计自适应的末制导律,实现制导性能和制导精度的提升。本文首先针对末制导问题进行马尔科夫决策过程的设计与高度贴合真实战场的仿真模型建模;其次,本文将利用两种高效的强化学习算法,即基于回溯思想的高效Q-learning自适应导航比末制导律设计方法与基于回溯思想的EBDQN反向更新高效自适应导航比末制导律设计方法,将其与现有的强化学习方法以及传统领域的经典方法和高适应性的优秀算法进行对比,通过多维度的实验全面地证明本文应用的两种方法在脱靶量、稳定性、抗干扰能力等多个方面相较于常见的强化学习方法以及传统方法有着大幅的提升,体现了其高效性和在真实战场下的应用价值,同时也可以为相关领域的研究人员在设计新型制导律时提供一定的启示作用。