双足机器人形态拟人,具有多关节的结构,已经在灾害救援、商业表演、家庭娱乐等领域投入使用,得到了研究者的广泛重视。近几年来,许多研究者投身于深度学习结合强化学习在双足机器人上的应用研究。然而大多数的研究依然停留在较为简单的步行运动控制上,无法充分挖掘双足机器人多关节的潜力和发挥深度强化学习算法的训练优势。强化学习,结合深度学习的表征能力,可根据机器人与环境进行互动产生的数据进行不断地优化与学习,从而得到一个无需人工设计的控制器。本文针对双足机器人较复杂的跳远运动问题,开展基于深度强化学习在双足机器人跳远运动控制上的研究,主要研究工作为:首先,分析了双足跳远运动。双足跳远运动需要在一定方向上有足够的力才能向上跳跃完成跳远运动,并分析深度强化学习算法模型;构建了用于深度强化学习的相关仿真训练环境,最后选择使用Pybullet仿真环境做进一步地研究。其次,设计了人类运动重定向算法。在Pybullet仿真环境的无重力条件下,基于捕捉的人类动作中关键点的三维位置信息,设计重定向算法将人类运动重定向到NAO双足机器人上。研究结果表明,基于人类跳远动作的关键点信息,所设计的人类运动重定向算法可实现NAO双足机器人在无重力条件下的跳远运动,得到跳远运动的关节角度数据。最后,设计了输入空间、奖励函数和输出空间。分析双足跳远运动的特点和深度强化学习算法的改进;基于重定向获得的关节角度数据,将肩部、足部等关节角度数据作为输入状态空间的一部分,同时,将脚底传感器的反馈作为奖励函数的一部分。实验研究表明,基于设计的输入空间、奖励函数和输出空间,提高了跳远运动的训练效率和奖励值的收敛效率以及系统的鲁棒性,可实现NAO双足机器人向上跳跃的运动。本文设计的方法,通过强化学习的学习能力和深度学习的表征能力,能够令NAO双足机器人通过模仿人类动作实现向上跳跃的运动,挖掘了双足机器人多关节的潜力,为双足机器人的复杂运动开辟了新的道路,能够应用到一些复杂地形的场景上。