当前许多复杂环境中繁重的任务是工作人员不便于执行甚至无法抵达任务现场的,例如一些危险的自然灾害救援工作以及一些高辐射有毒的恶劣环境中的工程作业,这时足式机器人的优越性便凸显而出。在所有的足式机器人中,四足机器人具有结构简单,稳定性好的优点,可以稳定高效地穿越各种复杂地形到达指定的位置,还可以完成一些简单的负重运输任务。因而,研究四足机器人的运动控制具有较高的应用价值。然而,由于四足机器人内部存在弹性元件,且具有强耦合和非线性等特性,使其建模和控制成为急需解决的问题。针对这些问题,本文采用一种经验驱动的智能方法即强化学习,对四足机器人的稳定性、不规则地形行走及速度优化问题开展相关研究。本文以解决四足机器人存在的问题为目的,利用强化学习方法,具体展开如下研究:1.为了研究四足机器人的平衡能力和稳定性,提出一种基于深度强化学习的四足机器人平衡倒立摆方法。在主流的机器人仿真平台V-REP上搭建四足机器人仿真模型;分析四足机器人平衡控制问题,设计平衡控制的马尔科夫决策过程;结合四足机器人的逆运动学和深度强化学习的奖励规则,在奖励函数中添加阶梯函数,提高算法的收敛速度;用改进的确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）与搭建的四足机器人平衡倒立摆模型交互训练,获得四足机器人平衡控制策略。仿真试验验证了所提方法在提高四足机器人平衡能力和稳定性方面的有效性。2.通过分层控制思想,将四足机器人在不规则地形（梅花桩）上的行走任务进行两级分层分解,利用强化学习分别实现落脚点选取和步态生成。将四足机器人的落脚点选取问题构建为强化学习问题,运用价值函数逼近的方法构建高级控制器完成落脚点选取任务;运用近端策略优化算法（Proximal Policy Optimization,PPO）将脚有序地移动到规划好的落脚点,同时保持四足机器人平衡。在V-REP仿真平台上搭建梅花桩地形,将该方法部署到四足机器人仿真模型上进行试验验证,仿真结果表明利用所提方法能够实现四足机器人在水平梅花桩上稳定行走。3.针对四足机器人在梅花桩上行走缓慢的问题,提出一种静步态速度优化算法,使四足机器人能够以更高的步速在一组随机分布的梅花桩上行走。站姿阶段,该算法基于稳定性约束和运动学约束,减小机器人重心的移动距离;摆腿阶段,使身体和脚在有限的关节角速度下以最高速度移动。四足机器人模型在水平梅花桩上的行走实验表明,该方法能够改善四足机器人静步态行走缓慢的问题。