四足机器人具有灵活的避障能力和攀爬能力,可以穿越崎岖地形。合理的步态控制策略是实现四足机器人在复杂地形下的稳定运动的前提条件。目前四足机器人步态控制方法可以分为两大类:基于模型的步态控制方法和基于数据的步态控制方法。基于模型的控制方法主要包括摆动相轨迹规划和支撑相力矩控制。基于数据的步态控制方法又分为两类:1)将轨迹规划和深度强化学习算法相结合。2)独立使用深度强化学习算法从零开始学习,不需要使用任何的先验知识。为了提高四足机器人在前进过程中的运动稳定性和对凹凸地形的自适应能力,本文将深度强化学习算法融入到传统的四足机器人的步态控制中,本文的主要研究内容如下:1、首先总结了四足机器人主要的步态控制的方法。然后介绍了基于深度强化学习的四足机器人步态控制研究现状,对几个具有代表性的研究成果进行了分析。然后介绍了深度强化学习领域最新的三种算法并提出了一种可以提高鲁棒性的深度强化学习策略融合方法:三个算法TD3、SAC、PPO分别训练好各自的策略网络之后,将三个算法各自的决策神经网络单独取出来,将这三个网络并行运行,其输出的加权平均作为最后的策略输出。2、在solidworks中进行三维建模,搭建自己的四足机器人模型并利用sw＿urdf＿exporter插件制作模型对应的URDF文件。然后对该四足机器人模型的正逆运动学分析。然后进行四足机器人步态控制系统的总体设计,并分析传统控制方案和基于深度强化学习的控制方案的区别。然后进行四足机器人的单腿轨迹规划,包括摆动相轨迹设计和支撑相轨迹设计。最后进行四足协同控制器的设计,实现了Tort步态。3、将深度强化学习算法融入到传统的四足机器人的步态控制中,提出了一种新的融合方案:基于半固定参考轨迹的步态控制器。传统的融合策略都是基于固定参考轨迹的步态控制器。新的融合方案采用半固定步态的足端轨迹设计,将基于贝塞尔曲线的摆动相轨迹和基于平衡点假设的支撑相轨迹（阻抗控制的理论基础就是平衡点假设）进行参数化,针对不同的环境会生成不同的轨迹,以此来达到四足机器人对不同地形的适应性。通过深度强化学习算法来优化轨迹参数,通过轨迹参数的调整来达到对四足机器人速度和能耗控制的目的。4、搭建pybullet仿真环境,然后对部分环境参数添加随机扰动以增强控制系统的鲁棒性。建立一个随机高度的非平坦地形用于对步态控制策略进行测试。首先对上文提出的深度强化学习策略融合方案进行验证,将半固定轨迹参数PPO单策略步态控制器和半固定轨迹参数融合策略步态控制器的测试结果对比,发现采用融合策略可以有效的增加系统的鲁棒性。然后对上文提出一种新的轨迹规划和深度强化学习算法结合方案进行仿真验证,将半固定轨迹参数融合策略步态控制器和固定轨迹参数融合策略步态控制器的测试结果对比对,发现采用半固定轨迹参数可以有效的提高四足机器人对随机环境的自适应能力和运动稳定性。最后通过比较传统控制策略和基于深度强化学习的控制策略,以验证深度强化学习控制策略的有效性。然后搭建了实物平台,包括四足机器人pupper的软件系统和硬件系统,并进行了传统控制算法的实现。