依托于新一轮人工智能领域的关键技术突破,四足机器人运动控制技术与人工智能的深度融合逐渐展现出广泛的实际意义与应用价值。为了解决深度强化学习实现四足机器人运动控制仍然存在的相关难点,本文设计了能够实现四足机器人自主调整步态以适应仿真地形与现实复杂地形的深度强化学习运动控制器。本文研究内容如下:1、通过D-H法分析了十二自由度四足机器人的运动学。针对四足机器人的动力学映射关系不易寻找的问题,设计基于中枢模式发生器的四足机器人步态生成方式。2、设计了深度强化学习训练算法应用于四足机器人运动控制。针对复杂地形的运动控制任务中,强化学习训练出现的探索空间过大,数据收集较慢,训练收敛差的问题,设计了一种结合中枢模式发生器与分布式近端策略优化算法的深度强化学习训练算法。算法通过多个子进程同时收集数据,主进程进行策略更新的方式既能够提高数据收集效率,又能够借助近端策略优化算法本身的优势,使得训练的策略效果能够稳定得到提升。训练过程中中枢模式发生器的引入是作为步态的先验知识,不仅解决了十二自由度四足机器人步态先验知识获取较难的问题,最重要的是能够有效降低强化学习策略的探索空间,加速训练的收敛。3、为了拟合现实世界的多样性,在仿真中搭建了一系列复杂地形,包括崎岖地形,不同高度的斜坡与台阶,以及多类地形的组合地形,针对不同地形设计了相应的奖励函数并且进行了四足机器人的训练实验,实验证明通过本文的算法训练,四足机器人能够自主调整步态适应复杂地形,包括未经训练的测试地形。4、针对强化学习策略迁移到实际四足机器人存在无法避免的模型差异以及策略对现实环境的鲁棒性差等难点,设计了能够提高强化学习策略鲁棒性的方法,包括采用高性能处理器降低控制延迟,在训练时将地形参数随机化,自适应模型参数,缩小状态空间等方法。然后介绍了深度强化学习策略的具体迁移步骤与流程,最后成功在崎岖,台阶,斜坡等现实复杂地形中完成了强化学习策略到实际四足机器人硬件平台的迁移实验。