双足机器人步行运动控制是机器人研究领域中最为复杂的,一直以来都受到广大机器人研究者的广泛关注。传统机器人控制算法需要对机器人建立精确的数学建模,并且算法的鲁棒性差;而实体样机结构复杂难以进行精确建模,影响最终的控制效果。近年来人工智能得到高速发展,大量学者使用增强学习实现机器人的步行控制,但现有基于增强学习的机器人步行控制通常需要引入参考步态,传统增强学习存在难以实现动作连续化和状态连续化的问题。针对以上问题,本文将搭建基于异步优势评价动作-评价(Asynchronous Advantage Actor-Critic,A3C)算法的机器人步行学习系统,无需引入参考步态。并且针对将训练结果用于实体样机验证时,样机处理系统计算能力弱,系统实时性差,影响训练效果的问题,本文在片上系统(System on Chip,SoC)上对所训练的机器人步行控制神经网络进行加速。本文主要研究工作为:1.分析最简被动双足机器人的动力学模型,讨论脉冲推力对最简双足机器人步行运动的影响,并进行数值仿真,针对其不足提出髋关节驱动和脉冲推力作用下的带伸缩膝双足机器人模型。2.在仿真环境V-REP下搭建改进后的双足机器人模型,并搭建基于增强学习A3C算法的平面双足机器人步态学习系统。3.结合工程调试经验对所设计控制器的状态观测向量和动作执行向量作进一步优化调整,对比不同的学习网络模型的训练效果;通过构建与奖励值相关的更新周期函数,进一步提高训练后期的稳定性,最终经过训练的神经网络能控制平面双足机器人在仿真环境下以1.5km h的速度稳定行走5500多步。4.在SoC上设计一种面向复杂神经网络的加速器设计及其调度机制,对隐含层间的计算重新调度排列,消除数据的依赖和冲突,采用流水化设计思想对系统优化。采用多模块化的设计思想,将隐含层的复杂计算划分为多个子模块,一定程度上消除了存储墙问题,对加速器作进一步优化,提高系统的并行计算能力。最终对在SoC上对训练后的机器人步行控制神经网络实现了加速,提高了机器人控制系统的实时性,为后期训练结果在实体样机上的验证奠定基础。