本课题针对室内环境下人形机器人稳定行走的需求,结合深度强化学习相关算法,进行了人形机器人平台、人形机器人运动学分析、双足步行运动步态规划、人形机器人步态稳定性控制等方面的相关研究。首先,本文针对SHR-9S人形机器人平台在室内环境下的行走稳定性较差的问题进行研究与分析,采用基于STM32的控制器完成了 SHR-9S机器人控制系统设计。分别从硬件结构和软件系统两个方面对SHR-9S人形机器人进行研究,为机器人行走方式验证提供了硬件基础。其次,基于机器人运动学基础,针对SHR-9S人形机器人建立世界坐标系、参考坐标系以及各关节的局部坐标系。采用运动学分析中常用的D-H方法对人形机器人进行运动学建模。并依此对机器人各个关节之间的关系进行解算,为步态规划研究提供了数学基础。然后,本文基于人形机器人ZMP稳定性判据和三维线性倒立摆模型对SHR-9S人形机器人进行建模,通过分析机器人质心和ZMP轨迹之间的相互作用关系,对机器人的质心在步行阶段的运动轨迹进行规划,采用三次样条插值的方法对机器人相关轨迹进行插值运算,并将得到的步态轨迹应用到实际机器人中,实验结果表明运动时机器人质心轨迹与预期相符,且机器人能够稳定行走,从而验证了该种人形机器人步态规划方式的准确性。最后,为了进一步解决人形机器人在室内环境下行走稳定性控制问题,结合SHR-9S人形机器人数学模型,提出一种基于深度确定性策略梯度算法的人形机器人步态控制方法,针对机器人步行时的特点,设计相应的状态观测值并建立合理的奖励函数,搭建相应的算法仿真环境,对相关算法进行仿真验证。实验表明,基于深度确定性策略梯度算法的人形机器人步态稳定性控制方式可以很好的控制人形机器人稳定行走,机器人关节角度轨迹呈现良好趋势,与课题预期目标相符。