优良的步行控制策略能够帮助仿人机器人适应多样化的工作场景,而步行过程中的稳定性控制更是步态规划研究的难点和重点问题。本文针对仿人机器人的步行稳定性问题,设计了基于强化学习的自适应在线稳定性控制策略,实现了仿人机器人步行过程中的实时稳定性控制,并开发了机器人联合仿真系统进行实验验证。主要工作如下:(1)针对仿人机器人在非水平环境中行走时容易受路面影响而导致步行不稳定的问题,提出了一种结合离线步态规划与在线关节角度补偿的双足行走控制方法。该方法基于Actor Critic(AC)强化学习算法建立仿人机器人的自适应控制模型,以BP神经网络拟合控制策略,通过接收连续状态信息,实现了输入信号到输出关节角度补偿值的端到端控制,并使用三次样条插值法实现了动作之间的平滑过渡。此外,设计了连续立即回报函数,提高了学习过程的收敛速度。(2)针对仿人机器人的仿生特性和小脑在步行中的平衡控制作用,本文基于强化学习理论建立了仿小脑的控制模型。该小脑模型的建模以小脑的解剖学结构和神经电信号在小脑中的传递过程为基础,以模块化的设计方式将小脑模型分为状态编码模块、小脑功能模块、运动映射模块以及下橄榄反馈模块四个部分。结合时间差分(TD)强化学习算法获得环境反馈的评价性信息来调整行为策略和相关突触的权值,使小脑模型具备了学习能力。最后,基于TD强化学习小脑模型建立了在线稳定控制器,其能够在离线步态规划的基础上,自适应地对仿人机器人的下肢关节进行调整,提高步行稳定性。(3)为了提高研究效率,使开发过程更加方便快捷,搭建了跨平台、跨语言的机器人联合仿真系统。通过相关的库函数和应用程序接口,实现了C++程序对Python脚本的调用以及双向信息传递,并且使用MATLAB Engine实现了MATLAB与Webots的实时通信。研究与开发实践表明该仿真系统可以同时利用Python、MATLAB和C++语言的优点进行机器人控制程序的开发,为后续控制算法的研发与验证提供了平台。(4)在机器人联合仿真系统中对本文提出的AC强化学习仿人机器人控制方法与TD强化学习小脑模型控制方法进行了仿真实验,以坡度变化的斜坡作为实验环境进行测试,结果表明,两种控制方法都能实时调整机器人的姿态,增强其在行走中的稳定性。本文深入研究了仿人机器人步态规划、强化学习、小脑模型,开发了仿人机器人的稳定步行控制策略,并基于此策略构建了步行控制系统,对强化学习和小脑模型的应用以及仿人机器人控制策略的发展起到了促进作用。