随着人们生活水平的不断提高,人们对电视动画、电影特效以及电脑游戏中的画面等都提出了更高的要求,在许多电影特效和游戏动画中,常常需要酷炫的角色运动画面。传统的基于关键帧的运动片段生成技术,需要专业人员进行大量的手动关键帧筛选工作,冗余度较高。近来,随着计算机计算能力的大幅提升,基于物理仿真的方法逐渐流行起来。该方法用计算机模拟自然真实角色运动,考虑模拟物体在真实世界的属性与环境的交互过程,不必关心物理运动过程的细节。经过近几年的发展,它已成为一种具有潜在优势的运动模拟技术。现有的基于物理仿真的角色运动控制技术大多将角色运动的环境设定为平坦地形,不考虑更复杂的地形因素。强化学习常用来解决与环境交互下的决策问题,为控制物理仿真角色提供了理论依据,而神经网络在特征提取上又有着非凡的效果。针对大部分控制器不能输出有效适应不同地形策略的问题,本文采用Bullet物理引擎,提供仿真狗角色模型,搭建了一种基于深度神经网络的控制器,使用离线策略下的强化学习算法实现了仿真狗在不同地形下的运动控制,从而实现适应地形运动的目标。首先,建立具有高维连续状态动作空间的马尔可夫决策模型,包括仿真角色状态的表示,动作参数的选取,以及报酬函数的构建,将控制问题转化为一系列的决策过程;然后,基于有限状态机的行为建模,将一个运动周期分为4个阶段,建立一个运动周期过程状态转换模型,完成一次完整运动的低层控制;搭建深度神经网络,输入角色高维连续状态和地形特征,给出不同的深度强化学习算法训练网络,从而实现高层动作参数的输出。通过搭建仿真平台,训练神经网络的参数,本文验证了深度神经网络与强化学习算法结合,对不同地形下仿真狗运动控制的有效性,实现了仿真狗在动态环境中适应地形的运动。