灵长类仿生机器人的仿生悬臂运动控制是仿生控制领域极具挑战性的研究热点,具有非常重要的研究意义。本文利用深度强化学习算法,将深度神经网络模型作为机器人控制器,并在机器人仿真环境中对控制器进行训练。主要研究工作如下:针对灵长类仿生机器人的悬臂运动控制问题,设计了面向机器人悬臂运动的深度强化学习算法,并在机器人仿真环境中完成控制器的训练和控制效果的测试。深度强化学习是一种在未知环境中进行学习的算法,需要智能体与环境不断的交互,不断试错进行学习。智能体与真实的机器人环境交互存在交互时间过长、成本过高（机械系统的损耗）和安全隐患等问题。首先我们建立了灵长类仿生机器人的动力学模型,并基于Gym平台建立了机器人仿真环境;灵长类仿生机器人是通过电机驱动的,需要深度强化学习算法针对连续的动作空间是有效的,然后设计了面向灵长类仿生机器人悬臂运动的深度强化学习算法,算法细节包括:深度神经网络结构、优化方法、预处理方法和奖励函数设计等。针对深度强化学习算法中奖励函数太过稀疏和数据利用率不高,以及奖惩描述不准确的问题,提出了基于知识辅助的深度强化学习算法。知识是人类认知世界的总结,知识分为隐形知识和显性知识。针对奖励函数奖惩描述不准确的问题,通过引入欠驱动理论知识来解决,应用动态伺服控制和对称虚约束方法来构建更加合适的奖励函数。通过引入示教数据和优先回放机制来解决奖励函数稀疏和有效数据利用率不高的问题。最后,搭建了灵长类仿生机器人半实物实验平台,采用基于遗传算法的参数辨识方法,确定出实验平台的各项物理参数。将参数应用在机器人仿真环境中,在仿真环境中通过训练得到面向悬臂运动的控制策略,并进行了灵长类仿生机器人悬臂运动实物实验。实验结果表明:所设计的深度强化学习算法和通过训练得到的控制策略的有效性。