在轨抓捕技术是世界各航天大国研究的热门领域。我国空间站即将建成,对空间机械臂的应用也具有很大需求。深度强化学习(Deep Reinforcement Learning,DRL)近年来发展迅速,能够在无数学模型的情况下实现高维原始输入到输出的端到端的控制策略。本文以智能机器人和对空间飞行目标进行捕获追踪为应用背景,开展了神经网络激活函数的选择、近端策略优化算法(Proximal Policy Optimization,PPO)及其改进措施、基于比例导引法的机械臂动目标抓捕轨迹规划、多自由度机械臂和多场景任务下的深度强化学习抓捕训练等方面进行了研究,以期对我国空间机器人实现高度智能化捕捉飞行目标提供参考。针对深度神经网络的激活函数梯度消失问题,基于不同激活函数曲线及其导函数曲线,对激活函数特征及选择方法进行分析,以此作为研究深度强化学习中策略与值函数拟合的基础。深度强化学习算法是生成策略的核心。本文研究了深度强化学习过程及原理,基于策略与值函数两要素,推导近端策略优化算法的目标函数。针对方差与偏差的平衡问题,提出结合使用泛化优势估计的近端策略优化算法的改进措施。通过仿真获得了合理的置信区间参数,设计了置信区间的衰减方案,验证了改进措施能够有效提升算法性能。针对传统的机械臂抓捕运动目标算法,根据比例导引法的制导原理,进行二维平面的规划推导,并推广到三维空间运动目标的捕获。本文设计了动目标捕获的轨迹规划方法,研究导引系数和抓捕速度对抓捕轨迹、抓捕时间等的影响,分析关节角度、关节角速度的时间变化曲线的特点。通过六自由度机械臂仿真,验证了基于比例导引的规划算法在抓捕运动目标上的有效性。针对PPO算法在机械臂动目标抓捕中的应用,搭建DRL仿真环境,并建立抓捕任务的DRL模型,针对性地搭建DRL模型的仿真控制器。基于回合终止条件和交互过程奖赏,以分段函数的方式设计奖赏值,探究根据不同时刻任务紧迫性差异,区别不同时刻奖赏权值的方法。根据抓捕任务以及DRL环境特点,设计不同场景下状态与动作空间、奖赏函数以及策略和值函数神经网络结构。通过仿真实验,证实了PPO算法在机械臂抓捕运动目标上具有可行性。为对比例导引规划算法与深度强化学习算法,针对性地进行对比任务设计。针对抓捕轨迹、关节角度和角速度变化等,对两种方法的优势与不足进行了探讨。