论文部分内容阅读
这便要求机器人不断具备更高水平的自主学习型的智能性,面对复杂环境、新任务、未知模型等任务时,可以自主地学习出一种技能来解决这些问题。其中在空间作业中采用机器人进行装配是主要的方法,面临的任务不断提高着对机器人智能性的要求。近年来,随着计算机计算力的快速增强,发展迅速的机器学习不断提高着计算机的智能性。当把它们引入到机器人领域中,机器人也可获得一种新形式的智能性。本文主要针对作为基本装配形式的轴孔装配进行相关的研究,包括基于阻抗控制的装配策略研究、基于深度强化学习的装配策略研究和仿真训练及相关对比实验。本文基于阻抗控制的机械臂装配策略研究中,首先对机械臂进行正向运动学、逆运动学和微运动学的分析,为机械臂系统的控制器设计提供相关基础性内容。然后对机械臂装配任务中的卡阻现象进行相关研究,分析阻碍控制机械臂进行装配的主要原因。并针对装配任务中的卡阻现象和机械臂装配的基本过程,设计一套总体的阻抗装配策略和流程。然后引入具有柔顺效果的机械臂阻抗装配策略,并对机械臂阻抗控制中的一个方向上的环境接触系统模型进行控制效果的分析。同时采用四阶RK法求解机械臂系统各个方向的阻抗关系中的微分方程。最后对其中涉及的参数进行大量的对比实验,进而获得相对最优的阻抗关系的参数值。在基于深度强化学习的装配策略研究中,采用的主要深度强化学习算法是在DDPG算法上改进的TD3强化学习算法。首先研究深度强化学习算法的基本内容,并推导了DDPG算法中的基本公式,并分析TD3算法对其改进的有效性。最后针对装配任务对TD3算法的几个相应方面进行改进,包含自适应退火型指导探索、网络结构预训练、改进replay buffer结构等。进而加快训练的计算效率,加速网络的收敛。最后针对仿真实验到真实实验的转移过程,设计相应的迁移学习算法。仿真训练和实验部分。本文主要使用V-rep仿真平台和python联合完成仿真训练。首先针对装配任务设计两个阶段的动作指导器和奖励函数,然后通过多组对比实验,证明改进方案的有效性。然后在接触力、柔顺量等方面验证了设计的阻抗控制的效果。最后针对多种干扰信号对两种策略的多方面进行对比实验。最后设计采用UR5机械臂完成相应验证实验的方案及相关软件。