机械臂对操作技能进行学习是其智能化的重要环节之一,机械臂通过自主学习各种操作技能,实现对不同任务和环境的自适应,可以极大地减少人类的工作量。深度强化学习是机械臂进行操作技能学习的主要方法,但是需要较长的学习训练时间,并且对已有经验的复用不足。情景记忆具有保存不同事件之间的关系的能力,人类可以使用情景记忆来指导新技能的学习。基于上述内容,本文开展基于情景记忆和深度强化学习的机械臂技能学习方法,结合情景记忆的认知特性,提高经验的复用效率,减少学习新技能花费的时间,主要研究内容包括如下若干方面:首先,综合机械臂的感知、运动以及记忆能力构建了基于情景记忆的机械臂操作技能学习框架。以Kinect相机作为机械臂视觉传感器,捕捉外界环境变化信息,实现对外界物体的识别与定位。基于ROS系统下的Move It!等开源机械臂功能包,构建机械臂的基本运动原语集合,实现对低层动作的整理和规划。并且,提出基于事件的情景记忆建模方法,结合人类情景记忆的认知特性与深度强化学习算法的迭代特定,构建具有高效检索能力的情景记忆模型。其次,进行了情景记忆在具有离散空间的强化学习算法中的应用,提出了情景引导的两相强化学习算法。将强化学习的单步迭代过程划分为前后两个相位,针对前相位的动作选择过程,使用情景记忆进行引导,机械臂使用策略生成的动作和记忆中保存的动作进行选择决策。针对后相位的即时奖赏生成过程,由记忆中状态的潜在价值来调整当前状态价值,提高机械臂操作技能学习过程中对稀疏奖励情况的适应性。再次,研究情景记忆在具有连续空间的强化学习算法中的应用。针对连续空间中存在的单维度存在无限种可能状态的问题,提出对状态空间的网格化和归一化算法,实现由连续状态空间到离散网格空间的映射。在此基础上,使用两相情景引导算法进行连续状态和动作空间下的强化学习。考虑到情景状态之间潜在关系,提出应用于HER算法的基于情景构型的奖赏函数,在强化学习算法的早期使用情景状态生成即时奖赏,加快早期的探索过程,大幅提高了HER算法的效率。最后,搭建了基于UR3e机械臂、Kinect相机以及Robotiq夹爪的实验平台,并同步搭建了对应的仿真环境。软件系统的组成包括ROS系、Move It!软件、Pytorch深度学习框架、Mujoco仿真软件等。针对本文所提的离散空间与连续空间两种机械臂操作技能,设计了木块堆叠任务、物体收集任务、机械臂Reach任务与Pick-and-Place任务,以验证本文所提的两相情景引导算法与情景构型的奖赏函数的可行性由高效性。