基于模仿学习的机械手臂遥操作研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:zx0755
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
遥操作(Teleoperation)技术对于实现人机交互具有重要意义,但是传统的遥操作技术往往是通过操纵杆、控制面板控制机械臂,在操作任务中对操作者的经验技术要求很高,并且无法模仿人类动作完成任务。针对无经验的操作者,本文提出基于可穿戴设备遥操作和基于VR设备遥操作两种方式,分别实现了基于概率运动基元的Baxter机械臂与基于新颖的Teach Net深度学习网络Shadow灵巧手的模仿学习操作。具体研究内容如下:首先,针对可穿戴设备遥操作过程中的延迟问题,延迟问题主要在于远距离通讯与映射关系的设计,本文在利用实验室中的局域网进行通讯的前提下,给出人体关节到机械臂关节的映射关系。利用自主研制的数据手套实时采集操作者手臂的姿态信息,采用基于速度的控制方式使Baxter机械臂运动过程十分平滑。针对可穿戴设备遥操作过程中的距离限制问题,在数据手套加入无线通讯模块,并设计无线通讯模块与机器人操作系统ROS的通讯系统。实验结果表明,机械臂能够完成多个轨迹动作,实现了机械臂与人类动作实时的运动跟随,并且在一定距离范围内能够完成远程遥操作任务。其次,针对穿戴设备遥操作数据单一、距离限制、目标性差的问题,提出了一种基于VR虚拟现实技术的遥操作方案。利用HTC vive pro设备完成Baxter机械臂遥操作示教,设计Unity项目获取HTC vive pro设备的两个手柄姿态信息,并在ROS系统完成与Unity平台通讯以及机械臂控制。由于可穿戴设备遥操作过程使用的关节角控制方式,需要人类基于经验不断调整手臂姿态才能完成机械臂末端夹具的抓取操作,所以进一步提出基于时间的差值增量控制方法,实现机械臂高精度的目标抓取任务。实验结果表明,基于VR虚拟现实技术的遥操作比基于可穿戴设备的遥操作精度更高,能够很好的完成复杂的操作任务。最后,为了实现机械臂与灵巧手联合弹钢琴任务,对机械臂与灵巧手分别提出了不同的模仿学习算法。由于VR虚拟现实遥操作需要依赖实验环境及操作人员,提出了基于概率运动基元的机械臂模仿学习方法。通过学习Baxter机械臂遥操作的高质量运动样本获得的轨迹数据,完成模仿学习任务,相比于VR设备每次针对不同任务需要调整定位相机位置等初始化工作,所提方法能够针对不同地点任务泛化出对应轨迹。实验结果表明,不仅在异地远程模仿了相似的任务轨迹,而且针对不同类型的UR机械臂,依然可以模仿出相似的任务轨迹。进一步提出基于视觉的深度学习网络(Teach Net)Shadow灵巧手模仿学习方法,实验结果表明,利用该框架进行灵巧手模仿操作时误差更小,在不同操作者进行灵巧手模仿任务时表现较好,同时省略了操作者学习适应的过程,减少了灵巧手模仿任务的时间。在完成模仿手臂弹钢琴任务上,先利用UR5机械臂模仿手臂运动轨迹到达目标点,然后模仿人手完成灵巧手弹钢琴任务。
其他文献
学位
航班的舱位管理是航空公司收益管理中的核心环节,在航班的售卖期间,航线管理员根据旅客市场环境状态动态完成收放舱操作,其最终目标是合理调配航空资源的同时使航空公司的收益最大化。由于旅客需求的多样性,以及航空机票票价随时间波动的特性,航线管理员需要具有良好的操作策略才能达成上述目标。本文着眼于研究航班舱位调控智能体的问题,由于与真实环境交互成本高,且考虑到航司已积累大量优秀管理员操作数据的现状,开展基于
人类在成长过程中,可以通过感知、模仿、学习来获取操作的技能。而随着人工智能、计算机视觉技术的发展,人们也开始考虑机器人能否像人一样从环境中感知任务、理解任务、并泛化任务,来应对复杂多样的操作场景。根据以上内容,本文开展了基于结构文法的机器人模仿学习研究。主要包括以下几个方面:首先,采用标定后的Kinect V2相机获取演示活动的彩色图和深度图,并将其对齐。利用Open Pose算法识别彩色图中的二
学位
在人工智能不断发展的今天,智能汽车公司如雨后春笋般争先登上自动驾驶的舞台,自动驾驶技术发展的也越来越快。传统的数学型车道保持方法研究已相对成熟,目前大肆发展的神经网络在自动驾驶领域上的应用也愈受青睐。本文主要针对自动驾驶技术中的车道保持方法进行研究,探讨基于条件模仿学习的端到端方法对车道保持的效果。(1)基于传统的端到端车道保持方法主要以RGB图像作为输入数据,神经网络无法提取到更深层次的特征信息
提供全方位、全周期的健康服务,健全药品供应保障制度,是实施健康中国战略的重要内容。2021年12月3日,国家医疗保障局公布2021年国家医保药品目录调整结果,并自2022年1月1日起正式实施。围绕国家医保药品目录调整和药学服务高质量发展问题,本刊专访了首都医科大学附属北京天坛医院药学部主任、首都医科大学药学院临床药学系主任、博士生导师、北京市医院管理中心总药师赵志刚教授。
期刊
劳动教育对于高校大学生的德智体美劳全面发展具有重要意义,劳动教育承担着培养学生正确的劳动观、劳动态度和养成良好的劳动习惯等任务,并让学生获得劳动生产基本技能。新时代劳动教育的实施有利于发展中国特色社会主义和稳步实现现代化教育强国目标,还有助于培养有思想、有觉悟的劳动者,为实现伟大的中国梦培养高素质人才。通过劳动教育体现以劳树德、增智、强体和育美等功效,"五育并举"的劳动教育观念促进了人的全面
期刊
布依族舞蹈作为非物质文化遗产,具有一定的原生态价值和现代化价值。非物质文化遗产是人类精神和智慧的宝贵财富,做好非物质文化遗产的传承工作意义重大。非物质文化遗产的传承逐渐与学校教育相融合,将学校教育作为载体,大范围、有目的地进行传承。本文主要以布依族舞蹈为例,论述非物质文化遗产的传承对职业教育发展的意义。
面对现代性荒诞造成的主体与外部世界、肉体与精神关系的离异,人愈发自觉不自觉地超越生活并于其外部寻求主体存在的价值与意义。在加缪看来,生活本身及其体验是人的全部活动的最终目的,是人的自我呈现、存在方式和意义创生。他不断给予荒诞以确信背后所要洞察和追问的绝不是生活的荒诞或值得与否,而是借以其为底色确立"生存本身"这样一条实践的绝对命令,而反抗内在地含于生存的目的论当中,通过反抗表达主体存在的意义和他存