基于视觉手势交互的协作机器人示教系统研究

来源 :长春工业大学 | 被引量 : 2次 | 上传用户:wangying2880
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器人演示编程是机器人技术的最新趋势,通过观察人类演示的任务将新技能传递给机器人。在多变环境下解决机器人示教编程问题是制约机器人进一步发展的关键。针对传统工业机器人编程部署时间长、编程效率低下,无法适应于新环境、灵活性差,以及对操作人员示教编程技能要求较高,机器人程序开发周期长等问题,本文设计了一种基于视觉手势交互的协作机器人示教系统。该系统使用Kinect2深度相机,通过识别工作空间下的指尖运动轨迹和静态手势信号与机器人进行交互。通过UR5机械臂末端记号笔完成轨迹示教的任务,验证了本系统的灵活性和效率。主要研究内容包括:(1)本文以UR5协作机器人为研究对象,对整个机器人示教系统的硬件组成和软件算法框架进行了概述。对Kinect2深度和彩色相机进行内参标定,通过TF坐标转换功能包发布机器人的手眼标定关系。(2)基于混合高斯背景差分和重心距离算法,完成运动指尖检测的任务。对混合高斯背景差分算法和帧差法提取手部前景图像进行仿真比较。对图像平滑滤波、阈值分割以及形态学算法的基本原理进行概述。研究了重心距离法进行指尖点检测的图像处理算法,以及使用凸包K曲率算法剔除非指尖点。(3)基于YCbCr肤色模型和卷积神经网络,完成静态手势识别的任务。在经过200轮神经网络训练之后,手势识别率达到99.43%。操作人员可以通过手势控制示教过程,进一步提升了人机交互的效率,增强示教系统的用户友好性。(4)基于ROS Moveit运动规划库和Qt Creator GUI开发工具设计了视觉手势交互界面。在ROS系统下,通过Kinect2深度相机捕捉指尖的运动轨迹,使用computeCartesianPath路径规划函数完成机器人示教再现的任务。对4类曲线轨迹进行了实验研究,验证了本文示教方法的可行性和有效性。通过对比传统示教方式(示教器示教和拖动示教)完成示教任务所消耗的时间,基于视觉手势交互进行轨迹示教所消耗的时间远小于传统的示教方式,平均需要7.275s。进一步验证了本系统的高效率和易用性。
其他文献
7月2日,在国务院残疾人工作委员会主持召开的第四次全国自强模范暨扶残助残先进集体和个人表彰大会上,昌吉公交集团公司被授予全国扶残助残先进集体。昌吉公交集团从2001年
占地33800余平米,承担6000余部公交车辆检测任务的北京公交集团第二检测场日前建成投入使用。新落成的检测场分为保修作业、保修停车、综合服务、行政办公区四个功能区,建有两
空气预冷器是空天飞行器组合发动机的核心部件,其优劣直接影响整个发动机方案的成败。飞行器高超声速飞行时,预冷器需要在极短时间内(0.01s)将高温空气(1250K)深度冷却(120K),但当空气中的水蒸气接触到超低温预冷器细管时,会立刻结霜,引起主流压力损失增大和热交换量降低。为了保证组合发动机吸气模式下的性能,需要有效抑制空气冷却过程中预冷器的结霜现象,结霜问题成为深度预冷技术的核心。针对结霜问题
目前我国经济发展态势良好,对技术工人的需求量很大,职业教育处于蓬勃发展的大好时期。但职教不容忽视的还是教育质量,这是不争的事实,我认为影响教育质量提升的最大难点也是最重
广州市第二公共汽车公司在深入开展学习实践科学发展观进入整改落实阶段,公司领导李在生、卢小良公布了个人电子邮箱,真诚听取职工们提出的意见和建议。
1概况短波作为无线电频谱的一部分,具有无线电频谱所特有的性质,它是一种供大家使用但不可被消耗掉的共享资源.由于短波传播是不受行政区域限制,既无省界、也无国界的远距离