面向机器人遥操作的多模态人机交互技术

来源 :东南大学 | 被引量 : 1次 | 上传用户:quindavid
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人类对探索更广泛未知自然的渴望日益强烈,同时保护自身安全的观念逐步增强,在诸多领域都需要遥操作机器人系统。遥操作机器人系统使人们免于直接出现在机器人作业环境中,在本地即能对其进行远程控制,在很大程度上改变了机器人作业方式,并拓展了机器人的作业能力。机器人人机交互技术是遥操作中十分关键和热门的研究方向,机器人人机交互技术目前仍然在自然性、协同性、精度性和安全性等方面存在诸多难点。持续改进现有遥操作人机交互方式或提出功能特性更完善的交互方式一直是遥操作机器人系统发展的重点之一。  本文在研究和分析现有技术的基础上,提出了一种面向机器人遥操作的多模态人机交互技术,融合多种传感技术用于检测操作者的运动意图,并将虚拟现实技术与机器人控制技术结合,搭建了机器人运动虚拟环境,具体内容如下:  设计了面向机器人遥操作的多模态人机交互系统,主要由运动意图检测系统、人机交互软件和机器人运动虚拟环境构成。简单介绍了系统中使用的相关设备和技术,包括Myo臂环和Kinect体感设备这两种重要的交互设备,以及OpenGL图形库和Unity游戏引擎。  提出了基于多种传感设备的多模态运动意图检测方法,设计了基于表面肌电信号采集装置以及动作判断方法,编写了Windows平台下Myo臂环提取手势识别信息的C++软件,开发了基于Kinect体感设备骨骼帧的手臂末端位置跟踪软件,利用惯性测量单元(IMU)实现操作者手臂末端姿态跟踪。  基于OpenGL图形库开发了交互软件,提供控制交互设备的采集过程、动态展现操作者的姿态以及相关数据、坐标变换以及机器人运动学逆解算、控制信息发送等功能。制作了机器人各部件的3D模型,导入Unity中,搭建了机器人运动虚拟环境,编写了控制脚本实现机器人运动控制等功能。  最后,开展了实验研究,实验测定了系统中设备的稳定性以及动作识别准确率,检验了人机交互系统跟随操作者运动的情况,开展了交互体验实验,对比了各种交互方式的用户体验,对各种交互方式进行了分析总结。
其他文献
钻井船是具有自航能力,机动灵活,能够在深水中钻井,是海上移动式钻井装置中不可缺少的类型。本文采用文献调研、设备资料研究、船厂生产实际总结、理论分析和对比相结合的研
大型、复杂、贵重设备的无线远程监控系统是工程智能化管理的重要组成部分。具有覆盖面广、易于加载用户信息的无线传输技术,为此类设备的实时远程监控提供了可能。本文结合
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
旨在研究母牛初次配种妊娠月龄(age at first pregnancy,AFP)对其泌乳性能和主要繁殖性能的影响.本研究以我国北方地区2个规模化奶牛场13 927头荷斯坦母牛(A牧场8 091头,B牧
本文通过对荣华二采区10
期刊
近年来,人们对船舶舒适性的要求越来越高,而船舶上各种动力和辅助机械设备在运行过程中产生的机械噪声是影响船舶舒适性的主要因素,对于军用船舶,它还会影响到隐身性能。本文
被疫情叨扰许久,短兵相接,虽然我们现在已渐渐占了上风,但损失惨重.新冠肺炎来得太出其不意,我们手忙脚乱,并为此牺牲了千百性命.但是我想说的是,在此之前,我们难道真的没有
期刊
船舶管路是船舶重要组成部分,其良好的工作状态是船舶运行安全的保证。船舶管路常处于高温、腐蚀、潮湿的环境之下,系统发生故障难以避免,且维护保养困难。本文以海水系统管
他走在大街上,神色匆匆,步子迈得很快.此时的大街上,灯火灿烂,人来人往,热闹非凡.今天是年三十,每个人都在庆祝着一年的最后一天.rn他没有心思留意身边的景象,父子也没有因为
期刊
本文包括三部分。第一部分主要是基于切片法的船舶水动力数值预报,包括采用二维频域格林函数获得剖面水动力系数,三维辐射水动力系数、兴波阻尼和波浪力(矩)的获得等。