基于Kinect和指尖识别的EAST手势交互系统

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:viclee0716
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
EAST三维模型结构复杂、部件种类繁多,对于大屏幕上的EAST模型交互,传统的交互设备如鼠标键盘等都需要时刻接触设备,给用户带来不便。无法达到普通小显示屏给人带来的交互一致性,同时大屏幕上的交互会带来强烈的空间差异性,长期观看容易使人产生疲劳感。三维模型交互比二维界面交互更为复杂,对复杂的EAST三维模型来说,传统交互方式具有一定的局限性、复杂性和疲劳性。因此我们设计了一种自由、直接的交互方式来减弱空间差异性,降低交互复杂性,避免长期疲劳性的系统——EAST三维模型手势交互系统。对系统的研究分为三个部分实现:需求分析、算法研究实现、系统实现和测试。在需求分析阶段,首先对EAST实体装置的基本情况进行了简单介绍,从而引出了 EAST三维虚拟模型的交互需求。然后针对EAST模型的结构进行了分析和介绍,并以调查问卷的形式进行交互需求的调研和分析。通过调研分析,我们设计了6种手势,分别是移动、点击、拾取、旋转、拖拽、缩放。与此同时,通过查阅和研究国内与国外的裸手识别相关资料和文献,我们最终提出了 "基于Kinect和指尖特征"的动态手势识别算法。"基于Kinect和指尖特征"的手势识别算法的实现主要包括4个阶段:数据采集、区域分割、特征提取、特征识别。数据采集阶段我们采用了微软的Kinect二代传感器,从Kinect的人体骨骼帧和深度帧提取出人体手部的彩色图像帧的大致区域。然后,通过高斯混合模型背景减法,从手部的大致区域里面去除背景得到手部区域,再利用椭圆肤色模型算法分割出肤色区域并通过形态学开闭运算进行区域平滑和去噪,从而得到进一步精确的手部区域。在指尖特征提取之前,先对手部区域进行轮廓提取,再通过计算手部轮廓的重心和霍夫曼圆圆心的加权平均求得掌心位置,同时在进行轮廓采样时,我们提出了根据手部区域占图像比例来动态设置采样距离的方法,通过计算采样点的K曲率得到指尖候选点,最后通过指尖和掌心的位置关系和距离因素来排除非指尖点从而得到指尖点。手势识别我们采用了有限状态机的方法。最后,利用该手势识别算法,基于Unity3D平台实现了 EAST模型手势交互系统。系统的功能包括模型拆解、子系统查看、三视图、场景漫游。并基于此系统进行了算法背景适应性分析和动态手势识别率检测。结果表明,算法有较强的背景适应性和较高的动态手势识别率。
其他文献
能源供应与人类社会的发展密切相关。对化石能源的大规模利用,使得人类进入了工业时代。人类社会日益发展的物质文化需求使化石能源逐渐枯竭,并且造成严重污染威胁了人类的生
介绍了香精微胶囊的制备条件,综述了香精微胶囊的主要制备方法,总结了香精微胶囊几种制备方法的优缺点,并展望了香精微胶囊未来的发展和研究方向。
熔盐堆是第四代核反应堆的堆型之一,核反应堆冷却剂主循环泵(核主泵)作为一回路主系统中唯一高速旋转的设备,被喻为核电站的“心脏”。熔盐核主泵与一般的水泵不同,在设计时
为复合材料成型工艺参数制定提供准确信息,采用动态力学分析法(DMTA)对国产TG800碳纤维/802双马树脂基预浸料等温固化动力学进行研究,根据损耗模量E″在恒温扫描过程中出现的
核主泵是核电站冷却回路系统中重要组成部分,也是实现国产化核电力关键设备之一。在发生断电事故时,由于机组转动惯量储存的能量,系统核主泵会继续惰转运行一段时间。如果惰
简约教学,是指高度概括性的教学设计与实践过程,通过精选简练、充实的教学内容,从而确立简明、扼要的教学方法。设计简约、有效的课堂环节,创设简易、实效的教学情境,采用简便、高
铅铋共晶合金(LBE)具有良好的热物性、中子经济学以及较高的化学惰性,已成为目前铅冷快堆冷却剂的主要候选材料。LBE冷却反应堆运行中,由于可能的密封失效和材料腐蚀等原因将
中国聚变工程试验堆(CFETR)的相关中子学计算的需求日益增长,其中包括高分辨率、高计算强度的辐射输运计算和停堆剂量率计算。在大型和复杂的反应堆几何形状中,屏蔽材料加速
反应堆发生严重事故时可能产生大量的氢气,氢气在一定条件下可能发生燃烧甚至爆炸,严重威胁安全壳的完整性。继美国三里岛核事故之后,日本福岛核事故再次证明氢气燃爆会造成
加速器驱动次临界系统(Accelerator Driven Subcritical System,简称 ADS)是目前国际上公认的最优核废料处置方案,关于加速器驱动次临界系统的研究一直是近几年核能领域研究