论文部分内容阅读
EAST三维模型结构复杂、部件种类繁多,对于大屏幕上的EAST模型交互,传统的交互设备如鼠标键盘等都需要时刻接触设备,给用户带来不便。无法达到普通小显示屏给人带来的交互一致性,同时大屏幕上的交互会带来强烈的空间差异性,长期观看容易使人产生疲劳感。三维模型交互比二维界面交互更为复杂,对复杂的EAST三维模型来说,传统交互方式具有一定的局限性、复杂性和疲劳性。因此我们设计了一种自由、直接的交互方式来减弱空间差异性,降低交互复杂性,避免长期疲劳性的系统——EAST三维模型手势交互系统。对系统的研究分为三个部分实现:需求分析、算法研究实现、系统实现和测试。在需求分析阶段,首先对EAST实体装置的基本情况进行了简单介绍,从而引出了 EAST三维虚拟模型的交互需求。然后针对EAST模型的结构进行了分析和介绍,并以调查问卷的形式进行交互需求的调研和分析。通过调研分析,我们设计了6种手势,分别是移动、点击、拾取、旋转、拖拽、缩放。与此同时,通过查阅和研究国内与国外的裸手识别相关资料和文献,我们最终提出了 "基于Kinect和指尖特征"的动态手势识别算法。"基于Kinect和指尖特征"的手势识别算法的实现主要包括4个阶段:数据采集、区域分割、特征提取、特征识别。数据采集阶段我们采用了微软的Kinect二代传感器,从Kinect的人体骨骼帧和深度帧提取出人体手部的彩色图像帧的大致区域。然后,通过高斯混合模型背景减法,从手部的大致区域里面去除背景得到手部区域,再利用椭圆肤色模型算法分割出肤色区域并通过形态学开闭运算进行区域平滑和去噪,从而得到进一步精确的手部区域。在指尖特征提取之前,先对手部区域进行轮廓提取,再通过计算手部轮廓的重心和霍夫曼圆圆心的加权平均求得掌心位置,同时在进行轮廓采样时,我们提出了根据手部区域占图像比例来动态设置采样距离的方法,通过计算采样点的K曲率得到指尖候选点,最后通过指尖和掌心的位置关系和距离因素来排除非指尖点从而得到指尖点。手势识别我们采用了有限状态机的方法。最后,利用该手势识别算法,基于Unity3D平台实现了 EAST模型手势交互系统。系统的功能包括模型拆解、子系统查看、三视图、场景漫游。并基于此系统进行了算法背景适应性分析和动态手势识别率检测。结果表明,算法有较强的背景适应性和较高的动态手势识别率。