论文部分内容阅读
随着科学技术的飞速发展,人机交互方式更加多元化、自然与舒适,如较新颖的触控、语音、手势等交互方式,其中利用手势动作来实现人机交互成为国内外研究热点。手势识别技术从最初的基于数据手套、采用2D摄像头到现如今更受研究者青睐的3D摄像头,技术手段越来越丰富。基于手势识别的隔空翻书是让用户利用手势动作控制记载丰富资料(包括动画、视频、图片等)的电子书,达到翻阅、查看书中内容的效果。其新颖的模式可以使展览馆、图书馆以及政府等单位在通知、科普和宣传等方面提高影响力,不但可以展示丰富的信息,而且能够吸引人们驻足观看,具有科普宣传的效果,应用前景良好。而目前隔空翻书技术大多采用红外感应方式或基于2D摄像头的手势识别方法,其缺点是功能局限、趣味性不高,易受周围光照环境影响而造成错误识别等。针对上述问题,本文提出了手部相邻帧的位移结合有限状态自动机FSM(Finite State Machine)的思想来进行连续动态手势起止检测的方法,以及一种改进的DWDTW(Distance Weighting Dynamic Time Warping)方法来计算参考手势样本与测试手势样本间的距离,提高了在光照较暗、光照较强以及复杂背景下该动态手势识别方法的鲁棒性。为了增强隔空翻书的交互性、实时性、精确性,结合Intel SR300深度摄像头,利用RealSense动态手势识别技术,本文设计并实现了隔空翻书系统。本文的研究内容主要如下:(1)在充分调研并分析了隔空翻书系统所涉及的常见需求后,定义了包含6类动态手势的手势集合,并使用Intel SR300深度摄像头录制动态手势样本,建立了包含960份动态手势数据RS-DHG(RealSense Dynamic Hand Gesture)数据库,主要包含了动态手势的彩色图像序列、深度图像序列以及手部22个关节点三维位置信息。(2)在手势起止检测一般方法的基础上,提出了手部相邻帧的位移结合有限状态自动机FSM的思想来进行连续动态手势起止检测的方法,分别从关节点运动轨迹以及手型变化两方面进行特征提取,提取的特征向量有关节点运动轨迹、欧氏距离、角度特征等,增强了特征提取的有效性。(3)在传统的动态时间规整算法的基础上,提出了一种改进的DW-DTW方法来计算参考手势样本与测试手势样本间的距离,再通过K-最近邻分类器对动态手势进行分类识别以获取识别结果,并通过实验选取了KNN(K Nearest Neighbor)分类器K的最佳值,在K为最佳值时对实时环境下DW-DTW算法与传统动态时间规整算法手势识别率进行了对比,并验证了在光照较暗、光照较强以及复杂背景下该动态手势识别方法的鲁棒性。在实现了动态手势识别的基础上,通过激发鼠标、键盘事件完成了隔空翻书系统的搭建,该系统运行流畅、交互体验感良好。