论文部分内容阅读
人机交互是指人与计算机之间以一定的方式进行互动的过程。随着时代的发展,人机交互形式经历了多次变革,已经逐渐从传统的鼠标、键盘等交互方式过渡到了现在广泛使用的自然人机交互方式,如触摸控制、语音操控、体感操控等。手势由于其自然、直观和易学习等优点,已成为体感交互的一种重要形式。根据运动特征进行区分,手势又可分为静态手势和动态手势。体感采集设备是手势数据获取的基础,发布于2013年2月的新型体感设备Leap Motion可侧重于近距离小幅度的桌面式操作,能高效准确地跟踪手的运动,获取手部骨骼信息等数据。本文基于Leap Motion,对静态手势识别和动态手势识别均进行了研究,并设计完成了相应的应用系统。首先对手势行为分析研究背景及现状进行了介绍,接着详细分析了目前手势行为分析的相关算法,为后面的工作展开奠定基础。接下来介绍本文的静态手势识别算法,首先结合Leap Motion获取了静态手势的骨骼坐标数据和图像数据,并对图像数据进行畸变矫正,然后针对上述两类数据的特点和字母手势自身的结构特点,采用了融合的几何结构特征和基于加速鲁棒特征的特征包(Bag of Features-Speeded Up Robust Features,BoF-SURF)进行描述,并结合支持向量机(Support Vector Machine,SVM)算法完成了字母手势A～H识别。动态手势依据识别对象的不同,采用不同的算法流程:针对动态执行手势,通过提取轨迹向量特征并结合隐马尔科夫模型(Hidden Markov Model,HMM)分类识别;针对动态数字、形状手势,通过映射算法获得二维手势轨迹图像并结合卷积神经网络(Convolutional Neural Network,CNN)进行特征的提取和识别。最后,设计并完成了一款多功能手势识别系统。本文的主要创新点如下:1)采用新型体感设备Leap Motion提取手势骨骼坐标数据和图像数据并结合用于手势识别中,改进了传统手势识别采用的数据类型,并在此基础上实现了对几种自定义手势的识别,设计完成了手势识别系统,可通过手势操控音乐播放器、手写练习板、柜台智能监控。2)改进了静态手势特征提取方法。既提取了手指弯曲角度、指尖距离两种几何结构特征,实现对手势内部结构信息的描述;还提取了BoF-SURF特征,实现对手势图像表观信息的描述;最后采用加权的方式得到融合的静态手势特征,对具有遮挡、粘连、卷曲特点的字母手势进行了很好的描述。3)对动态手势识别算法进行了改进。采用一定的映射算法将3维手势轨迹实时地映射到二维窗口上获取相应的轨迹图像,并结合CNN进行特征的提取和识别,成功地将传统的轨迹向量识别模式转换为图像识别模式,具有很好的识别效果。