论文部分内容阅读
随着计算机领域技术的不断发展,尤其是人机交互领域日新月异的飞速进步,往日出现在各类科幻大片中的新颖的人机交互形式已经逐步地出现在人们的日常生活中来。其中对于手势识别技术的相关研究变得十分活跃。人们在日常的生活交际中常常用到各种手势,与听力障碍人十交流或者其他的安静场合时也都会用到手势语言,手势识别的研究具有十分重要的实际的应用意义。手势识别的研究就是要让计算机设备能够“看懂”用户的手势肢体语言,将其转换为相应的文本信息或者相应的语义指令,从而进一步达到各种控制的目的。该研究领域涵盖模式识别、计算机视觉和图形图像等多方面,这也使得该领域的研究富有挑战性。本文的研究对象为人体的动态手势,研究目标是提出一种基于微软的深度摄像设备Kinect传感器且能实时的识别人体动态手势的系统框架。本文将运动的手势分解为两大组成部分,分别为手的运动轨迹和手势中关键的手部形态。文中针对这两大部分,详细的给出了从Kinect传感器捕获两种数据的解决方案:1.利用重要的关键人体关节点的球形坐标数据代表手势轨迹信息;2.利用基于肤色掩膜和深度掩膜结合的方法分割手部区域得到手部区域数据。与此同时提出对捕获到的轨迹数据进行正规化处理方法,具体包含有对用户的远近距离和用户间个体大小差异的正规化;同时还给出了利用运动能量函数进行手部数据关键帧提取方案。文中针对轨迹和关键帧手部数据分别构建其特征描述子:多维数据的帧轨迹特征描述子和Hu矩特征描述子。同时针对多维数据的帧轨迹序列的匹配问题,提出了一种在全局约束条件下的权重化多维数据的动态时间扭曲算法(WM-DTW),利用该算法可以高效处理不同权重下多维数据序列间匹配问题。最终的识别结果由轨迹和关键帧匹配结果综合得出,其中轨迹的匹配结果占主导,关键帧手形数据的识别结果作为辅助信息占少量权重。最后,文中给出了平台模块设计方案和整个系统的流程,并针对具体的界面设计实现了系统。并根据三个不同手势模板库建立测试数据集进行验证实验,通过详细的实验对比和结果分析表明,该框架能在消耗较小时间成本的情况下达到高识别率,证明了文中所提框架的可行性和有效性。