论文部分内容阅读
手势识别已成为人机交互领域中重要的研究课题之一。其中动态手势识别在家庭娱乐，智能驾驶等非接触式遥控方面有诸多应用。随着Kinect等深度摄像机的出现，基于深度图像的动态手势识别吸引了众多研究者。深度图像有对光照条件不敏感等诸多优点，使得动态手势识别准确率有了明显提高。但动态手势由于遮挡、个体差异以及时空变化等特点使得动态手势识别依然很有挑战。 针对动态手势的特点，本文提出了基于形状与时空深度特征融合的动态手势识别方法。对于形状特征，考虑计算深度运动图得到手的3D结构和形状信息，然后提取深度运动图的局部二值模式直方图和边缘方向直方图特征获得动态手势深度序列的局部纹理和边缘信息，得到DLE特征。DLE融合时空特征HOG2得到的描述子定义为DLEH2。考虑到DLEH2获得的形状信息在空间和时间上不够细致，为了得到多尺度的形状信息，考虑首先在时间层次金字塔深度运动图上提取局部二值模式直方图和金字塔方向梯度直方图特征，得到的描述子定义为PDMM-LBP-PHOG，再将PDMM-LBP-PHOG与HOG2融合得到多尺度描述子定义为PDLPH2。将两种描述子DLEH2和PDLPH2分别与线性SVM分类器结合在公开具有挑战性的MSRGesture3D和SKIG动态手势深度数据集上进行实验评估性能。DLEH2在MSRGesture3D和SKIG上分别得到99.10％和98.43%的识别率，PDLPH2在SKIG上得到98.89%的识别率。实验结果表明就识别率而言提出的描述子均优于最新水平的算法，多尺度的PDLPH2的性能比DLEH2更强。同时，融合后算法性能比单独使用任何单一特征的性能更好。 综上，本文提出的描述子对动态手势识别具有较强的辨识力和鲁棒性，表明本文提出的基于形状与时空深度特征融合的动态手势识别方法的有效性。本文提出的描述子可应用于智能驾驶等人机交互领域。未来可以考虑融合RGB等模态的特征进一步提高算法性能。