手势识别是人机交互的重要组成部分。特别是近年来随着RGB-D相机(如Kinect)的发展,基于RGB-D数据的手势识别研究是当前手势识别中的一个研究热点。本文研究的重点是如何从RGB-D数据中有效地提取时空特征,以及如何对提取的特征进行字典学习和优化。论文的主要工作和贡献如下：1.提出了基于RGB-D的一次学习手势识别方法。由于一次学习是指每类只有一个训练样本,因此基于RGB-D的一次学习识别研究有两个重要的挑战性问题,即在每类只有一个训练样本的前提下如何提取丰富的、具有分辨性特征以及如何学习一个有效的识别模型。(1)对于特征提取,提出了一种新的从RGB-D数据中提取时空特征方法：三维增强运动尺度不变特征转换(3D EMoSIFT)。3D EMoSIFT具有旋转和尺度不变性,可以获取更紧凑、更丰富的特征信息；(2)为了获取一个稳定性高、识别效果好的模型,首先对所有训练样本的特征进行Kmeans聚类以获取视觉字典(即聚类中心)；然后,采用同步正交匹配追踪(SOMP)算法进行特征编码,使每个特征能够由字典中的多个词通过线性组合来表示。与矢量量化相比,SOMP算法具有更小的重构误差以及更好的识别效果。2.提出了一种从RGB-D数据中快速提取时空特征的方法：三维稀疏运动尺度不变特征转换(3D SMoSIFT)算法。首先,分别对每帧RGB图像和深度图像构建金字塔；其次在RGB或者深度图像金字塔中利用角点检测和稀疏光流算法检测和跟踪稳定的关键点；然后提取关键点附近的局部区域(包含RGB-D数据),并在局部区域构建三维梯度空间和三维运动空间；最后分别在三维梯度空间和三维运动空间中计算尺度不变特征转换(SIFT)特征。3D SMoSIFT不仅具有旋转和尺度不变特性而且对部分遮挡具有较强的鲁棒性。此外,还分析了3D EMoSIFT和3D SMoSIFT的时问复杂度。从实验结果看,3D SMoSIFT比以往的时空特征算法(Harrid3d, MoSIFT,3D MoSIFT等)和3D EMoSIFT识别效果都好,并且3D SMoSIFT处理速度达到实时。3.提出了一种类字典优化算法：特定类互信息最大化(CSMMI)。CSMMI的目标是每类学习一个紧凑的、具有分辨性的字典。与基于视觉词袋模型中所有类学习一个共享字典不同,CSMMI提出了一个互信息最大化目标函数来优化特定类字典,该目标函数融合了类内和类间互信息。CSMMI的目标函数有两个优点：(1)保留类内的固有结构信息：对特定类的字典,已经选择的词与该字典中未选择的词之间具有互信息最大；(2)减少类间的外在结构信息：使特定类中已经选择的词与其他类字典中的词具有互信息最小。为了降低CSMMI直接法的时间复杂度,还提出了利用子模块的方法来快速求特定类字典的策略。