随着机器人和虚拟现实等技术的不断发展,传统的人机交互方式逐渐难以满足人与计算机之间自然交互的需求。基于机器视觉的手势识别作为一种新颖的人机交互技术,得到了国内外研究人员的普遍关注。然而,彩色相机受限于其光学传感器的性能,难以应对复杂的光照条件和杂乱的背景。因此,具有更多图像信息的深度相机(如Kinect)成为研究者们研究手势识别的重要工具。虽然基于Kinect的手势识别研究在近几年已经得到了较大的发展,但仍然存在许多有待改进的地方。本文主要针对现有方法在人手检测与分割、特征提取及手势分类等方面的不足展开研究,主要研究工作如下:(1)提出了一种基于目标检测的人手分割方法。本文将人手看作可形变物体,研究了基于深度学习的人手检测方法,并在自己采集的人手检测数据集上训练出了准确实时的人手检测器,随后在人手检测的基础上提出了基于肤色和自适应深度阈值的人手分割方法,实现了快速准确的人手检测与分割。(2)设计了统一的空间特征提取方法。本文用卷积自编码器(Convolutional auto-encoder,CAE)统一了彩色图像和深度图像的特征提取方法,并且以无监督的方式训练CAE,使得训练好的CAE可以作为静态手势和动态手势共用的空间特征提取器。最后在采集的手势识别数据集上对比了CAE与有监督CNN的分类效果,从而验证了本文特征提取方法的有效性。(3)提出以CAE为基础的手势识别方法。对于静态手势,用预训练的CAE提取静态手势的空间特征,然后用Softmax分类,取得了极高的分类准确率;对于动态手势,仍然用CAE提取空间特征,并将提取的空间特征输入两层的长短期记忆(Long Short Term Memory,LSTM)网络,通过LSTM处理动态手势的时序特性,接下来用简单的CNN进一步提取动态手势的空-时特征并用Softmax分类器进行分类,也取得了良好的分类效果。(4)提出基于随机森林分类器(Random Forest Classifier,RFC)的多模型融合方法。因为Kinect彩色数据和深度数据存在本质上的差异,本文分别为彩色数据和深度数据单独训练对应的手势分类器,然后在分类阶段提出使用RFC融合这两个分类器的输出结果,进一步提高了手势识别准确率。