手势识别在人机交互、可视交流、机器学习等领域中有着非常广泛的应用前景。越来越多的科研人员开始投身于手势识别研究领域。手势可以分为静态手势和动态手势两种。静态手势指手的一个静止的姿态,只考虑手势的空间信息,不考虑手在空间中的移动和旋转。而动态手势指一个连续的手势动作,既包含了手势的空间信息,也描述了其随着时间变化的运动信息。由于自然手势动作通常都是动态的,因此动态手势识别由于其普遍性和便捷性逐渐成为了一个热点研究课题。但是手势动作受遮挡、光照、视点、个体差异、手势动作时空变化等因素影响,动态手势识别仍然是一个具有挑战性的难题。动态手势识别的一个关键问题是手势特征的表示与提取,传统的方法通常是基于预定义的特征提取,提取的手势特征精确度不高,并且需要相当多的先验知识和人工调整。近年来,基于学习的特征提取方法的性能不断提升,提取的特征具有很好的鲁棒性,因此基于学习的方法逐渐成为目前最流行的特征表示方法。其中两个经典模型是卷积神经网络(CNN)和受限玻尔兹曼机(RBM),不过传统的受限玻尔兹曼机通常是基于向量变量(RBM)的以及基于矩阵变量(MVRBM)的。本文面向基于视频的动态手势识别应用,改进了传统受限波尔兹曼机模型,提出了面向3阶视频数据的3D-2D受限玻尔兹曼机,即输入为3阶张量变量,输出为2阶矩阵变量的RBM模型(3D-2D RBM)。本文也融合了CNN进行图像特征表示的优势,以及MVRBM对二维信号的有效表示能力和神经网络(NN)的判别能力,提出CNN-MVRBMNN混合模型进行动态手势的时空特征表示和分类。上述两个模型能够有效提取视频数据包含的时空信息。本论文具体工作如下:(1)基于3D-2D RBM模型的动态手势识别研究。本文首先提出了3D-2D RBM模型,进一步地,面向动态手势识别应用需求,提出了双通道3D-2D RBM模型(Two-channel 3D-2D RBM)。其中,一个通道建模手势3D视频数据的运动特性,另一个通道建模3D视频数据的空间特性,最后在决策层进行了两通道信息的融合。(2)基于CNN-MVRBM-NN混合模型的动态手势识别研究。本文提出了基于CNN-MVRBM-NN混合模型的动态手势识别方法,该模型由三个子模型组成。CNN子模型自动提取动态手势序列的帧级空间特征,MVRBM子模型基于CNN模型的输出进一步建模动态手势的时空高层语义特征,训练好的MVRBM可有效地初始化NN子模型,使得NN子模型在经过反向传播算法微调后有更强的判别性。本文在剑桥手势库上评价了上述两种方法进行动态手势识别的效果,实验结果表明本文提出的两种方法对于动态手势识别的可行性和有效性。