基于计算机视觉的非接触式手势识别方式作为一种自然而便捷的交互手段,在人机交互应用中扮演着越来越重要的角色。同时,RGBD手势图像中深度信息的引入能够克服背景及光照变化等因素的影响,进而提高识别算法的性能。然而,如何充分利用RGBD图像中丰富的纹理信息与场景空间信息是一个需要考虑的问题。卷积神经网络等深度学习技术的出现则为RGBD图像的深度利用提供了一个有效的途径。基于深度网络的特征提取方式能寻找到更精确、更鲁棒的特征表示。更进一步地,局部特征描述子与深度特征的互补融合能够优化手势特征并提高识别精度。本文针对上述分析展开了研究。首先,本文提出了基于平行多通道卷积神经网络模型的深度特征提取算法。该算法通过RGBD各个图像通道的耦合连接与权重配比形式,实现对彩色纹理信息与场景空间信息的深度结合。同时,本文深度网络模型由于其网络构建的灵活性,并不局限于RGBD格式数据集。通过图像通道的构建与耦合训练,该模型能够实现对各种多模态图像数据集的深度特征提取。然后,本文提出了基于局部线性嵌入的多特征融合算法。该算法通过各个样本特征空间局部重建权值矩阵的融合,实现对多个特征空间的重要性度量。同时,该算法引入了输入特征空间到输出特征空间的映射变换矩阵,降低了算法应用过程中高昂的空间开销与时间开销。进一步地,本文在多特征融合算法的优化目标项中引入样本标签信息,缩小样本类内间距,扩大样本类间间距,并将原始问题转变为无约束优化问题与二次规划问题的迭代优化,实现对分类超平面的修正。实验数据也说明了本文所提出的基于深度网络与多特征融合的手势识别算法的合理与有效。