随着智能电子设备的高速发展,人机交互的方式也日新月异。手势是人们表达自我的一种常用方式,其识别技术对人机交互领域有重要的意义。手势识别有望开启人机交互的新篇章,给人们带来更便捷、更人性化的交互方式。本文通过对动态手势识别的相关算法进行研究,提出了一种新的算法提高手势识别的效率和准确率以促进手势识别的现实应用。本文首先介绍了手势识别的研究意义和当前的研究现状,并概述了深度学习的相关理论,然后分析了双流法和三维卷积神经网络(3DCNNs)这两种主流的手势识别算法。针对已有算法效率和准确率不高的问题,结合双流法和3DCNNs的优点,提出基于时空模型的多模态动态手势识别算法,本文进行了如下工作:(1)针对动态手势识别效率较低的问题,本文将深度可分离卷积引入到了3DCNNs中,并结合双向卷积长短记忆网络(BiConvLSTM)和ShuffleNet设计了新的时空模型网络。该网络不仅非常适合时空型数据,而且具有较高的效率。然后针对手势视频采集时的帧数是不定的问题,提出了基于帧间差分的关键帧提取方法和来统一视频帧数。经过实验证明,该网络在小幅提升准确率的同时以有效提升手势识别的效率。(2)光流对于手势识别准确率的提升是巨大的,但利用原视频帧提取光流帧会带来巨大的计算量和存储量。为了解决这个问题,本文引入了基于卷积神经网络(CNNs)光流法TVNet,设计了基于端到端的光流生成并提取光流特征的网络。这种方法生成的光流帧不仅比传统方法更适合手势识别,而且不会带来额外的存储消耗。(3)为了进一步提升手势识别的准确率,本文基于RGB、深度、光流三种模态提出了基于时空模型的多模态动态手势识别算法。首先对RGB视频中存在的手势部分偏暗的现象采用了直方图均衡化的方法进行图像增强,对深度视频中存在的噪声则采取聚类的方法进行去噪。最后,将RGB、深度、光流三种模态的数据输入网络中提取特征,并进行特征融合作为分类的依据。本文在手势识别公开数据集IsoGD上对提出的算法进行了实验。首先,将提出的新型时空模型网络与其他优秀算法进行了效率和准确率上的对比,证明了本文提出的时空模型可以在不降低准确率的前提下提升识别的效率。然后对其他改进的部分分别进行了对比分析实验,最后将本文提出的基于时空模型的多模态算法与其他算法在IsoGD数据集上进行对比。