随着人工智能和人机交互领域的不断发展,手势识别技术得到了越来越广泛的应用,而在实际生产生活中的许多使用场景和需求的限制下,基于深度学习的视觉动态手势识别方法设计逐渐成为了一个重要的研究方向。从不同角度对目前的研究现状进行分析可以发现,该领域仍然存在着许多亟待解决的难题。在微观视角下,多数研究使用经典的3D卷积模块作为基础构成搭建深度学习模型,实现了时空特征的提取,但往往忽略了由此所产生的模型规模庞大和时域信息难以有效建模等影响因素。在宏观视角下,如何兼顾模型的运行效率和对全局相关性信息的整合能力是一个值得关注和研究的问题。此外,在一些特殊的应用环境下,单模态数据无法提供充足的有效信息,所以对于多样化的数据形式进行更好地融合能够在一定程度上提高总体识别效果。本文主要对深度学习领域的视觉动态手势识别方法进行了深入研究,并取得了以下成果:（1）针对基于卷积神经网络的识别方法中出现的网络规模庞大、时序信息难以建模、有效特征提取能力不足等问题,提出了一种时域多尺度融合的时空卷积结构和一种全局信息同步的特征通道注意力模块,并以此为基础构建了深度学习模型。在特征提取过程中,分别通过空间域卷积和时间域的类残差卷积结构提取多尺度感受野范围的时空特征,解决时序上下文信息缺失问题。对于获取到的一系列时空特征,进一步通过全局性和显著性信息进行编码,使用极少量的训练参数构建通道间的全局依赖关系,提高模型的特征表达能力。消融实验的结果表明,所搭建的网络结构将识别准确率总体提升了4.45个百分点,并且显著优化了模型的参数规模。通过与其他先进方法进行对比,进一步验证了模型的有效性。（2）针对目前的深度学习网络框架并行运算能力差、对于全局相关性信息整合能力不足等问题,设计了一种时空自注意力模块,并将该结构与卷积神经网络进行融合,同时借助分组机制的特性,构建了一种复合型的深度学习架构。首先,模型将自注意力机制用于处理高级时空特征,通过高维张量间的矩阵关系对全局相关性信息进行建模,并且保证了模型整体上的并行运算能力。其次,引入的分组机制能够在一定程度上降低模型的复杂度,同时获得丰富的多元信息。通过进行性能分析和消融实验,验证了时空自注意力模块对于模型总体识别效果的提升是有效的。多种识别方法之间的对比结果也充分证明了所构建的复合型网络框架的优势。（3）针对单模态数据所提供的有效信息不足而产生的准确率难以提升、模型鲁棒性差等问题,引入了一种时空特征互信息模块,并将其用于构建多模态融合方法。对于多种数据类型驱动的深度学习模型,在其中一些关键的特征提取节点实现模态之间的信息流通,同时弱化各层级时空特征所包含的冗余信息,最后利用单节点融合策略的优势输出最终的识别结果。消融实验和对比实验结果显示,所使用的融合方法实现了超过2%的识别准确率提升,达到较好的动态手势识别效果。综上所述,本文在多个方面详细分析了用于动态手势识别的深度学习模型,分别从微观结构组成、宏观框架构建、多模态数据信息流通等研究方向着手,针对存在的问题搭建了相应的网络结构,最后通过实验进行了验证,达到了预期的研究目标。