在手势识别等领域中,由于多模态数据所蕴含的信息具有互补性,使用多模态手势数据协同进行手势识别可以有效提高识别准确率。首先,本文提出了一种叫做模态卷积的针对多模态视频数据进行特征提取的方法,该方法对多模态图像数据的模态内信息与模态间信息均进行了特征提取,并从像素级别将多模态信息数据进行了数据融合,使得提取出的特征更能准确表征手势视频数据。基于这种模态卷积的方法,我们描述了一种卷积神经网络称作模态卷积网络,可以同时提取空间特征、时序特征与模态间特征,并将这些特征用于后续的手势分类。之后,我们基于模态卷积网络构建了完整的手势识别模型并完成了动态手势识别工作。完整的手势识别模型包括数据预处理,特征提取,数据融合以及手势分类4个部分。其中,数据预处理部分分别对手势视频数据与骨骼数据进行数据增广、裁剪等处理,特征提取部分针对RGB图像与深度图采用模态卷积网络进行特征提取,针对手势骨骼数据则使用深度信念网络进行特征表示,数据融合部分将两种网络得到的特征采取按照权重融合的方式实现决策级别的数据融合,手势分类部分使用隐马尔可夫模型完成动态手势的识别。最后,我们使用leap motion作为手势数据的采集器,基于手势识别技术实现了计算机拆卸虚拟实验,该虚拟实验应用可以有效识别用户做出的抓取手势动作,从而提供自然的人机交互方式完成计算机拆卸的教学演示工作。我们在Cha Learn LAP 2014手势数据集上做了对比实验,并使用Jaccard系数分别计算并记录了训练模态卷积网络时的验证准确率与手势识别架构最终得到的识别准确率,并与现有不提取模态间特征的类似方法进行了对比。结果显示模态卷积网络比基准方法的验证准确率高了3%,同时最终的手势识别准确率提升了2.3%。实验结果表明,本文使用的模态卷积可以有效提取模态内与模态间信息,有助于多模态识别问题准确率的提升。