近年来,随着科学技术的飞速发展,当今社会开始进入了大数据时代,而图像、视频数据作为信息的主要载体更是占据了重要的地位。人体行为识别成为了现如今热门的研究领域,已取得了丰富的研究成果,并在视频监控、公共安全、环境控制和检测、运动分析等领域得到实际应用。在行为识别的研究范畴中,大致可分为基于单人的行为识别、基于双人的行为识别和基于多人的行为识别。基于单人的行为识别已有很多研究成果,而与单人行为相比,双人交互的行为动作往往更加复杂化,并且完成双人动作所涉及到的肢体动作种类更多。为了提高目前双人交互行为的识别准确率,让人体行为识别在各个领域中发挥更大的作用,本文提出了一种深度学习与传统HMM相结合的识别方法。本文首先总结了相关基础知识,主要包括目前热门的行为识别方法及其发展现状,和对深度学习的深入分析和研究。由于行为识别根据方法类别主要分为两类,一类是基于传统方法,一类是基于深度学习的方法。然后分别详细阐述了基于传统方法和基于深度学习方法的相关内容,并针对这两种方法提出并建立了各自的识别模型。最后为提高识别率,融合这两种方法的模型,得到最终的识别模型。本文主要工作有其一利用sift算子对视频进行特征提取,然后用HMM训练提取到的特征,从而得到识别结果;其二利用优化后的Alex Net网络提取行为特征,然后用提取到的特征训练LSTM网络,使用Softmax方法构建分类模型;其三利用粒子群算法将深度学习的识别结果与传统HMM分类结果进行融合,从而建立了一种混合模型,得到最终的行为识别结果。针对UT-interaction数据集中的握手、拥抱、踢腿、挑衅、推搡和出拳六种双人交互行为,本文进行了实验分析,并对比了国内外相关实验结果,本文方法取得了91.9%的识别率,实验结果表明本文的混合模型得到了更高的识别率。