基于视频的双人交互行为识别是计算机视觉领域热门的研究方向,其在智能视频监控、人机交互、虚拟现实等领域均具有广阔的应用前景。目前识别算法存在空间特征的构建上忽略了双人之间重要的交互信息,时序建模上不能更好的利用行为中关键帧的问题。因此本文采用深度学习的方法对关节点数据的双人交互行为识别展开深入的研究,在NTU RGB+D交互行为数据集进行实验测试,建立基于深度学习的双人交互行为识别算法框架,提高算法的准确率和实用性。主要内容及创新如下:首先,提出一种基于双流卷积神经网络（CNN）的双人交互行为识别算法。该方法对每个人的关节点采用基于遍历树结构进行排列,然后计算帧间关节点运动距离后归一量化为灰度图,最后采用CNN提取深层次特征后进行融合得到分类结果。该算法充分考虑了人体的空间结构和关节点之间的依赖性,结构简单,实时性好。其次,提出一种CNN结合加入注意机制的双向长短时期记忆网络（Attention-Bidirectional Long Short-Term Memory network,A-BLSTM）的双人交互行为识别算法。在对每一帧每个人的关节点通过遍历树结构进行排列的基础上构建交互矩阵,将矩阵进行灰度图像编码后采用CNN进行特征提取得到特征序列,然后送入A-BLSTM网络中进行时序建模和识别。该算法在底层特征图像化的过程中充分的考虑个体关节点之间的依赖性和双人的交互关系,并且在时序建模过程中加入注意机制以赋予关键帧更多的权重,排除了与识别的行为相关性较低的噪声帧的影响。最后,提出一种图卷积网络（GCN）与A-BLSTM结合的双人交互行为识别算法。对每一帧的关节点构建对应的单人关节点的连接图以及双人关节点之间的交互连接图,然后进行图卷积操作获得空间特征序列后送入A-BLSTM进行时序建模和识别。该算法充分利用了人体关节的拓扑图结构,并在图的构建过程中加强考虑双人的交互关系,提高了交互行为特征的表征能力,取得了比现有的模型更好的识别效果。