行为识别是视频分析领域的重要研究课题,在视频监控、医疗辅助、人机交互等场景中应用广泛,其目的是借助计算机视觉技术自动分析和识别视频中的人体行为,并给出分类标签。然而,由于视频内容的复杂性和行为本身的多样性,使行为识别面临着巨大的挑战。现有的行为识别方法,在分析和识别视频中的人体行为的过程中,仍然受到复杂场景信息和背景噪声的干扰。当前的多数方法局限于从外观和光流中学习行为模式,使得模型在分析理解复杂行为时存在一定局限性。对此,本文通过分析行为的有效特征,并针对视频行为本身的特点和当前研究工作的不足,从抑制冗余信息干扰的角度出发,在3D卷积神经网络中引入空间注意力机制,研究了融合显著性增强的特征的行为识别;从有效利用多种特征的互补性和差异性的角度出发,研究了基于多模态特征的行为识别。主要工作如下:（1）针对行为分析容易受到冗余背景信息干扰,卷积网络缺少对行为关键特征进行筛选和对干扰进行抑制的有效手段的问题,本文提出了基于注意力机制的双流网络模型。该模型首先通过3D卷积神经网络构建行为的双流特征表达,然后利用空间注意力机制对卷积特征重新计算关注度权重,从而筛选出行为的有效特征,以此来抑制干扰信息,最后对显著性增强的双流特征进行融合表达,提高了行为识别的效率和准确率。（2）针对当前行为识别方法局限于从外观和光流中学习行为模式,对复杂行为的分析识别存在不足的问题,本文提出了基于多模态特征的行为识别模型,在外观和光流的基础上引入人体姿态信息,并利用GCN-LSTM网络对姿态序列的空间结构和时域共现关系进行学习推理。通过对多模态特征的联合学习,提高了模型对复杂行为的识别能力。