近年来随着科技的发展,使得行为识别技术也不断成熟,而获得外观信息的同时捕获帧间运动信息是行为识别的难点,双流卷积神经网络因能够捕获时空信息受到广泛关注。但视频包含噪声、光照变化等因素,以及视频行为持续时间较长都会影响识别的准确率。本文以双流卷积神经网络为基础进行深入研究,针对行为识别存在的问题,提出以下几种策略来提高识别率:（1）通过scSE模块来对图像特征进行筛选,提出融合scSE的双流网络模型框架。该模型能够关注通道之间的信息,并将行为特征赋予更大的权重,弱化背景信息的影响。本文将scSE处理后的特征进行可视化并分析结果,实验结果表明,scSE模块能够关注重要特征从而提升网络的识别率。（2）在融合scSE双流网络模型框架基础上,提出“分段-融合”策略,采用BNInception网络,提出scSEBNInception双流网络。该网络对特征进行筛选的同时,能更好的处理长时序视频的识别问题。首先将原始视频划分为等长不重叠的K个时序段,再从每段中稀疏采样RGB视频帧和光流图输入scSEBNInception双流网络中,最终融合K段识别结果。与双流卷积神经网络、时序分割网络等算法相比,scSEBNInception双流网络在保证运行速度的前提下,提高了行为识别的准确率。（3）采用ResNet 101来构造双流模型,并在此基础上增加scSE卷积层来筛选特征,减少噪声干扰,增加非局部层来关注长距离依赖并获取全局信息,提出SCNLResNet双流网络。在UCF101和Hmdb51数据集上与scSEBNInception双流网络以及其他算法进行对比,实验结果表明,SCNLResNet网络可以有效提高包含噪声、光照变化等因素的视频行为识别的准确率。论文以融合scSE的双流网络为基本框架,提出scSEBNInception网络在保持速度的同时提高长时序视频的识别率,SCNLResNet网络能更好的处理噪声变化和光照变化的影响。在UCF101和Hmdb51数据集上识别率分别达到96.4%、71.3%和96.9%、76.2%。