随着计算机技术和互联网的发展,视频正成为人们获取和交流信息的主要载体,其中视频监控越来越成为社会发展和人们生活不可或缺的一部分,如何使用计算机技术进行视频中的人类行为分析识别成为近年来的研究热点。本文在以光流信号为运动信息表征的传统双流卷积神经网络的基础上,提出以帧间差分图像序列作为时间流网络输入,运用Res Net-18网络结构建立双流网络模型实现视频中人体行为识别的方法。并对传统双流网络的数据提取方法进行了优化,保证了数据间的信息对应,同时,提出将Adam优化器与传统的高维特征分类可视化算法T-sne相结合对帧间差分的卷积特征进行分类可视化。本文主要研究如下:针对光流信号的提取需要大量计算资源和时间消耗从而影响传统双流卷积神经网络运行效率的情况,本文提出计算帧间差分图像序列来表征视频内的运动信息,并将其作为双流卷积神经网络中时间流网络的输入,同时,以灰度图像序列作为空间流网络输入减少样本数据量。本文建立小样本数据集并运用VGG结构建立双流网络对人体动作识别进行测试验证了差分图像作为网络输入的有效性。在此基础上,为了在大数据集上进行动作识别以及保证网络的高效性,双流卷积神经网络的时间流和空间流网络采用深度残差网络结构,同时对原视频数据的提取方式进行优化,提出了视频分段及段内取连续栈化块的方法,充分利用多帧视频,使双流网络能够在获得更多有效运动信息的同时保证了两个网络流输入帧之间的信息对应。在人体动作识别过程中,本文首先对帧间差分算法与光流信号在卷积神经网络中的应用进行了对比实验,分别从实时性、信息表征方面进行分析,证明在识别率相当的情况下,帧间差分算法的运算速度以及运算消耗远远优于光流信号,用帧间差分特征表征视频内的运动信息提高了双流网络识别算法的效率,可以在CPU级的条件下完成快速动作识别,并在此基础上,构建双流卷积神经网络进行人体动作识别。本文在数据集UCF101上,随机选取25个类别作为小样本UCF25数据集。为了验证帧间差分图像作为双流网络输入的可行性,在数据集UCF25上采用VGG网络结构用于训练和识别,并取得了非常好的结果。在此基础上,运用Res Net-18网络模型,通过迁移学习训练的方式在UCF101数据集上进行训练,在网络训练过程中采取了分步训练的方式,分别训练空间流网络和时间流网络,训练好的两个网络流通过均值融合进行两个网络流融合,实现了视频中人体动作的有效识别,具有较高的识别准确率。此外,本文提出将T-sne与Adam优化器结合提高T-sne收敛速度,并使用优化的T-sne对时间流卷积特征进行降维分类,取得良好的分类可视化结果,证明帧间差分特征经过卷积层后采样后能够有效表征运动信息。对于人机交互环境下人体动作实时识别,本文算法具有很高实用性。