行为识别是计算机视觉中一个重要的研究方向,是视频监控等领域的关键技术,具有极大的研究价值。在图像领域,卷积神经网络已经被证明具有强大的学习能力。然而,由于人体行为的高复杂性与多变性,3维卷积神经网络应用于视频人体行为识别仍存在时序特征损失、运动特征难提取等诸多问题。因此,本文将3维卷积神经网络的连接方式、结构等多方面进行改进,并对改进后算法的实现和应用进行了研究和分析。（1）针对3维卷积神经网络将视频的时域和空域同等处理所导致的视频时序特征损失的问题。本文设计了一种单源输入的视频行为识别模型,该模型改进了3维卷积神经网络时间维度的连接方式,使得当前时间的神经元只与过去时间的神经元建立连接,从而保留前后图像之间的因果性,避免了视频时序特征的损失。同时通过构建顶层特征图金字塔,实现只用一个特征提取网络获取视频的多尺度时间特征,减少了额外的计算成本。并且在每个时间尺度都添加了一个非局部的激励结构,使得模型能够自动关注于关键的时间尺度的信息,从而获得更具有判别性的时空特征。实验结果表明,该模型能够达到较高的识别准确率,并且模型能够充分挖掘视频的时间特征。（2）针对数据集中部分行为类别不需要通过运动特征即可区分开来所导致的模型偏向于利用物体和场景信息判断出行为类别的问题。本文设计了一种多源输入的视频行为识别模型,该模型将RGB图像序列和光流图序列的信息进行融合,由于光流图能够更好地表征人体的运动特征,避免物体和场景的影响,融合后的模型对于行为的识别分类具有更强的鲁棒性和泛化性。同时添加未来帧预测的分支网络,通过子任务来约束特征提取网络充分挖掘视频中的运动特征,进而提升主任务行为分类的准确率。实验结果表明,该模型能够达到较高的识别准确率,并且因为分支网络的存在,模型能够有效地提取到人体的运动特征。