互联网的发展使视频数据呈爆炸式增长,有效地处理和分析海量视频数据成为一项重要的任务。充分利用视频数据,可应用于视频安全监控、视频检索与分类、人机交互和无人驾驶等方面应用。视频行为识别具有很重要的研究意义,并且在国内外取得了许多研究成果。基于视频的行为分类方法有传统方法和深度学习方法两大类。然而传统的人工特征方法面对成百上千的海量视频数据存在诸多局限性。随着计算机硬件水平的不断提高,深度学习方法在领域中得到了广泛的使用和研究。卷积神经网络在处理图像分类方面性能很好,但不适用于加入了时间序列的视频数据处理。基于双流神经网络的方法把时间特征和空间特征分开提取,两个网络之间没有学习到对应的像素关系,容易丢失动作识别线索。并且受到了时间尺度限制,无法识别长时间尺度视频。基于3D卷积的C3D网络直接提取了时空特征,计算速度快,符合视频识别要求,但大量的参数和计算量使得网络难以训练。针对上述问题本文提出一种时空卷积神经网络视频人体识别算法。为了解决双通道网络无法利用时空特征问题,本文对双流神经网络进行改进,把时域网络和空域网络经过卷积计算后提取的特征图加权融合,通过实验分析讨论了融合位置的影响。为了进一步提高精确度,本文将设计的双流融合算法与R(2+1)D算法结合,提出时空卷积神经网络(Spatiotemporal-r(2+1)d)。R(2+1)D是基于C3D的改进算法,3D卷积核因式分解为2D卷积核和1D卷积核,加入的Res Net残差学习结构减少了计算量和参数,并且改善深度网络的梯度消失问题。针对无法处理长时间尺度视频问题,选择把视频分段处理。随机采样的视频帧和堆叠的光流图输入到双流神经网络,双通道分别提取的特征进行权重调整与融合得到中层语义特征,输入到为了适应双流融合输出的特征维度改进的R(2+1)D卷积块中再次时空建模,提取和训练时空特征,最后通过softmax层完成行为分类。本文将提出的算法在公开的UCF-101数据集和HMDB-51数据集上进行了训练和测试,与现有的一些经典行为识别算法对比取得了较优精度,表明本文方法的有效性。