随着4G、5G技术的普及和移动互联网的高速发展,人们信息交互变得更加迅捷。视频逐渐变成了人们生活中不可或缺的一部分,然而随着视频的数量呈指数式增加,如何对视频的内容进行分类、监控以及视频的传播是一个亟待解决的大问题。深度学习在计算机视觉领域取得了丰厚的成果,在目标检测、图片分类等相关的视觉应用场景获得了传统方法完全无法比拟的效果。但是深度学习在视频分类领域上,由于对视频中的行为进行时间和空间维度上的建模存在困难,因此大幅度影响分类准确率。同时,现阶段的模型大部分将光流作为时间维度上的输入,光流的计算速度会大幅度影响模型的速度。针对模型中光流计算速度慢这一问题,提出使用Motion Net模型进行计算光流,并且针对Motion Net的结构提出新的空时特征融合结构,在保证正确率的同时大幅度提升模型速度。针对空间和时间维度的特征融合方式,本文将视频的空间特征和时间特征进行融合,并且将OFF子网络引入传统处理空时特征网络中,将OFF子网络融合到空时特征网络的每一层中,提升模型分类的准确率。同时,将本文提出的网络模型应用到视频行为分类中的一个重要任务——异常行为检测中,并且针对异常行为的特点进行优化提升准确率。本论文所做工作总结如下:(1)从提高模型速度的角度出发,针对现阶段限制模型速度的关键——光流的计算方法,提出使用Motion Net模型代替传统计算光流的方法,将Motion Net网络与传统的光流特征提取网络组成一个端到端的模型。实验结果证明,在保证正确率的前提下,可以大幅度提升模型速度,从原本的14fps提升到140fps;(2)从提高模型的准确率的角度出发,为了充分使用空间特征和时间特征,本论文增加了空时特征融合结构,将Motion Net网络中含有空间信息的特征与时间特征融合,提高了模型的准确率。并且为了从光流中提取更多的时间特征,本文在光流提取特征网络中加入了OFF子网络,将每层特征输入到OFF子网络进一步提取时间特征。最终本文的模型在UCF-101,HMDB51,MSR Daily Activity3D,Florence 3D action等四个数据集上的准确率均达到了顶尖的水平;(3)在异常行为检测中,在原本的空间流和时间流的基础上,为了提高异常行为检测中的微小动作的识别率,本文提出使用DIFF流来提取对应的特征。并且针对其行为特征,本文设计了新的空时特征融合结构,提升网络准确率。最后将多个通道进行加权融合,选取最佳的权重值进行异常行为识别。最终本文的模型在异常行为检测中可以达到98.52%的准确率。