在计算机视觉中的视频分析领域,行为检测有两大主要任务:时序行为检测和异常行为检测。时序行为检测是指从一段未裁剪视频中检测出包含行为的片段,并给出行为片段的时间轴定位信息即行为开始时刻及结束时刻;异常行为检测是从几乎全是正常行为的视频中准确找到那些稀疏的异常行为。这两个任务是视频分析领域中的重点研究课题,实现快速的时序行为检测以及有效的异常行为检测对实现视频内容自动分析和视频理解具有重大意义。因此,本文利用深度学习技术,提出了基于行为主体检测的时序行为快速检测方法和基于深度多示例学习排序模型的异常行为检测方法。本文的主要研究内容如下:(1)针对基于深度学习的行为检测方法,重点研究了其中的特征提取环节并分析它们的优劣势以便之后的选用及改进。另外,对目前三种典型的行为检测方法进行实现并做小改进,同时进行实验定量分析它们的优劣势,从中发现行为检测算法的改进方向。(2)提出了一种基于行为主体检测的时序行为快速检测方法。针对现有时序行为检测方法的检测速度问题,本文首先对检测模型的提名候选区域模块以及监控视频特性进行分析,提出一种预先进行行为主体检测筛选掉无行为主体片段以快速生成候选区域的方法。随后采用高效的行为/背景分类网络判别候选区域是否属于行为,最终输出行为时间轴定位。通过实验验证了此方法可以实现快速时序行为检测。(3)提出了一种基于深度多示例学习排序模型的异常行为检测方法。针对目前视频异常行为检测方法效果不佳的问题,本文首先对异常行为的特性以及包含异常行为视频的标签的弱监督性进行分析,通过将多示例学习方法以及对双流网络模型进行改进用于异常视频分析,有效提高了异常检测准确率并降低了虚警率。