监控录像是记录、回放和分析异常行为的关键工具。以传统的方法检测和分析视频中的异常事件需要对监控视频进行人工处理,但这些方法需要耗费大量人力,而结合深度学习算法的动作检测技术能够在海量数据中自动学习到健壮的行为特征,因此逐渐成为实时识别异常行为的解决方案之一。以计算机视觉理论为基础不断改进的动作检测算法前景广泛,具有重要的研究价值和实际意义。常见的行为检测技术尚存在行为识别的准确率低、对非异常行为的误报率较高和检测响应时间较长等问题亟待解决。本文依据时空位置以及人体目标和动作特征,结合监控视频中异常事件种类多样而无法提前预测、出现频率远低于正常事件的实际情形,实现了监控视频中检测、分类和标注异常行为的算法,具备良好的运行性能与精度。本文的主要贡献与工作如下:（1）通过横向连接方式组合了基于候选区域的卷积网络和特征金字塔网络,并采用以残差网络作为主干网络的目标检测模型,从而快速准确地定位视频中的目标人体。实验表明,本文采用的网络模型提升了6.3%的平均精准度。（2）采用改进的时间流输入,取代了预先计算视频片段光流场信息的方法,结合时间流与空间流的图像特征,提出了基于双流时空残差网络的动作识别模型,通过两种不同的帧序列跨度,提升了动作识别模型从视频帧中计算空间运动特征的能力。本文通过旁侧连接,对两个通道网络的结果进行融合,用于高效识别视频中的人体动作。实验表明,本文提出的动作识别模型提升了3.5%的Top-1分类正确率和1.8%的Top-5分类正确率,分别达到77.0%和92.6%。（3）结合目标特征和动作特征,本文基于多实例学习方法,提出了异常得分网络模型,将视频片段划分为实例,迭代学习视频实例中的异常行为模式,从而预测异常得分。异常得分模型以目标检测网络模型和动作识别网络模型提取的位置特征和行为特征作为输入,通过多实例学习策略,使异常行为具有更高的得分。实验表明,异常得分模型有良好的分类性能,行为识别准确率可达到77.43%。本文基于上述模型,实现了异常行为实时识别、行为分类和出现位置标注的功能,并构建了人体异常动作识别系统。