由于监控摄像头的普及和安全行业的需要,人类行为检测已经成为计算机视觉领域一个活跃的研究方向。异常行为的发生一直是公共安全领域的一个重要问题,像公共场合吸烟、行人践踏草坪、偷窃、闯红灯等行为,它们轻者影响社会秩序,重者威胁公共安全,因此对异常行为进行检测就显得尤为重要。深度学习由于其强大的能力,越来越多的被用于人工智能领域,尤其是为视频行为检测提供了强大的发展动力。时序行为检测这项任务可以帮助我们从未剪辑的、可能非常长的视频中检测人类行为实例。与行为识别相比,它更具挑战性,因为它不仅要对行为进行分类,还要输出行为精确的开始和结束时间。本文采用时序检测方法来实现对长视频中几种典型异常行为的检测,定位行为发生的开始时间和结束时间,并将其分类为特定的类别。本文的主要工作如下:首先,完成了人类异常行为视频数据集的收集以及数据集的预处理。根据不同的场景应用,本文收集有非机动车道骑车、打架、突然奔跑、偷窃、追逐和异常交易六类异常行为数据集。为了训练时序检测网络,通过Open CV获取每个视频的帧数、持续时间和帧率等信息,然后人工制作所需的时序标注和类别标签。针对数据集的预处理,对所有的异常行为视频进行了帧序列化操作,并提取光流图,以便后续获得RGB和光流特征。除此之外,在数据输入阶段还采取了数据增强和批量标准化操作。其次,研究提高异常行为检测两个子阶段任务的准确率。异常行为的时序检测任务可分为时序提议生成和行为分类两个子阶段。为了提高检测准确率,本文基于双流网络TSN进行特征提取,采用BMN网络作为行为提议生成网络,SSN网络作为行为分类网络,实现了两个阶段的优势互补。接着分别采用异常行为时间段剪辑特征与包含背景信息的未剪辑视频特征做输入,通过对比所获得的检测结果,来验证所结合的两阶段网络的优越性。然后,研究在互补的两阶段网络上进一步提高时序行为检测的平均精度。基于本文所探究的为人类的异常行为,因此采用Open Pose提取人体的骨骼点,并选取了合适维度及数量的LSTM单元组成特征提取网络来提取人体的骨骼点特征,以此替换光流特征来融合RGB特征。改进的融合特征被用来训练结合的两阶段检测网络,在测试集上的实验结果证明,提取人类骨骼点特征有助于提高人类异常行为检测的平均精度,而采用LSTM网络则能够解决长视频训练过程中所带来的梯度消失/爆炸问题,建模长时间依赖关系,相比基于RGB和光流特征的检测具有更好的表现。最后,设计图形交互界面来完成对人类典型异常行为时序检测算法的封装。确定使用前端框架Py Qt5实现对后端人类异常行为时序检测算法的封装,通过Qt Designer设计图形界面的功能按键、视频窗口等。采用My SQL数据库实现对异常行为视频信息的存储,最终完成人类典型异常行为时序检测的整体显示设计。本文研究的人类典型异常行为的时序检测算法,采用了结合的网络实现各阶段的优势互补,并通过网络改进解决了特征的表示问题以及特征冗余的问题,提高了人类典型异常行为时序检测的平均精度。