基于高效的交通异常行为检测方法保证道路安全具有广阔的应用前景。交通异常行为的产生多归因于驾驶员异常行为和事故引发的二次事故,本文从驾驶员异常行为与道路交通异常行为两方面出发,针对驾驶员异常行为中的驾驶员疲劳驾驶行为和道路交通异常行为检测进行研究。针对现有疲劳驾驶行为检测方法设备侵入性特点和精度不足等方面,提出一种伪3D（Pseudo-3D,P3D）卷积神经网络（convolutional neural networks,CNN）与注意力机制结合的驾驶疲劳检测方法。本文利用P3D的结构融合双通道注意力模块和适应的空间注意力构建P3D-Attention网络,去除背景和噪声对识别的干扰;在两个数据集的测试集上,本文方法的F1-分数分别达到0.9989和0.9964,与Inception-V3融合LSTM的方法相比F1提高2%。针对道路场景异常行为检测问题,提出一种异常目标检测及开始时间估计的道路交通异常行为检测方法。对于交通场景下小目标检测困难问题,为了保证远处小目标的召回率,使用优化透视图模块结合YOLOv3的异常车辆检测方法。采用单目标跟踪结果获得相关性更高的目标求解更优的透视关系图,结合YOLOv3目标检测方法检测冗余裁剪适当容量大小的区域图片,快速地进行异常车辆检测,在相关数据集检测达到0.9705的F1分数。对于现有在交通异常行为开始时间估计方面的方法过于依赖高级轨迹特征,消耗大,耗时长等的缺点,提出一种孪生互相关机制与P3D-Attention网络结合的交通异常时间估计方法,利用孪生互相关机制,使得网络更为关注所选目标,对关键帧的时空特征建模,以提高交通异常车辆预测性能,解决交通异常时间检测问题,从而准确估计异常行为开始时间,在相关数据集上的均方根误差为9.22,视频平均执行速度为983fps,每12帧视频平均执行时间仅为12.2ms,相比使用位置检测框和跟踪轨迹方法的相比消耗更小,耗时更短。在此基础上,本文设计并初步实现一个基于深度学习的交通异常行为检测系统,通过驾驶员疲劳驾驶行为检测方法,交通异常目标检测方法、交通异常行为交通时间估计方法,为有关交通管理部门提供一种新的高效的交通异常行为检测方法。