随着铁路系统的飞速发展,机车的运行速度经过了数次提升,对机车驾驶员提出了更高的要求。此外,基于深度学习的目标检测和行为识别是目前最流行的研究方向。本课题主要研究基于深度学习的机车驾驶员的异常行为问题,目的是将可能引起事故的驾驶员的异常动作利用深度学习方法进行检测、识别及预警,论文主要工作如下。(1)分析研究了图像预处理相关算法,主要包括图像增强、去噪和分割三个方面。首先,在图像增强技术中主要分析了直方图均衡化和模糊增强法;在图像去噪技术中,主要分析了均值滤波、小波滤波和自适应中值滤波。最后,研究了图像分割技术,在图像分割技术中分析研究了基于阈值的和基于聚类的图像分割技术。(2)分析了基于传统方法的行为识别算法。传统行为识别方法中的i DT算法是深度学习领域外效果最好的方法,因此主要分析了密集采样、轨迹跟踪和特征提取这三个步骤。此外针对支持向量机分类器进行了相关分析及研究,并进行了相关算法的实验。(3)重点研究了驾驶员的异常行为检测和识别。首先,分析研究了R-CNN的改进模型——Faster R-CNN。其次,针对R-CNN的系列模型检测速度慢的问题,重点研究了YOLOv3算法和Retina Net算法,并且针对各自的影响检测速度或者检测精度的问题,提出了其改进方法。此外,还进行了本课题数据集的制作和异常行为的定义,分别使用YOLOv3的改进方法和Retina Net的改进方法进行模型训练,并将这两种方法和Faster R-CNN、YOLOv3以及Retina Net算法进行对比,对比出了各自的优劣势,可以按照使用环境进行选择。(4)最后基于已有的训练模型,设计开发了针对铁路司机异常驾驶行为的检测和识别系统,实现了异常行为的采集与识别分析。