论文部分内容阅读
保障铁路列车安稳运行是铁路运输部门工作的核心工作,提高列车运行安全监控管理水平已是重中之重。铁路列车司机驾驶规范性与列车运行安全有着直接关系,因此对列车司机的驾驶行为和状态进行实时监测和智能评估有着十分重要的现实意义。本文针对常用行为识别方法在列车司机行为识别中存在的实时性差、误判率高、鲁棒性弱等难点,以列车司机监控视频数据和公开数据集为基础,结合注意力机制思想,提出了一种时空增强网络(Convolutional LSTM Networks with Spatial Temporal Enhancement,CLSTE),并应用于列车司机行为识别和理解,掌握列车运行状况和司机的工作状态,协助列车司机安全驾驶,更好的发挥设备对人员操作的监督作用。本文结合列车司机行为识别的应用背景,从数据预处理,网络模型设计,数据集实验验证等方面展开研究工作:1、制作实验数据集。首先,针对列车司机行为识别没有公开数据集,且已有的铁路列车司机驾驶数据中异常行为较少等情况,在实验室环境下,模拟录制司机行为视频,并结合已有驾驶数据,制作数据集Driver-dataset;其次,为验证本文网络结构的有效性,获取行为识别公开数据集UCF101和HMDB51;最后,将视频数据集分解为连续RGB图片帧,利用稀疏采样的原则提取图片,制作RGB数据集;利用光流法将RGB图片转换为光流图片制作Optical-flow数据集,为后续实验做数据准备。2、研究给出了一种改进的卷积深度长短时记忆神经网络(Convolutional Deep LSTM Networks,CDLN)。采用卷积神经网络(Convolutional Neural Network,CNN)提取时序图片的空间特征,深度长短时记忆神经网络(Deep Long Short Term Memory,DLSTM)提取时序图片的时序特征,通过微调网络模型和参数,实现了行为识别公开数据集UCF101-82.40%,列车司机数据集Driver-dataset-86.48%的实验效果。3、提出了一种时空增强网络CLSTE。根据列车司机行为的特点并结合视频分类任务,基于CDLN和注意力机制思想,提出了一种时空增强网络CLSTE,增强了对动作变化区域的空间特征和时序特征提取能力。CLSTE网络结构设计较浅,却可以达到与当前其他优秀深度网络相近的实验效果,实现了行为识别公开数据集UCF101-93.80%,HMDB51-69.56%,和列车司机数据集Driver-dataset-94.29%的实验效果,并且测试速度可达29fps,证明了本文方法的有效性和适应性。