在地铁运行途中,地铁司机的操作行为是否符合安全规范直接关系到乘客的人身安全,所以对地铁司机进行视频监控是一项非常重要的安防措施。地铁司机操作行为识别作为人体行为识别的一个重要应用场景,传统的行为识别方法需要手工设计目标特征,通过特定的方法提取特征,存在效率低、准确率低、泛化性差的问题。深度卷积神经网络具有自学习的特性,能够自动提取数据中的有效信息,效率、精确性得到大大提高。本文基于深度学习对地铁司机操作行为识别的算法展开了进一步的研究,其主要工作内容如下:首先,完成了基于二维卷积神经网络对地铁司机操作行为的识别。基本框架采用二维Inception-v3作为基础网络,构建双流卷积网络模型,提取视频图像中的不同数据形式为RGB、光流数据。实验结果表明,在two-stream网络中,训练过程采用部分BN dropout的方法,其识别准确率提高到81.63%,采用平均池化函数,其识别准确率为82.16%。其次,完成了基于三维残差卷积神经网络对地铁司机操作行为的识别。为了充分利用空间和时间信息,设计使用三维卷积神经网络,同时提取时空特征,并嵌入三维残差结构,提出基于微调和SVM的地铁司机操作行为识别算法。实验结果表明,微调两次(一般场景下),其识别准确率达到83.23%,冻结底层卷积层数的增加,识别准确率持续上升,但高层卷积不能随便冻结,SVM方法(一般场景下),识别准确率达到82.28%,使用全局平均池化操作代替全连接层的识别准确率达到83.17%。最后,完成了基于多流卷积神经网络对地铁司机操作行为的识别。为了增强网络模型的泛化性能,将加入注意力机制的二维卷积神经网络与残差结构的三维卷积神经网络结合,使用多模态数据输入,最后基于特征级联、特征相加两种算法进行实验对比。实验结果表明,特征级联方法,一般场景下达到86.78%的识别准确率,特征相加方法,一般场景下达到85.47%的识别准确率。准确率高并且便捷,所以把深度学习与地铁司机操作行为识别相结合,将会有非常广阔的应用前景。