工业4.0时代,主流大型工厂拥抱智能制造,在此过程中,视频监控与智能分析技术发挥着极其重要的作用。利用视频监控来进行生产操作行为的智能识别与分析是本文的主要研究内容,也是计算机视觉领域的研究重点。目前,具备一定规模制造工厂内的监控相机每天可以产生数T级的有效视频数据,而这些视频中的绝大部分仅仅用作监控工人生产。实际上,这些视频数据包含了大量工人和机器的操作行为,以及蕴含在其中的生产模式。本文从行为识别和时序动作检测两个方面入手,对工业生产操作行为进行分析研究,主要开展了以下两个工作:在行为识别方面,提出了基于双流卷积神经网络的新架构——结构化时空融合网络。双流卷积神经网络在视频动作识别任务中表现出很强的性能,其核心思想是通过融合空域和时域卷积网络来学习时空特征。然而,双流卷积神经网络在融合阶段只是简单地对时空网络进行加权平均,并没有充分利用时空特征。我们提出一种新式的双线性时空压缩算法来融合时空特征,在时空域、多重时域以及它们之间层级上都进行融合,增强时域和空域特征的互补性。另外,为了使网络能够更加准确的判断显著动作区域,我们在网络中添加了一种时空注意力机制,引导网络更加关注目标运动区域。最后我们在标准数据集UCF101和HMDB51上进行实验并对比了其他优秀研究工作。实验最终结果在两个数据集上分别获得94.2%和68.9%的精确度。时序动作检测主要是从一段长视频中检测出各个动作的开始和结束时刻,并确定该动作的类别。我们使用了一种视频三元组模型,量化评估每个动作的开始、主体、以及结束帧的序号,这样就能明确地获取每个动作在视频中的起止时间。我们使用结构化时空网络来计算图像帧的置信度,使用端到端的训练方式来一致性调优。这里整个网络的标签是单帧的动作类别以及边界类别(开始,主体,结束)。在获得帧序列的置信度后,按置信度排列窗口并利用非极大抑制算法删选出关键动作,实现时序动作检测。另外,我们收集西奥工厂的工位监控视频数据,并按照THUMOS’14数据集的格式制作了一份动作检测数据集,补充了工业生产操作识别数据集的缺乏。最后,我们在THUMOS’14数据集和西奥工位数据集上验证了该框架的性能。本文阐述了深度学习在行为识别和时序动作检测两个方面的应用,并运用到实际工厂监控数据集上,使用工厂监控视频来分析生产操作行为。另外,工厂生产操作行为识别也为后续面向制造业的工作流挖掘,异常事件监测等提供了可行性。