由于交通事故行为在真实环境下表现为类型复杂,行为发生的时间跨度较大,产生的时间跨度却极小。通常来说,产生交通事故的小片段对于交通事故是否发生具有重要意义,在构造深度学习张量之前精确的定位这些小片段会提高行为识别模型的准确率。同时,行为识别模型中时间维度的额外引入带来了高昂的计算代价,特别是以3D卷积为基础的深度学习模型。在构造3D张量时,张量时间上的维度会远小于视频本身,视频中稀疏的交通事故行为无法保证蕴含其中。采取传统采样方式构建深度学习张量难免会引入与交通事故行为不相关的视频帧,以此丢失信息,影响识别精度。为了解决这个问题,本文提出了一种基于光流估测的3D张量构建方法,使用视频序列的关键帧构造张量。与一般基于视频内容的关键帧不同,我们定义的关键帧是视频序列中角色或者物体运动变化过程关键动作所处的节点,可以表征行为的关键信息。针对交通事故行为特性,我们首先通过最大光流差异捕获视频中的关键帧,产生多个候选关键帧张量,然后使用一个两阶段的类EM方法从候选关键帧张量中提取出关键帧张量,随后在SGD的反向传播过程中基于关键帧张量更新模型参数。保证了视频序列关键信息不丢失,深度学习模型精度不下降。我们还扩展了已经在2D卷积神经网络取得重大成功的深度可分离卷积和注意力机制到行为识别模型,使用3D深度可分离卷积和时空注意力机制分别从模型复杂度和模型表达能力两方面进行模型优化。我们的实验证明,基于关键帧的视频行为识别在F1得分为0.772的情况下实现了76.3%的准确率,对比一般行为识别方法可以使交通事故数据集在性能上得到极大的改善。我们利用扩展的3D深度可分离卷积,时空注意力机制分别应对低延迟,大数据集等其他场景,产生了一套行为识别较为完善的解决方案。我们的方法针对行为识别采样问题,其中的关键帧提取技术与传统基于最小光流差异的关键帧提取技术恰恰相反,是一种实现交通事故判别实用化和产业化的新颖方式。