随着人工智能技术的发展和视频数据以爆炸式的速度增长,视频中的行为检测在图像以及视频领域得到了广泛的应用,并在视频检索、智慧农业、人机交互、视频监控等领域有广阔市场和应用前景。视频行为检测的目的是从一段视频内容中识别出动作的类别,同时检测出动作出现的时间点并在视频中定位动作主体的位置。随着研究的不断深入和对实际应用场景上时间消耗的考虑,需要更精确地捕捉视频中的动作并能实时的检测。本文围绕这一目标,对视频中行为检测的关键技术进行研究,对行为检测的精确性和实时性等方面进行改进。本文主要的主要结论如下:（1）本文提出了基于自注意力机制的动作识别模型。该算法的核心是让网络关注动作发生的区域和动作出现的时间,提升动作相关特征对识别任务的贡献同时抑制无关特征对结果的影响。具体地,通过自注意力机制让网络自主学习到动作相关的特征和在长视频中前后动作之间的联系。实验表明本文的动作识别模型在三个动作分类的数据集上取得了很好的效果,相较于基准算法精度提高了约10%。（2）在对运动信息提取方面,设计了可嵌入到动作定位模型中的光流网络。区别于现有算法先计算光流,再通过网络计算光流来得到视频的时序信息。本文提出的光流网络不仅可以实现端到端的训练,而且使用多个连续的视频帧来生成连续的光流信息,这样来得到连续的时序信息。实验表明本文的行为检测结果在UCF101-24数据集上在检测速度大幅提升的基础上,精度上提高了1.3%。（3）在对动作定位速度加快方面,设计了高效的特征融合模块,在提高特征表达能力的同时也加快了检测速度。该模块使用将深层和浅层的时序特征和空间特征以金字塔的方式结合在一起,解决了单一特征图在动作识别和位置回归时的相互影响的问题。实验表明本文的动作定位方法在检测速度上与广为使用的算法[1][2]相比分别提高1.9倍和9.9倍。