随着科学技术的发展,每天都会产生海量视频数据,这些数据与我们生活有着紧密联系。如何有效利用这些数据为我们的生活带来便捷,是随之而来的问题。许多现实场景中,动作之间差异十分微小,使得它们具有细粒度的特征,所以细粒度视频行为检测和识别技术是一个有效解决问题的方向。细粒度动作识别和检测是一个非常具有挑战性的问题,近几年引起了学术界极大的关注。在视频中,细粒度动作类别之间的视觉差异非常细微,导致动作识别和检测变得异常困难。现有的方法在模型训练时常常需要视频帧级的强监督标签,使得训练的时间成本和经济成本非常高昂。为此,本文提出了一个新的弱监督动作检测算法,用于细粒度视频的动作识别和检测。为了捕捉细粒度视频中动作的发生区间,本文设计了一个可以同时在空间和时间维度上定位显著性区域的时空自注意力模块。尽管在强监督方法中已经有一些工作利用时空注意力机制进行动作检测和识别,但是这些方法通常将时空注意力的产生视为两个分离的步骤。本文认为动作特征在时空中是一个整体,不应该被分离成两个部分。因此,与这些机制不同,本文的时空注意力机制可以同时在时空中产生注意力信号。相较于强监督下,时空分离注意力模块可以使用帧级强监督信号训练,本文的时空自注意力模块仅有视频级别弱监督信号指导。为了防止自注意力模块因为监督信号不足,得不到充分训练,本文利用特定类别的注意图作为自引导信号,改进本文的自注意力模块的能力。最后,考虑到时空维度上动作特征和背景特征分布的复杂性,本文尝试同时学习多种时空注意力掩码,并使用多样性损失函数监督,增强这些掩码之间的解耦能力和多样性。在多样性损失函数的优化下,不同注意力掩码关注不同的区域,从而提高本文算法在建模细粒度类别动作方面的能力。综上所述,本文主要贡献点如下:1.本文设计了一个新的自注意力模块,可以同时在空间和时间维度上定位关键动作区域,捕捉细粒度动作的细微动作模式。2.本文扩展了类相关的信息,以此作为自引导信号,指导时空自注意力模块更好的学习。3.本文设计了一个具有多样性的多注意力模块,可以在复杂的特征分布中,更精确地捕捉动作的细微动作模式,且在多样性损失函数的监督下,多个注意力模块间可以解耦且更具多样性。4.本文的方法在两个具有挑战性的细粒度视频数据集上,即MPⅡ Activities和MLB-YouTube上进行了大量实验,实验结果也证明了与当前通用弱监督行为检测技术相比,本文所提方法的有效性。