时序行为检测任务的目标是,对输入视频中发生的每个行为进行分类,同时检测每个行为发生的起止时间。基于训练阶段所使用标注的不同,时序行为检测可以分为全监督和弱监督两个子任务。大多数全监督子任务的研究方法使用滑动窗口来得到一系列候选区域,然后对候选区域进行分类和回归。然而,滑动窗口方法灵活性差,需要针对具体的数据集来设置不同的窗口大小。弱监督子任务的研究方法通常基于多实例分类网络,这种方法通常会导致检测结果碎片化。为了解决上述问题,本文对两个子任务分别进行了深入研究,主要工作如下:(1)基于自下而上结构的更灵活候选区域生成方法研究。针对视频提取得到的时空特征,使用卷积-反卷积的方法将特征在空间域下采样后在时间域上采样,还原特征的长度至输入视频序列原始长度。然后,对于特征的每个位置进行三次二分类,预测每个位置作为行为开始区域、行为发生区域和行为结束区域的概率。最后,聚合概率值较高的行为开始位置和行为结束位置来生成更灵活的候选区域。(2)通过时序候选区域互补来得到更高性能的全监督时序行为检测器。通过融合本文提出的候选区域生成方法及预定义窗口大小的候选区域生成方法,得到了可以端到端训练、检测性能更好的全监督时序行为检测器。(3)在线时序类别激活图生成方法。弱监督子任务的大多数已有方法使用训练完成的分类网络生成时序类别激活图,本文探索了可以在线生成时序类别激活图的方法,该方法在数学形式上与已有方法等同。该在线方法,能够在网络前向计算的过程中生成时序类别激活图,从而使得时序类别激活图机制可以更灵活的集成到其他复杂网络中。(4)通过互补学习缓解弱监督子任务检测结果碎片化的问题。通过分类网络前向计算过程中得到的时序类别激活图,对高激活值位置的特征进行消除。使用消除后的特征,训练额外的分类网络来生成互补时序类别激活图。融合原始时序类别激活图和互补时序类别激活图可以有效缓解检测结果碎片化问题。对于本文提出的改进方法分别在相应的时序行为检测数据集上进行了实验。实验结果表明,本文所提方法的检测性能相比于已有方法有了较大的提升。