时序行为检测旨在检测视频中的行为,不仅需要精确定位行为的起止点,还要为其预测正确的类别。时序行为检测任务是高层自动视频内容理解任务的基础,具有重要的学术研究意义以及应用价值。目前,时序行为检测任务的难点主要体现在三个方面:（1）大部分研究工作采用基于锚框的检测方法,通过预定义锚框覆盖可能包含行为的区域,存在计算量大且不灵活的问题;（2）时序信息在视频行为检测中非常重要,但传统的卷积形式并不能充分捕捉特征中的时序信息,容易造成时序节点之间缺乏长远依赖的问题;（3）视频中行为的跨度差异较大,单一特征图在检测过程中容易遗漏感受野之外的真实行为。针对上述问题,本文开展了以下研究:针对问题1和问题2,本文提出基于沙漏网络的无锚框时序行为检测方法。首先,该方法以预处理过的视频时空特征作为两个级联的沙漏网络的输入,通过上下采样捕捉视频中的细节以及语义信息,并采用中间监督的方式降低网络的训练难度。为了保持对时序信息的敏感性,该方法利用图注意力模块自适应学习时序节点之间的权重关系,优化初始特征。接着,通过类激活热力图分支选取行为中的关键点及其类别,以关键点组合的无锚框检测方法生成初始时序提议框。最后,通过词嵌入分支筛选初始时序提议框,优化时序提议框质量。针对问题1、问题2和问题3,本文提出基于金字塔结构的无锚框时序行为检测方法。首先,该方法设计了嵌入自注意力模块的金字塔结构模型,与传统的特征金字塔结构相比,其在下采样的特征之间嵌入自注意力模块。针对不同感受野的特征,自注意力模块能迭代捕捉不同的时序信息,不断优化目标特征。然后,利用不同感受野的特征来建模多尺度类激活热力图,每一个类激活热力图单独训练,提取行为中的关键点和类别后生成初始时序提议框。最后,同一个尺度的时序提议框会通过该尺度的词嵌入模块进行优化筛选。本文提出的创新型方法在经典的视频时序行为检测数据集THUMOS’14和Activity Net-1.3中进行了实验。其中在THUMOS’14数据集中,上述两个方法相较于目前结果最好的方法在m AP@0.5上分别提升了3.9以及3.6个百分点,充分验证了本文方法的有效性。