随着云计算和移动互联技术的发展,视频已成为信息的主要载体,并呈爆炸式增长。面对海量视频,如何自动、准确和高效地分析和理解视频中人类的动作是当前人工智能研究的热点。本文研究基于视频的时序动作定位与识别,旨在自动定位视频中动作片段的起止时间并识别动作类别,以排除背景对准确理解视频内容的干扰,为视频监控分析、视频检索、视频问答等下游任务提供支撑。然而,视频数据量大、维度高、内容复杂,基于视频的时序动作定位与识别存在以下几个难点:1)视频时序信息复杂,时序特征提取难,动作时序位置难以准确定位;2)视频的时空信息复杂,场景变化大且存在噪声干扰,动作特征难以提取;3)数据标注信息少,时序标注稀疏,模型难以训练;4)视频标注耗时费力,且标注结果带有主观性。围绕上述难点,本文以视频时序动作定位与识别中的高效特征提取和高效训练方法为研究重点,提出了一系列新方法,创新点和贡献包括以下几个方面:1)针对视频时序信息复杂,时序特征提取难的问题,提出了一种基于图卷积的时序动作定位与识别算法。基于视频内容的时序相关性,提出了利用动作候选片段间的相关关系实现高效的时序特征提取。设计了一种构建图的方法以建模候选片段间的关系,并在此基础上提出了一种基于图卷积的时序特征提取算法,充分利用视频的时序上下文信息以增强动作候选片段的时序特征。实验结果表明,该方法能有效建模并利用视频片段间的相关关系,同时显著提升时序动作定位与识别精度。2)针对现实应用场景中视频存在噪声/背景干扰,动作特征难以提取的问题,提出了一种基于声音和视频内容的时序动作定位与识别算法。本文提出了一种基于声音注意力机制的特征提取模块,利用视频的声音信号引导模型关注与动作相关的空间区域。提出了一种跨模态关系注意力模块,以进一步利用声音和视觉模态内、模态间的关系增强动作特征。在动作定位、音-视频事件定位等任务的实验结果表明,该方法能有效减小噪声/背景干扰,准确提取动作特征,最终提升时序动作识别精度。3)针对视频数据标注稀疏,标注信息少,模型难以训练的问题,本文提出了一种基于稠密回归机制的时序动作定位算法。在动作定位与识别任务上首次提出了基于稠密回归机制的时序边界回归方法,可在标注信息不变的情况下使正训练样本的数量显著增加,为如何从稀疏的标注数据中挖掘有效的监督信息提供了一个新的视角。在此基础上,提出了基于交并比（Intersection over Union,Io U）的回归模块,可为定位结果进行评估和校准,进一步提升时序定位的精度。实验结果表明,该方法相对于直接使用稀疏标注进行训练的算法,能有效挖掘更多的监督信息,显著提升算法训练效率和预测精度。4)针对视频数据标注过程耗时费力,且时序标注带有主观性的问题,本文提出了一种基于弱监督学习的时序动作定位与识别算法,实现了无动作时序标注的情况下,训练动作时序定位和识别模型。提出了一种基于对抗擦除机制的方法,在训练过程中迭代式地擦除带有显著动作特征的片段,有效解决了现有方法只能定位出视频中最显著动作片段问题。在此基础上,提出了一种类别重要性权重计算方法,可针对每类动作实现精准的定位。实验结果表明,该方法无需逐帧标注数据即可完成时序动作定位与识别,且取得了与基于监督学习方法相媲美的性能。