视频行为识别广泛应用于智能监控系统,智能家居系统,智能驾驶等多个领域,但行为识别效果往往受模型时间复杂度、空-时特征提取、行为复杂度、昂贵的人工标注数据集等因素影响。因此,如何克服视频行为识别模型面临的困难,实现高性能的视频行为识别仍然值得深入研究。该文在目前先进的视频行为识别算法基础上,从特征提取、显著区域注意力、上下文联系以及高效主干网络等几方面,提出以下三种改进方案:首先,针对视频行为识别中如何同时聚焦视频图像显著区域以及长短时序的问题,受人类视觉注意力启发,提出融入注意力模块的视频多尺度时序融合行为识别算法模型。首先,由于视频帧间结构相似性对视频帧进行稀疏采样,然后利用二维卷积神经网络（Convolutional Neural Networks,CNN）抽取短时序-长时序特征,形容由局部到全局的多层次时空信息,同时引入注意力机制捕捉视频内容与位置兴趣点,通过附加权重来提高网络表达能力,最后对多尺度视频信息进行融合完成行为识别。其次,针对视频行为识别模型中对场景区域内远程上下文关系建模能力的不足,同时为达到高效提取时序信息的目的,提出空域长距离建模结合时域移位的视频行为识别算法。通过残差连接时间移位模块,将相邻帧通道信息按比例进行交换,利用狭长核的条带池模块链接空域远程上下文关系。最后空-时域特征在网络中融合选择,连接分类器输出识别结果。最后,针对利用无标签数据集进行训练时很难提取出时间判别特征以及参数计算量大的问题,提出基于分离卷积的时间区分表示模型。在没有网络预训练的情况下,利用无标签数据集生成时间区分三元组进行特征提取,并在膨胀卷积网络基础上设计效率更高的分离卷积主干网络。最后,通过最小化正样本与锚点样本的距离,最大化锚点与负样本之间的距离来约束网络。