随着互联网媒体近年来的蓬勃发展,尤其是抖音,快手等短视频的流行,对视频的分类,个性化推荐,审核等需求变得日益迫切起来。视频分类技术是视频分析领域的重要方法,也是计算机视觉中的研究领域,所以受到越来越多的研究者的关注。长期以来,机器学习领域主要集中在图像领域,以卷积神经网络为代表的深度学习网络模型在图像领域取得了很好的成果。然而视频中除了帧内的图像信息还存在着帧间的时序信息,所以传统的模型以及卷积网络不能很好地处理时序信息。本文研究目标旨在通过神经网络中融合注意力模型,实现更高的分类精度,其中包括图像的空间特征提取,以及帧间的时序特征提取,主要工作和贡献包括以下几点:(1)时间维度中的注意力,提出了关键段注意力模型,先将视频分为若干段,然后在每一段提取若干关键帧,然后通过局部依赖模块提取段向量,通过自注意力层提取全局时序特征。局部依赖模块的主要特点是位置无关和方便嵌入。通过注意力公式计算帧间的相似度,捕获关键帧间的关系,从而提取时序特征。自注意力层增强重要关键段的权重,同时抑制不重要的关键段的权重。(2)帧间关系的注意力,因为对一些视频对时序要求较高,比如动作识别等,所以为了探究视频关键帧之间因果关系,提出了基于关键帧推理的视频分类模型,首先通过卷积网络提取图像特征,然后经过全连接函数提取帧间的关系,本文中设计多帧的复合函数捕获帧间关系。(3)空间维度中的注意力,因为卷积网络的特点是局部计算,所以本质上无法获得图形内的长距离之间的像素关系,针对以上问题,本文提出将注意力模块嵌入到卷积网络中,该模块主要是对混合域的注意力,包括通道注意力和空间注意力,通道注意力更关注是什么,而空间注意力更关注哪一部分,通过设计不同的注意力公式,捕获通道和空间的长距离关系。(4)因为视频包含的物体信息较多,特征之间的组合信息对最终的分类影响很大,所以增加了特征组合模块,来增强强相关特征组合的权重,同时抑制弱相关的特征组合权重。