视频表征学习旨在学习有效的特征映射函数,实现将原始视频映射到新的特征空间,以便进行更高层次的视频内容理解（如视频动作识别等）。视频表征学习是视频监控、视频搜索、视频推荐等视频应用的基础,具有重要的研究价值和应用前景。得益于自注意力机制的引进,Transformer模型拥有出色的视频时空关系建模能力,是目前最佳的视频表征模型之一。但是,现有的视频Transformer模型缺少对视频中图像块运动信息的利用,其自注意力机制也无法利用外部的先验知识对视频进行表征。这些不足限制了现有的视频Transformer模型的性能。针对上述问题,本文尝试通过对自注意力机制的改进,利用了图像块运动信息和共享特征词典对视频进行特征提取,从而提高Transformer模型的性能。具体地,（1）提出了一种运动增强的视频Transformer模型（MEViT）,在现有的时空分离自注意力基础上增加了视频帧中参与时间注意力计算时的视野范围,实现对视频中运动信息的利用,从而提高Transformer模型的性能;（2）提出了一种基于混合注意力的视频Transformer模型（HaViT）,通过引入共享特征词典和当前视频来共同计算新的注意力替代原始的自注意力机制,利用视频内部依赖和共享特征词典对视频图像块进行特征表示,从而提高Transformer模型的性能。在常用公开数据集（Kinetics-400、Kinetics-600 和 Something-Something v2）上的实验表明,本文提出的Transformer模型超过或者匹配了目前技术水平的表现。