视频文本检索任务要求用户输入一段查询文本（视频）,检索出语义最相近的视频（文本）。目前的视频文本检索方法大多从图像文本检索领域转化而来,而图像只包含空间信息,不含时序信息,因此迁移而来的大部分方法缺少对视频中时序信息的建模。当前也存在少数方法利用卷积神经网络和循环神经网络对视频进行时序关系推理,但是当视频内容涉及到空间转换、背景转换或动作等信息时,效果就不如人意。因此本文重点关注视频时序信息的建模方式,提出了基于注意力机制的关系推理网络。该关系推理网络可以学习和推理句子中的单词间的多尺度关系和视频帧之间的多尺度时序关系。此外,本文认为,单模态信息的准确表征是多模态任务的基础,如何设计算法来加强对单模态数据的建模能力,以提高对单模态信息的表征能力是本文将解决的另一要点。基于此问题,本文设计了全局到局部注意力机制,联合捕捉视频（文本）的局部和全局特征,再将全局和局部特征进行融合,从而显著提高了单模态的特征表示能力。最后,在检索任务中,需要衡量不同模态间特征相似度时,由于存在异构鸿沟问题,导致传统损失函数难以衡量准确。因此,本文设计了投影匹配损失函数,利用该损失函数,模型可以进一步对齐两个特征分布,以学习到一个更有效的公共子空间。本文将模型在多个数据集上进行试验,并取得了显著的提升。随着数据时代的来临和算力的大力提升,在多模态领域中,越来越多的网络通过海量的数据和预训练策略来提升模型的能力。研究者们也同样将图文预训练模型迁移到视频文本领域中,此种迁移使模型同样存在对视频中时序信息关注不够的问题。此外,现有大模型基本以Trasformer为主干网络,但Transformer本身存在局部信息建模能力差的问题。因此,本文提出了多尺度时序差分Transformer,旨在提升Transformer对局部关系的建模能力。为了使模型关注到视频时序信息,本文介绍了时序差分特征,其主要描述视频的时序细粒度信息。多尺度时序差分Transformer可以学习视频中多尺度的时序关系和细粒度信息,进而达到对精细动作和复杂场景变换的理解。最后,为了对齐单模态内的特征,并改善跨模态异构鸿沟问题,本文还提出双向相似损失函数。本文利用CLIP作为主干网络,将多尺度时序差分Transformer插入到CLIP的视频建模模块中,作为建模视频的时序关系网络,并结合双向相似损失函数,最终模型效果得到了大幅的提升。