网上社交媒体平台上文本、图像、音频、视频等多模态数据的增长迅猛,传统的单一模态数据检索已经无法满足当今社会的需求,跨模态检索应运而生。多模态数据往往具有很高的维度,使其难以有效检索。为了有效地组织、管理和检索在文本、图像的语义之间相互关联的有效数据,跨模态检索已经成为了当今学术界和工业界的热门话题。本文以跨模态图文检索技术为重点,结合多模态数据的特点,研究提高跨模态图文检索的精度问题,设计和开发跨模态图文检索系统,便于用户查询同一语义下的多种模态数据。本文主要做了以下工作:（1）针对于图像类内差异相对较大、传统的细粒度图像检索方法识别分类能力差的问题,提出了改进的Swin Transformer图像检索模型,利用Swin Transformer作为特征提取的主干网络,结合注意力机制,充分提取图像局部和整体的信息,提高了图像检索的精度和效率;在此基础上,引入FPN模块融合多尺度图像信息,有利于小目标和多尺度特征物体的图像检索;引入了RPN模块,实现了端到端的训练,可以根据不同的尺度和长宽比得到较为准确的预测框;引入ROI池化层能够实现抑制噪声,生成固定大小的特征建议图。在MS COCO数据集和民国纸币自建数据集的对比实验结果验证了改进的Swin Transformer模型在图像检索模型中具有较好的优越性。（2）为了解决图像文本两种模态之间的异构鸿沟以及图文局部相似和全局相似关联的问题,提出了基于Transformer的细粒度跨模态图文检索模型FCRMT,在使用改进的Swin Transformer和BERT进行图像和文本特征提取的基础上,使用Transformer作为推理模型对图像和文本特征进行推理;同时使用普遍求和进行图像文本特征聚合,建立图文局部和全局的跨模态关系;使用多重相似性计算进行对比,充分学习两个模态之间的全局对齐关系,实现跨模态的细粒度图像文本的检索;设置损失函数边界值α进行对比实验,使模型更好地学习样本之间的差异。在数据集MS-COCO和Flickr30K数据集进行了大量实验比较,实验结果证明FCRMT在跨模态图文检索中表现良好。（3）设计并实现了图像文本检索系统,系统开发使用flask技术,实现“以图搜图”、“以图搜文”和“以文搜图”三个功能。该系统可以应用于搜索引擎、电子商务、信息管理、图文智慧问答、字幕生成等场合,帮助用户实现跨模态图文检索,并使用户摆脱媒体类型的限制。