跨模态检索旨在跨越不同的内容模态搜索具有相似语义的数据。多模态细粒度检索则在上述基础上强调模态数量大于二及待检索样本分类的标准是细粒度子类。首先,针对多模态数据间的异构鸿沟、语义鸿沟及细粒度样本特征差异小等难题,本文引入了模态特异特征及模态共享特征的概念,并据此提出MS2Net框架。该网络使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,再将这两种特征通过Discriminate Loss及MMFM模块进行充分融合,同时利用了各个模态自身的特有信息及不同模态数据间的共性及联系,极大的增加了高维空间向量中包含的细粒度语义信息。其次,针对多模态细粒度检索场景本文在Center Loss的基础上提出Multi-center Loss,该损失函数通过类别中心来聚集同类别且同模态的样本,再通过聚集类别中心来间接聚集同类别但不同模态的样本,同时消减了样本间的异构鸿沟及语义鸿沟,明显增强了模型对高维空间向量的聚类能力。本文提出的Ms2Net在公开数据集上进行了一对一及一对多模态检索实验,mAP指标相较于之前的方法有了明显提升。最后,针对多模态细粒度检索缺乏公开数据集的难题,本文引入半监督学习思想,提出了一种基于半监督学习的多模态鉴别器网络。该网络可以通过将在公开数据集上的预训练来对无标签的数据集进行跨模态细粒度检索,基于半监督学习的多模态鉴别器网络在多模式细粒度检索实验中的mAP指标达到了基于监督学习的MS2Net的42%。