区别于图像检索这样仅使用单一模态数据进行信息检索的方法,跨模态检索要求不同模态的数据之间可以相互检索,可以满足现实世界中针对大量多样化数据的检索需求。然而,不同模态数据之间特征分布不一致,这使得跨模态检索面临着“异构鸿沟”的挑战,同时,现有的跨模态数据集中不同类别的样本数量分布不均以及样本缺乏充足的语义标注信息的问题也会对模型的检索精度造成影响。本文针对图像和文本开展跨模态检索研究,针对数据集上类别样本数量分布不均、语义标注信息不足和公共空间中相似样本与不相似样本易于混淆的问题,分别提出了对应的解决方法。本文主要内容与创新如下:（1）提出一种缓解长尾分布的场景图生成方法。通过对象类别重分组消除长尾分布对对象识别的影响,根据特征流动方向将场景图生成过程抽象为有向无环图,在对象识别和关系检测中促进不同模态数据间的交互,从而令模型提取跨模态数据中潜藏的语义相关性。（2）提出一种基于场景图的公共嵌入学习方法。通过模型迁移将跨模态数据重构为场景图表示,并将对象识别与关系检测期间得到的结果作为辅助的语义信息,提取图像与文本场景图的嵌入表示,通过跨模态特征分布对齐,在保留高层语义关联的同时将不同模态的特征映射到公共空间。（3）提出一种基于聚类的与模态无关约束方法。利用聚类方法对公共空间中的样本进行初步分类,通过与模态无关约束将簇集中相似样本拉近,并将不相似样本推远,进而加快簇集的收拢,同时进一步增强簇集内不同模态样本间的语义相关性。（4）在上述方法的基础上,本文提出一种基于场景图生成的半监督跨模态检索方法（SGGSCR,Scene Graph Generation Based Semi-supervised Cross-modal Retrieval）,在MS COCO、Flickr 30K和Pascal Sentences三个跨模态检索领域广泛使用的数据集上,与8个经典方法进行对比,并设计了多组自分析实验。综合以上实验结果表明SGGSCR方法提升了检索精度的同时,还能利用语义关联使得与查询相关的结果占据更靠前的排序位置,体现了SGGSCR方法的有效性与优越性。