随着信息技术的快速发展,图像和文本数据大幅度增长,但是这些数据对于计算机而言是难以理解和使用。为了能更好的对这些数据进行理解、查找和管理,本文利用深度学习的相关方法判断图像和文本在语义上是否具有相似性,本文的主要研究工作及成果如下:1.设计了一种可以识别图像中主体目标的评价模型。通过分析图像的目标检测和识别方法,发现这些方法无法准确识别图像中的主体目标。针对这一问题,本文设计了一套可以识别复杂背景图像中主体目标的评价模型CNN-Main。利用选择性搜索算法分割图像,提取图像中不同目标的候选区域并利用改进的卷积神经网络识别图像的多目标类别。提取图像目标后,利用显著性区域视觉模型建立主体目标评价体系计算每个目标的主体评分,取最高评分的目标作为主体目标。并通过实验,发现CNN-Main相比其他方法具有更优秀的表达效果。2.提出了一种融合图像主体目标和场景知识的图像语义提取模型。通过研究目前图像语义提取的方法,发现提取的图像语义质量普遍不高,且规避了主体目标。为了能产生高质量的图像语义,本文融合图像主体目标和场景的先验信息生成图像的语义,提出了一种MS-Net模型。让双向循环神经网络语言模型在产生图像的语义序列时,先验信息更加丰富。并通过实验,发现MS-Net提取的图像语义,相比其他方法在BLUE、METEOR和CIDEr评价指标上更具优势。3.设计了一种图像和文本相似度的计算方法。目前,图像和文本相似度计算的方法是先提取图像和文本的主要语义,然后计算它们之间的语义相似度,但是由于不同的限制条件使相似度计算方法存在很大误差。针对这一问题,本文设计了一种方法分别从两个不同的角度计算图像和文本相似度。首先使用WordNet本体分类树,对图像和文本的主要语义进行扩展,通过放大语义信息提高图文相似度的准确率。然后分析循环神经网络语言模型,结合长短时记忆网络依据上下文信息推测句子语义,从而达到提高准确率的目的。为验证本文提出的方法,构建了相应的数据集,实验结果表明,该方法在准确率,召回率和F值上的表现优于其他方法。综上,本文主要以深度学习为技术手段,以图像和文本为研究对象,分析图文匹配的关键问题,并给出相应的解决方案,通过实验验证其具有良好的效果。