图像检索是图像理解领域的一个重要研究方向。随着海量图像的激增,人们对图像检索系统的要求也越来越高,仅仅基于内容的图像检索已无法满足人们的需要。基于语义的图像检索方法逐渐进入人们的视线,而图像自动语义标注过程是其中重要的一个环节。本文对如何有效的进行图像核心语义自动标注及图像检索进行研究。首先,为了模拟人眼看见一幅图之后可以很好的理解图像内容的功能,本文提出一种基于深度残差网络的图像自动语义标注算法。该方法主要分为图像文本语义对齐模型和文本生成模型两部分,在图像文本语义对齐模型训练方法中,本文采用深度残差网络进行图像特征提取,同时采用双向循环神经网络来提取图像对应的句子标签中的单词特征,以此来完善语义对齐模型,从而有效提高标注结果。其次,图像自动标注算法大部分实现的是对图像的详细描述,即将图像中的人物、场景、事件等都表述出来,但某些情况下,人们并不需要如此详细的去掌握图像中的众多细节,只需要了解图像的主要内容是什么即可。基于此,本文提出基于多模态循环神经网络的图像核心语义标注算法。该算法主要是在图像自动语义标注模型框架上,利用循环神经网络的结构特点,选出可以表述图像核心语义的单词完成自动标注过程。该方法可以生成图像的核心语义,取得了较为理想的标注结果。最后,提出基于核心语义的以图搜图算法。语义标注的目的是更好的实现语义检索,该算法通过核心语义标注模型分别标注出查询示例图像和候选图像库中的图像,通过对比标注结果进行图像相似度匹配,寻找满足要求的图像。