人工智能发展到今天,机器对于多模态数据之间关系的处理和理解越来越重要。视觉图像和其自然语言描述的相关性关系的研究是其中一个重要的问题。它在图像和文本的定位、双向检索、图像标注、视觉问题回答(VQA)、图像分类、zero-shot learning等都有应用。人类描述物体是通过语言的方式表达的,语言对于人类区分物体概念非常重要。为了更好的模仿人类,更好的让机器理解图像和语言的关系,本文分别从单目标细粒度图像、多目标自然图像两个方面对基于自然语言描述的图像目标定位算法展开深入研究。具体的研究工作如下:本文设计的细粒度图像和其语言描述定位框架。本文在卷积神经网络中,本文从输入的图像中提取卷积特征图。同时使用基于自注意力机制的Transformer结构对语言描述进行编码,提取出语言描述的特征向量。然后,在图像的像素级别上和语言描述的word进行模态间的细粒度语义对齐。将卷积特征图和语言描述特征向量进行特征匹配,并对特征匹配图Match Map进行处理,得到物体的mask图,根据mask图得到最终定位的结果。经过试验,本文在CUB-20-2011数据集上取得了不错的定位效果。本文在单目标细粒度图像的基础上,首先建立了一个动态的短语词典,并学习了多重视语义表示来解决图像-短语标注的问题。本文从每个短语实例中获取多重语义作为键,并建立动态键字典队列,然后使用卷积网络来学习图像的多个区域的特征表示作为查询。最后计算每对Query-Key的余弦相似度,选择具有余弦相似度的最佳Query-Key对,并通过对比学习优化图像短语相似度。从一个短语中学习多个语义特征可以使网络学习到更可靠的语义特征表示,避免网络对图像中最重要的区域和短语中最重要的单词过于关注,并且还可以更有效地减少短语中噪音的负面影响。动态keys字典队列使本文可以摆脱批处理限制,并执行更有效的比较学习。实验表明,与其他短语目标定位方法相比,本文的方法在公开数据集上准确率大幅提升5%。