随着移动设备,互联网以及存储技术的飞速发展,数字图片变得越来越容易获取,每天都有数以亿计的图片被上传到社交平台上,如何在海量的数据中快速准确地找到用户所需要的图片,成为图像检索亟待解决的问题。通常图像检索有两种查询方式:基于文本的查询和基于内容的查询。基于文本的查询根据用户输入的关键字与标签进行相似性匹配,基于内容的查询需要用户输入一幅图片,根据图片的视觉相似性进行查找。目前主流的一种查询方式是文本内容混合检索方式,即先通过文本查询获得初排结果,继而根据图片的视觉特征对初排结果进行再排序,工业界常称之为图像重排序。目前图像重排序存在着两个问题:首先初排结果作为重排序的一种监督信号,它的质量的好坏也同样影响重排序之后的效果,然而由于目前图像数据集中的文本质量不高,许多文本中含有大量的噪声,这就导致了初排质量的下降;其次,现有的关于多特征融合的检索方法未考虑到多模态特征的自适应调整,并且当特征种类增多时未考虑稀疏化的问题。针对以上存在的问题,本文提出了一种多模态图像重排序的算法,主要工作罗列如下:(1)标签增强。针对图像数据集中文本数据噪声较多的问题,本文使用标签增强技术进行解决,包括标签去噪和补充标签。使用近邻投票方法对标签进行去噪,其主要依据为:视觉内容相似的图片,它们的标签数据集大多都有重叠。标签去噪后有些图片中可能含有空的标签集,这样会导致许多丰富的信息丢失,解决方法是使用替代法,根据近邻图片的标签来为该图片补充标签。通过实验对比验证了标签增强后对初排结果的有效性。(2)多模态特征自适应融合。将多种模态的视觉特征集成于统一的框架中,为每种模态分配一个权重,通过对模型的求解来进行权重的自适应调整。模型添加了一个权重约束正则项,表示方式有两种:L1范数和L2范数。添加L2范数进行模型求解时采用支持向量机中SMO算法的思想;另外,当模型使用的特征较多时,并不能保证每种特征都有效,需要进行特征选择,于是本文还提出了将多模态与稀疏学习相结合的方法,使用L1范数来进行稀疏化。通过大量的对比实验,结果表明L1范数相比其他方法能够达到特征选择的目的。