论文部分内容阅读
哈希算法因其存储成本低、查询速度快已被广泛应用于Web图像检索中.当前主流的图像哈希算法仅考虑视觉特征,忽略了相关文本中涉及的有价值语义信息,而且手工提取的特征无法与哈希学习过程适配,从而导致图像表达能力差,检索效率低.为了提高图像哈希算法的检索精度,本文做出如下研究:首先,本文提出了一种新的无监督图像哈希算法-基于语义迁移的深度图像哈希(Semantic Transfer Deep Visual Hashing,STDVH).该算法利用谱聚类挖掘训练文本的语义信息,构建深度卷积神经网络将文本语义信息迁移到图像哈希码的学习中,并采用统一框架进行哈希学习,在低维汉明空间中完成对大规模Web图像数据的有效检索.STDVH将哈希学习的目标函数与卷积神经网络的特征函数整合在一个目标函数中,从而将哈希学习转化为对该目标函数的优化过程,通过反向传播算法对该目标函数进行优化求解,使得训练得到的图像高层特征和哈希码以及哈希函数互相促进提升.其次,本文将STDVH算法扩展到半监督条件下,提出了半监督语义迁移深度图像哈希算法(Semantic Transfer Deep Visual Hashing for Semi-Supervised,STDVH-SS),用来处理训练数据中存在有限语义信息的情形.该算法利用少量监督信息和大量无监督文本信息学习更丰富的语义,将半监督语义迁移到图像的深度哈希中,利用统一框架的深度哈希学习提高图像哈希码的检索性能.最后,本文将STDVH和STDVH-SS综合对比利用,构建了基于语义迁移深度哈希算法的Web图像检索系统.该系统训练阶段只需要数据库中部分图像和文本信息,根据标签情况采用STDVH或STDVH-SS算法进行哈希学习,利用学习到的哈希函数将数据库图像转换成哈希码进行存储.而在检索阶段只需要提供查询Web图像,检索系统按汉明距离由小到大返回数据库图像.本文在Wiki和MIR Flickr这两个公开的Web图像集上进行实验,实验结果表明本文提出的STDVH和STDVH-SS算法相比其他先进的图像哈希算法具有更高的检索精度.实验结果也说明辅助文本信息的迁移对图像哈希码的语义表达具有增强效果.在统一深度神经网络框架下,图像特征表达和哈希学习能够互相促进提升,从而提高了Web图像检索的性能.