论文部分内容阅读
如今移动设备及互联网的普及带来了多媒体数据的急剧增长,给数据存储和信息检索带来了巨大挑战。由于哈希学习技术对于大规模图像检索任务具有存储成本低、检索效率高的优点,并且为图像提供了一种具有一定概念级语义特征,因此研究哈希学习技术具有重要的理论和实践意义。近几年哈希技术引起了越来越多的关注,并成为大规模图像检索任务的基础和关键步骤。然而,从底层视觉特征学习到的哈希码与高层语义之间存在巨大的“语义鸿沟”,设计高效图像哈希学习方法提高图像语义检索的性能是一个具有挑战性的问题。本文从图像哈希学习出发,以学习高质量的二值码为总体目标,重点研究了无监督哈希学习方法、对称的监督哈希学习方法、跨模态的监督哈希学习方法及非对称的监督哈希学习方法。本文的具体研究内容和主要贡献概括如下:(1)针对现有无监督哈希方法忽略了数据集的全局拓扑结构的问题,提出了基于流形排序嵌入的序保留无监督哈希学习方法。该方法从数据的流形结构出发,将流形排序嵌入、超立方体量化、信息论正则化约束以及流形排序与汉明排序一致性约束统一到一个联合的优化框架,并提出了一种交替的优化算法解决该离散优化问题。(2)针对现有无监督哈希方法假定数据分布满足流形假设(语义相似的样本倾向于位于低维的流形上)在大的类内变化可能会弱化的局限性,提出了基于非负矩阵分解的无监督哈希学习方法。该方法将非负矩阵分解学习到的高水平特征表示,同比特平衡、比特独立约束以及样本外的扩展项联合起来学习有效的离散哈希码,并研制了一种交替的优化算法解决该离散优化问题。(3)针对现有深度监督哈希方法采用单流框架(单个分支)解决单个检索任务或者采用双流框架(两个分支)同时解决检索任务以及分类任务,而无法充分利用监督信息引导哈希码的学习问题,提出了一种基于多任务学习的深度哈希学习模型,该模型能够利用网络输出的哈希码同时完成图像分类及图像检索任务。最后利用这个两个任务的联合学习,生成紧致及判别性的二值码,有效地提升了图像检索的性能。(4)针对现有深度的跨模态监督哈希方法不能很好地保留哈希码的判别性和全局的多水平相似性,提出了一种基于全局语义及局部语义保留的深度跨模态监督哈希学习方法。该方法将捕获模态间相关性的局部语义结构保留项、捕获模态内相关性的全局语义结构保留项以及针对同一实例不同模态数据生成统一哈希码的一致性正则项整合成一种端对端的学习框架,生成能保留局部与全局语义结构的哈希码,有效地提升跨模检索的性能。(5)针对对称的哈希方法训练过程非常耗时而且无法充分利用大尺度数据中的监督信息的问题,提出了一种基于度量学习的非对称深度离散哈希方法。该方法将非对称哈希学习策略与深度度量学习方法整合一起,利用单个网络通过端对端的学习框架,提升数据库图像的离散编码过程与查询图像特征学习过程的兼容性。实验结果表明,提出算法在大多数数据库上的哈希检索性能优于现有的哈希方法。