论文部分内容阅读
随着互联网的飞速发展和具有拍照功能的智能设备的日益普及,人们可随时随地拍照并将照片上传到网络上,各类图像库的规模呈现爆炸式地增长。在大规模图像数据资源中快速查找需要的图像数据已经成为十分艰巨的任务和难题。为了解决上述大规模图像检索问题,一个有效的解决方案是使用近似最近邻搜索算法。在实现近似最近邻搜索算法的技术手段中,将数据映射为二进制码的哈希方法因其内存消耗低和搜索速度快受到了越来越多学者的关注。由于深度学习对图像特征的强大学习能力,将深度学习与哈希学习相结合的深度哈希方法也成为一个热门研究方向,受到了学者们的广泛关注。本文针对三种典型的大规模图像检索场景(即简单相似图像检索、多标签图像检索和图像-文本跨模态检索),对深度哈希方法进行了深入研究,并取得以下研究成果:(1)针对简单相似图像检索场景中的哈希码学习问题,提出了一种深度非线性映射监督哈希方法(Deep Supervised Hashing with Nonlinear Projections,DSHNP)。在现有深度哈希方法中,其哈希映射过程都是采用线性映射函数实现的,限制了哈希映射函数的学习能力,从而影响到哈希模型的性能。为了解决上述问题,提出了 DSHNP方法,通过泛化映射函数来提高深度哈希模型的检索性能。DSHNP方法采用软决策树作为非线性映射函数。软决策树将特征向量非线性地映射到哈希空间,且与深度神经网络相结合,通过梯度回传端到端地进行训练。为了保证哈希码的检索性能,设计了正交性正则化项,将其作用在软决策树中叶子节点的参数矩阵上,能让哈希码尽量简洁,即尽量减少哈希比特之间的信息冗余。理论证明了正交性正则化项能保证叶子节点参数的各方向保持正交,从而达到减少哈希比特间信息冗余的目的。在两个公开的真实数据集上开展了实验,实验结果表明,DSHNP方法比现有哈希方法具有更好的检索性能。(2)针对多标签图像检索场景中的哈希码学习问题,提出了一种深度多示例排序哈希方法(Deep Multi-Instance Ranking based Hashing,DMIRH)。现有哈希方法都忽略了多标签图像检索场景的两个属性,即输入图像带有多个标签和输出结果为排序列表,从而导致多标签图像的特征表达不是最优的,进而影响到多标签图像的哈希码性能。将上述多标签图像的哈希学习问题形式化为多示例排序学习问题,并设计了 DMIRH方法来解决该问题。在DMIRH方法中,每张图像被转化为多个物体区域建议边界框的集合,即每张图像被表示为多示例的包。为了学习上述多示例包的特征表示,设计了一个类别感知的包构造方案来得到包特征向量。该类别感知包向量构造方案利用类别感知的参照向量从多个示例中筛选出代表类别的示例,从而捕捉到图像的多标签信息,然后基于径向基函数对代表类别的示例进行聚合得到包特征,从而将多标签信息嵌入到包特征向量中。为了使哈希码能够近似保护包特征间的内积,将乘积量化方法从欧式距离拓展为内积距离。理论证明了该量化方案能够有效保障哈希码的量化质量。基于真实的多标签图像数据集开展了实验,实验结果表明,所提出的DMIRH方法与现有哈希方法相比具有更好的哈希性能。(3)针对图像-文本跨模态检索场景中的哈希码学习问题,提出了一种深度示例级关联跨模态哈希方法(Deep Cross-Modal Hashing by exploiting Instance-level Correspondences,DCMHIC)。现有跨模态哈希方法都忽略了示例间关联,即图像-文本对中语义对齐的物体-短语对,这会导致假阳性错误,从而降低哈希模型的检索性能。为解决上述问题,设计了 DCMHIC方法,在跨模态哈希码学习中引入示例间关联。DCMHIC方法为每个数据库候选样本点构造一张图,并学习出图的表示向量作为该样本点的跨模态表达。具体地,将数据样本点的各个示例看作图中的点,将各示例间的关联看作图中的边,利用该图结构从而能够以无序的方式捕捉到图像-文本对的示例级关联,并通过图特征向量将示例级关联嵌入到跨模态哈希码中。为了解决查询样本点仅有一个模态信息而缺乏多模态信息的问题,为查询样本点设计了模态相关的哈希函数,将单模态的查询输入映射为哈希码,并在查询哈希函数上加入约束条件,使得查询样本点的哈希码与数据库候选样本点的哈希码处于同一哈希空间。在两个基准图像-文本数据集上开展了实验,实验结果表明,所提出的DCMHIC方法比现有跨模态哈希方法具有更好的检索性能。