面向大规模图像检索的深度哈希方法研究

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:CYQWWL
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展和具有拍照功能的智能设备的日益普及,人们可随时随地拍照并将照片上传到网络上,各类图像库的规模呈现爆炸式地增长。在大规模图像数据资源中快速查找需要的图像数据已经成为十分艰巨的任务和难题。为了解决上述大规模图像检索问题,一个有效的解决方案是使用近似最近邻搜索算法。在实现近似最近邻搜索算法的技术手段中,将数据映射为二进制码的哈希方法因其内存消耗低和搜索速度快受到了越来越多学者的关注。由于深度学习对图像特征的强大学习能力,将深度学习与哈希学习相结合的深度哈希方法也成为一个热门研究方向,受到了学者们的广泛关注。本文针对三种典型的大规模图像检索场景(即简单相似图像检索、多标签图像检索和图像-文本跨模态检索),对深度哈希方法进行了深入研究,并取得以下研究成果:(1)针对简单相似图像检索场景中的哈希码学习问题,提出了一种深度非线性映射监督哈希方法(Deep Supervised Hashing with Nonlinear Projections,DSHNP)。在现有深度哈希方法中,其哈希映射过程都是采用线性映射函数实现的,限制了哈希映射函数的学习能力,从而影响到哈希模型的性能。为了解决上述问题,提出了 DSHNP方法,通过泛化映射函数来提高深度哈希模型的检索性能。DSHNP方法采用软决策树作为非线性映射函数。软决策树将特征向量非线性地映射到哈希空间,且与深度神经网络相结合,通过梯度回传端到端地进行训练。为了保证哈希码的检索性能,设计了正交性正则化项,将其作用在软决策树中叶子节点的参数矩阵上,能让哈希码尽量简洁,即尽量减少哈希比特之间的信息冗余。理论证明了正交性正则化项能保证叶子节点参数的各方向保持正交,从而达到减少哈希比特间信息冗余的目的。在两个公开的真实数据集上开展了实验,实验结果表明,DSHNP方法比现有哈希方法具有更好的检索性能。(2)针对多标签图像检索场景中的哈希码学习问题,提出了一种深度多示例排序哈希方法(Deep Multi-Instance Ranking based Hashing,DMIRH)。现有哈希方法都忽略了多标签图像检索场景的两个属性,即输入图像带有多个标签和输出结果为排序列表,从而导致多标签图像的特征表达不是最优的,进而影响到多标签图像的哈希码性能。将上述多标签图像的哈希学习问题形式化为多示例排序学习问题,并设计了 DMIRH方法来解决该问题。在DMIRH方法中,每张图像被转化为多个物体区域建议边界框的集合,即每张图像被表示为多示例的包。为了学习上述多示例包的特征表示,设计了一个类别感知的包构造方案来得到包特征向量。该类别感知包向量构造方案利用类别感知的参照向量从多个示例中筛选出代表类别的示例,从而捕捉到图像的多标签信息,然后基于径向基函数对代表类别的示例进行聚合得到包特征,从而将多标签信息嵌入到包特征向量中。为了使哈希码能够近似保护包特征间的内积,将乘积量化方法从欧式距离拓展为内积距离。理论证明了该量化方案能够有效保障哈希码的量化质量。基于真实的多标签图像数据集开展了实验,实验结果表明,所提出的DMIRH方法与现有哈希方法相比具有更好的哈希性能。(3)针对图像-文本跨模态检索场景中的哈希码学习问题,提出了一种深度示例级关联跨模态哈希方法(Deep Cross-Modal Hashing by exploiting Instance-level Correspondences,DCMHIC)。现有跨模态哈希方法都忽略了示例间关联,即图像-文本对中语义对齐的物体-短语对,这会导致假阳性错误,从而降低哈希模型的检索性能。为解决上述问题,设计了 DCMHIC方法,在跨模态哈希码学习中引入示例间关联。DCMHIC方法为每个数据库候选样本点构造一张图,并学习出图的表示向量作为该样本点的跨模态表达。具体地,将数据样本点的各个示例看作图中的点,将各示例间的关联看作图中的边,利用该图结构从而能够以无序的方式捕捉到图像-文本对的示例级关联,并通过图特征向量将示例级关联嵌入到跨模态哈希码中。为了解决查询样本点仅有一个模态信息而缺乏多模态信息的问题,为查询样本点设计了模态相关的哈希函数,将单模态的查询输入映射为哈希码,并在查询哈希函数上加入约束条件,使得查询样本点的哈希码与数据库候选样本点的哈希码处于同一哈希空间。在两个基准图像-文本数据集上开展了实验,实验结果表明,所提出的DCMHIC方法比现有跨模态哈希方法具有更好的检索性能。
其他文献
反作用飞轮系统是卫星等航天器实现姿态调节的执行机构,该系统具有体积小、重量轻、精度高、可靠性高和寿命长等特点。飞轮电机是航天器姿态控制系统中的关键部件,其性能直接
目的观察液体垫在大肠亚蒂、无蒂和扁平息肉电凝切除术中的应用价值。方法在465枚大肠亚蒂、无蒂和扁平息肉电凝切除过程中应用液体垫,观察术后并发症。结果本组465枚大肠息
目的研究网织红细胞和成熟红细胞血红蛋白含量的比值(CHr/CH)在缺铁性贫血(IDA)诊断中的应用价值。方法用ADVIA 2120全自动血细胞分析仪检测107例IDA患者和100例健康体检者的CHr
告别油锯伐斧,挥镐扬锹植树,在贯彻国务院关于保护森林资源的通知精神的同时,自今年起全面停止对新疆、云南、四川、陕西、甘肃、青海六省区天然林的采伐。这是国务院全面实施天
“城乡关系”是社会关系的重要组成部分,马克思主义城乡关系理论指出城乡关系的产生和发展是社会分工的结果,根源于社会生产力的发展。中国的城乡关系演进历程遵循生产力发展
目的探讨妊娠合并泌尿系结石临床诊治方法及疗效。方法对51例妊娠合并泌尿系结石患者采用解痉止痛排石及及膀胱镜下输尿管支架置入术,观察其疗效。结果 17例经保守治疗症状缓
目的探讨乳腺X线检查在农村地区乳腺癌及乳腺良性病变防治工作中的作用。方法对7225名年龄在35~69岁的当地妇女进行普查,经临床医生检查触及肿块者(共547例)进行乳腺X线检查。结
T淋巴细胞依据其表面的细胞抗原受体 (TCR)的不同 ,分为αβT细胞和γδT细胞。气道淋巴细胞和嗜酸粒细胞的浸润是支气管哮喘的主要病理特征 ,但尚未见有关γδT细胞在哮喘中变化的
从2005年8月至2009年10月在肃南县大河乡大岔村的高寒草甸草原采用架设鹰架招鹰的方法做高原鼠兔防控试验,结果证明:试验区的鼠密度明显低于对照区的鼠密度(︱t︱〉t0.05);在同一年