面向大规模媒体检索的监督哈希方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:kingper
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近似近邻检索在科研和实践中都扮演着重要的角色。然而,随着互联网和日常生活中多媒体数据的爆发式增长,针对给定的查询样本,在可接受的时间和存储消耗下从如此大规模的数据集中检索其确切的最近邻逐渐变得难以实现。因此,研究者们开始转向近似近邻检索的思想,试图在检索精度和效率之间寻求一个平衡,基于哈希技术的检索方法也因其快速的检索速度和较低的存储消耗而受到了越来越多的关注。经过一段时间的发展,现在利用语义标签等监督信息来更好地获得数据样本之间相似关系的监督哈希方法逐渐成为了当下基于哈希的检索方法研究的主流。尽管现有的监督哈希检索方法已经取得了良好的效果,但是依然有着许多有价值的问题有待进一步研究。首先,监督哈希方法的关键是如何充分发挥监督信息的作用来学习更好的哈希码和哈希函数,但是目前这一问题依然是没有完美答案的开放问题。此外,随着深度学习技术的发展,也有许多方法尝试设计基于深度网络的监督哈希方法,但是,除了像普通方法那样利用监督信息来构建学习目标之外还能以何种方式发挥监督信息的作用,以及如何有效的结合深度神经网络和哈希检索方法进而能够在充分发挥深度特征提取网络的优势的同时尽可能利用现有哈希方法设计经验,依然是有待进一步研究的问题。最后,一项技术的关键仍然在于应用,如何有效应用监督哈希的思想解决更加困难但也更加重要的实际问题,也是研究者需要重点考虑的问题。基于以上讨论,本文针对面向大规模媒体检索的监督哈希方法展开了深入研究,并且尝试将哈希检索技术应用于更加困难也更有价值的实际任务,即细粒度数据检索。具体来说,本文的主要工作包括:(1)本文提出了一种简单且有效的策略来实现深度特征提取网络和现有传统非深度哈希方法的融合,并在此基础上设计了一种新的策略来发挥监督信息的作用,即哈希编码重构。本文提出了双深度神经网络跨模态哈希方法,其中包含三个训练阶段和两个作为哈希函数的深度网络。具体来说,该方法首先选择一种现存的单模态哈希方法来为一个数据模态(比如文本)生成初始二进制编码;然后,这些生成的哈希码被用作监督信息来训练作为另一个模态(比如图像)哈希函数的深度网络;最后,利用训练得到网络获取对应模态的哈希码,将这些哈希码根据特定的重构过程进行重构,然后作为监督信息来训练作为文本模态哈希函数的网络。该方法可以被视作一种能够将任意单模态哈希方法扩展为深度跨模态哈希方法的框架,同时该方法的效果还将会随着所选择的单模态方法的效果提升而提升。(2)本文优化了以哈希码和哈希函数分开训练为特点的传统两步哈希学习策略,并提出了一种新的方法来充分利用监督信息。本文设计了一种新的两步跨模态哈希方法,即类别关系及语义相似保持的两步哈希方法。该方法首先直接根据语义标签学习哈希码,同时尝试发掘和利用不同标签类别之间的相关性信息;然后在第二步中,不同于其他两步方法只关注哈希码学习而忽视哈希函数训练,该方法改进并集成了前一段所述方法中的哈希编码重构过程的思想,尝试在哈希函数的学习过程同样引入语义关系信息。到目前为止,该方法是第一个尝试利用标签类别相关性的哈希方法,也是第一个尝试在两步中都引入监督信息的两步哈希方法。(3)在综合上述研究的基础上,本文进一步尝试解决一个更加困难但也更具实用价值的问题,即细粒度哈希,并结合细粒度数据的特点提出了有监督的特征优化思想。细粒度哈希方法应用于细粒度数据集的检索任务,在这类数据集中数据样本之间的差异往往非常细微。细粒度哈希是哈希检索领域的一个新问题,目前仅有非常少的相关工作。本文首先总结了三个细粒度哈希方法需要关注的要点:细粒度特征提取、特征优化以及损失函数设计,然后提出了双重过滤细粒度哈希方法。该方法采用基于代理的损失函数和特别设计的特征提取网络,同时继承了前述方法的两步学习策略。该方法的核心即为双重过滤机制,其主要包含两部分,分别是用于提取更高质量细粒度特征的空间过滤模块和用于进一步优化特征的特征过滤模块。该方法高效且有效的同时也非常易于实现,从这个角度来说,本文的研究充分证明了监督哈希方法在细粒度检索这一新领域的潜力。
其他文献
很多家实验观测到宇宙线全粒子谱能谱在几个PeV处有“膝”的结构,原初宇宙射线全粒子能谱膝区的物理特征对于研究宇宙线的起源、加速和传播机制非常重要。高能宇宙射线的质量组分是解释宇宙中这些高能粒子的起源、加速和传播机制的关键之一。我国科学家提出的高海拔宇宙线观测站(LHAASO)项目,目标是探索高能宇宙线起源、开展北天区伽马源扫描搜索等,膝区宇宙线成分测量是该项目的重要研究内容。LHAASO建设在中国
有机半导体包括有机小分子和高分子,因其质轻、柔性、制备简单等优势,在传感器、激光器、光开关和太阳能电池等方面具有广泛的应用。与无机半导体不同,有机半导体具有较强的电子-晶格相互作用,这导致掺杂的电子和空穴能够使晶格畸变,从而形成自陷的元激发,如孤子、极化子和双极化子。另外,通过光或者电激发形成的中性激发态,如激子和双激子,除了存在电子和空穴之间的库仑相互作用外也会受到局域晶格势场的束缚。这些独特之
本论文主要研究R2n中P对称紧凸超曲面上的闭特征问题,P为辛矩阵且满足P-I2n可逆以及存在正整数m>1使得Pm=I2n。本文包含三个方面:闭特征多重性问题,稳定性问题以及共振恒等式(即闭特征之间的关系)。对于多重性问题,本文主要应用M aslov-型指标迭代理论以及M aslov指标理论证明了如果P满足Pm=I2n且辛相似于R(-θ)◇n-[n/2]◇R(θ)◇[n/2],则任意的P对称紧凸超曲
随着大数据时代的快速发展,各式各样的数据不断产生,数据成为了重要的战略资源。如何高效而精确地处理这些规模庞大、种类繁杂并且快速增长的数据是各个行业在激烈的竞争中抢占先机的关键因素。但是,很多经济实力薄弱的用户无力承担购买和维护数据处理设备的高额成本,因此,这些用户会因不具备处理复杂数据的计算能力而失去竞争优势。此外,在物联网、车联网以及可穿戴医疗设备等新兴技术中,终端设备为了做出精确的响应,需要对
随机图理论起源于Erdos和Renyi在1959-1968年间发表的一系列论文。该理论经过几十年的发展目前已成为一个独立且发展迅猛的离散数学分支,位于图论、组合论和概率论的交汇处,在理论计算机科学、自然科学和社会科学中有着广泛的应用。随机扰动(超)图是近年来引入的一种图模型,其目的在于研究少量随机(超)边扰动的情况下对于图性质的影响。在第二章和第三章,我们研究了哈密尔顿圈的幂、完美匹配以及因子在该
众所周知,博弈论是对多个主体制定策略的研究。从控制论的角度来说,我们可以把它看作是一个高维最优控制问题。博弈问题中的数学模型有很多种,例如,按参与者之间的关系来划分,可以是合作关系,也可以是冲突(非合作)关系,它在金融市场、管理科学、计算机科学、物理、化学等领域有着广泛的应用。最早的研究是关于零和博弈的,即所有参与者的总利润是等于他们的总损失的。这是非合作博弈的一个特例,现在我们把纳什均衡策略称为
水汽虽然占总的中性大气含量不足4%,但它却是地球中性大气的重要组成部分。一方面,它是大气能量传递的基础,水在低纬度地区被蒸发吸收热量,水汽被输送到高纬度地区凝结,释放出大量的热量。另一方面,水汽也是地球上最重要的温室气体之一,对全球气候变化有着重要影响。此外,水汽在大气水文循环中也起着关键作用,在风的作用下,水汽围绕地球移动,为云层和降水的形成提供水源。因此,了解水汽的变化对于气候特征和气象监测研
发达国家50岁以上人群里,每年患有不同类型骨骼疾病的人数逐步增多,社会人口逐渐呈现老龄化的趋势,因各种原因造成的关节损伤人数也在不断增加,人工植入体的需求日益增多。近等原子比的NiTi合金因其优异的形状记忆效应和超弹性、良好的机械性能、较好的耐腐蚀性和生物相容性,在医疗植入领域得以广泛应用。本文以Ni50.8at%Ti形状记忆合金为研究对象,提出铣削-电化学抛光加工工艺,揭示铣削加工表面完整性的影
随着高通量测序技术的发展,大规模基因表达数据的积累速度越来越快。如何借助数学方法从海量的表达数据中挖掘有效信息成为了一个极大的挑战。表达数据中一个至关重要的信息就是基因表达的相关关系。它可以帮助我们实现对未知基因的功能注释,理解基因间的调控关系,从而更好地了解复杂疾病的机制。这对发现癌症亚型、预测致病基因、药物筛选等有着极为重要的意义。但是不同于一般的数据,基因表达数据中参与同一调控机制的基因只会
云计算是一种基于互联网的资源共享模式,其利用虚拟资源管理和分布式计算等技术管理计算资源,并以在线和按需的方式向用户提供计算服务。根据提供服务类型的不同,云计算可以分为三个层次的服务,分别是基础设施即服务(Infrastructure-as-a-service,IaaS)、平台即服务(Platform-as-a-servic,PaaS)和软件即服务(Software-as-a-service,Saa