有监督层次跨模态哈希检索方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:hq520cyj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的发展和多媒体设备的普及,不同种类搜索引擎和社交媒体应运而生,人们越来越倾向于用不同模态的数据表示同一事物,人们对于进行模态间搜索的现实需求越来越大,跨模态检索方法研究成为人们急需面对的重要议题和热门研究课题。该方法旨在通过计算不同模态数据之间的相似度,为给定的某种模态的查询数据,检索出与其内容相关的其他模态的数据。由于低存储成本和快速的查询速度等优点,跨模态哈希检索方法能够有效地解决数据量过大的现实问题,满足快速地返回检索结果的用户要求,在跨模态检索领域受到越来越多研究人员的关注。具体而言,跨模态哈希检索方法旨在将底层特征异构、高层语义相关的跨模态数据从高维的原始数据空间映射到低维度的公共汉明空间中,使用二进制的离散哈希码(如1和-1)进行表示。但是,由于不同模态数据的底层特征表示异构,如何解决这种“模态鸿沟”问题,即使得跨模态数据在原始空间中的特征分布一致性和相似性关系在汉明空间中得到更好地保持,成为我们在设计和实现跨模态哈希检索方法面临的核心挑战。由于很好地利用了数据的类别标签监督跨模态哈希的映射过程,更好地保持了数据的原始特征,提升了跨模态哈希检索的性能,有监督跨模态哈希检索方法受到越来越多信息检索领域研究学者的关注,产生了大量经典的跨模态哈希方法。然而,现有的有监督跨模态哈希检索方法在处理数据的类别标签时,往往忽略数据的标签内部存在的潜在语义关联,简单地根据数据之间是否共享至少一个标签来定义它们的相似性。事实上,在许多现实应用场景中,如时尚电商领域,为了帮助用户更好地进行单品浏览和查找,时尚单品往往都会由一组不同粒度的类别标签所标记,并在预先建立好的层次结构中被组织起来。显然,针对不同粒度的类别标签,时尚单品之间的相似性关系也是不同的。有些时尚单品间即使不具有相同的细粒度标签,但有可能具有相同的粗粒度标签,使得它们之间也具有一定程度的相似性。因此,为了更好地从数据的类别标签中挖掘出数据在原始空间中复杂的语义关联和相似性关系,实现更好的监督效果,进而得到优异的跨模态哈希检索性能,本文提出了基于层次标签的有监督跨模态哈希检索方法(Supervised Hierarchical Cross-Modal Hashing,简写为 HiCHNet)。具体而言,本文的主要工作有:(1)本文首次尝试使用层次类别标签解决跨模态哈希检索问题,设计了基于层次标签的哈希表示学习模块和多分类判别模块,保持了数据在原始空间中的相似性关系,同时增强了所学哈希码的判别性。(2)本文设计了一个基于层次类别标签的端到端的双路径网络,并将正则化跨模态哈希学习模块和层次判别性学习模块联合起来,通过设置最大化似然函数,结合层次类别标签监督跨模态数据哈希码的学习过程。(3)为了解决具有层次类别标签的跨模态检索数据集缺乏的问题,我们对现有的用于研究服装兼容性建模问题的公开数据集FashionVC进行了整理。同时,我们从时尚购物网站Ssense上爬取了图片、文本以及其对应的标签数据,构建了新的满足本工作要求的数据集。最后,我们在这两个具有层次类别标签的数据集上进行了大量实验,并进行了大量的定性和定量分析,实验结果证明了本文所提方法比现有的经典跨模态哈希检索方法具有更好的检索性能,证明了层次标签的有效性。
其他文献
生态环境损害赔偿责任作为一项政策导向性规定,其实质是赋予国家一个私法操作、公法性质的请求权。作为一项私法救济措施,生态环境损害赔偿责任体现着鲜明的公法属性。不仅与传统环境侵权责任由很大的差别,在整个侵权法体系中都非常独特。《民法典》将生态环境损害赔偿责任规定为过错责任原则,并将过错要件规定成“违法国家规定”。与传统侵权责任相比,在责任构成上,生态环境损害赔偿,更强调过错的客观性,并对损害行为人提出
学位
党中央在十九届五中全会上明确要求,要始终顺应新的发展趋势,加快构建“双循环”新发展格局。而发展现代物流产业,是推动“双循环”新发展格局的迫切需要和必要手段,可有效强化各产业间的协同对接,对稳定产业链供应链具有十分直接的意义。近年来,国家和各地出台了一系列促进物流产业发展的政策方针,从宏观规划、主攻方向、实施路径和重点任务等多方面给予了政策指导,目前,我国物流产业发展势头强劲,物流市场规模进一步扩大
学位
当前,国际舆论环境愈益复杂,中国与以美国为首的西方国家间的舆论斗争愈加激烈。随着互联网在世界范围内的推广与普及,社交媒体逐渐成为国际舆论斗争的前沿。以Twitter为代表的海外社交媒体上中国相关话题的真实性,关乎公众能否构建对中国的理性客观认知,也关乎国际舆论场中对中国的舆论走向。面对虚假信息,及时发布事实真相是非常有效的应对措施。在海外社交媒体中,面对涉华虚假信息,通常由外交部发言人与以CGTN
学位
股权让与担保作为一种增信手段以其无法替代的优越性受到越来越多融资主体的青睐。但让与担保自被创造之始,合同效力就广受争议,甚至被冠以“私生子”之名。很多学术界及司法实务界人士都认为让与担保双方所签合同应为无效。认为其无效的理由主要有:双方系虚伪意思之表示;物权法定原则之违反;禁止流质之触犯。针对上述理由,已经有很多学者进行了质疑与批判。经过多年的司法实践,司法实务界也从一开始对合同效力不能形成统一裁
学位
碑刻不仅是记录史实的重要载体,而且还具有深厚的学术、文化内涵。在历代官方文献和私家著述中,关于伊斯兰教的记载都是一鳞半爪,但是这些记载散见于全国各地的清真寺碑刻中。清真寺碑刻通过对穆斯林社会的政治、经济、文化等不同层面的如实记载,堪称一部刻在“石头上的穆斯林历史”。要想了解伊斯兰教在中国的传播、发展与演变,就绕不开对清真寺碑刻的研究。当前在倡议“一带一路”、铸牢中华民族共同体意识、坚持伊斯兰教中国
学位
随着近年来人们生活方式改变,增强现实、机器人等高新技术的应用越来越广泛,物体姿态估计也变得越来越重要。由于物体姿态具有6个自由度(3个旋转量和3个偏移量),因此物体姿态估计也称物体6D姿态估计,该任务旨在估计物体在相机坐标系下的位置和方向。对物体6D姿态估计这一任务的深入研究,可以为场景理解,增强现实,机器人控制和导航有关的各种问题提出更有效的解决方案。同时近几年,视觉深度传感器的发展和深度数据的
学位
数据是深度学习的关键,深度学习在图像分类问题上取得了重大的进展,一个重要的原因是拥有大量有标签的数据。CIFAR-10、CIFAR-100和ImageNet等有标签的开源图像分类数据集推动了深度学习在学术界的发展,但在实际工业场景中,有标签的数据仍是少数,大部分数据是无标签的。而数据标注一直是昂贵且费时的,在一些特定的领域,如医学图像分析,甚至要求标注者具有一定的专业知识。主动学习和半监督学习是两
学位
自动式家具摆放方式生成任务在室内家装设计、虚拟现实、计算机视觉等需要数字化室内场景的领域中有广泛的应用场景。传统方法在预先定义家具的位置、功能、合理性等规则后,利用顺序迭代或能量优化的方式进行家具摆放。然而规则的定义以及优化迭代的过程会造成大量人力及时间的消耗。随着大规模室内场景数据集的出现,人们开始探究利用深度学习的方式进行家具摆放,因此需要能够在给定家具和房间结构条件下完成家具摆放任务的神经网
学位
电子商务的蓬勃发展,带动了服装行业的快速发展,这也造成了互联网中服装商品数据(衣服图像、文本描述等)的爆炸式增长。为了有效解决互联网中服装数据过载的问题,帮助用户快速、准确地搜索理想的服装商品,基于图像的服装检索方法应运而生并被广泛应用在搜索引擎、在线购物等系统中。该方法允许用户简单地上传一张描述其需求的服装图像来检索满意的服装商品。然而在现实场景中,用户很难获取一张完全满足其需求的查询图像。用户
学位
随着互联网技术的发展,用户娱乐需求旺盛,越来越多的在线视频网站兴起,如爱奇艺、腾讯视频等,其用户规模与视频资源在逐步扩大。相较于传统的电视节目,在线视频网站给予用户更多选择权,能够依据自身兴趣偏好选择视频观看。但是并非所有视频资源都是免费的,相当多的电视剧或电影资源需要用户付费成为会员之后才有权观看。为享受更多更优质的视频资源以及更良好的观看体验,越来越多的用户购买会员服务,但是用户是否购买会员往
学位