基于特征融合的深度跨模态哈希检索方法研究

来源 :天津理工大学 | 被引量 : 0次 | 上传用户:kccsong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网科技和人工智能的不断迭代,为了符合信息多元化的发展态势,跨模态检索逐渐成为了一个研究热点。因为基于哈希的方法所占用的存储空间小,而且具有较快的检索速度,所以其在跨模态检索中备受关注。本文从有监督哈希和无监督哈希两个角度展开研究:提出了一种有监督跨模态哈希方法,称为基于三重融合的共享语义深度跨模态哈希检索方法(SSTFH)。现有的大多数跨模态哈希方法仅仅在最后映射得到的哈希码施加约束来进行相似性的保持,而很少考虑保持中间特征之间的相似性。此外,经过大量的全连接层和池化层会造成语义信息的丢失。为了解决上述问题,本文设计了一个三重融合的策略,为了减少模态特征在经过全连接层和池化层后语义信息的丢失,利用第一重和第二重融合分别将不同模态的全局抽象特征和局部细节特征进行融合,利用第三重融合将模态局部特征进行融合,并且构建一个共享语义空间,通过该共享语义空间能增加中间模态特征的关联,缩小模态之间的异质鸿沟,有利于学习到高质量的哈希码。在两个标准数据集MS COCO和IAPR TC-12上进行了大量实验,验证了该方法的有效性。提出了一种无监督跨模态哈希方法,称为多尺度融合的双重GAN跨模态哈希检索方法(MFDCH)。现有的无监督工作大都采用一个双流的网络结构分别来学习不同模态的哈希码表示,而在学习的过程中缺少交互。同样,大多数无监督方法也面临特征提取过程中语义信息丢失的问题。基于上面的考虑,首先,本文提出从不同网络层提取不同尺度的语义特征,然后将这些不同尺度的特征进行融合得到语义更加丰富的特征,从而减少语义信息的丢失。其次,本文设计了内外双层生成对抗网络,利用外层网络增加模态之间的关联,学习更加强大的模态特征表示;利用内层网络进一步加强模态特征之间的交互,从而学习高质量的哈希码。在两个广泛使用的MIRFlickr-25K和IAPR TC-12数据集上进行了大量的验证实验,实验表明本模型提高了检索的性能。
其他文献
不少食品加工和动物养殖企业为了利益导致食品添加剂和动植物激素的滥用现象频频出现,多次成为人们关注的焦点。人们生活的环境也在工业、现代化建设影响下不断改变。电化学发光的出现为科学界探索微量检测的方向带来了新希望,现代科学通过一些先进的仪器配合各种检测方法对人体和所处环境中的微量物质进行检测,以此判断是否满足健康安全的需求。电化学发光灵敏度高、信号噪声低,相比传统检测方法更为便捷,在检测速度、操作难度
在微纳光子器件逆设计研究中,已经证实深度学习能生成更高性能的代理求解器,但在给定期望和约束的情况下,确定最佳结构仍具有一定困难。其中,样本获取的局限性和数据非唯一性,是影响逆设计结果的主要因素。本文主要针对样本不足的情况,通过对深度网络模型以及算法的适应性改进进行微纳光子器件的结构逆设计和重建工作。主要研究内容包括以下三个方面:1.提出了一种并行特征融合模型:PF-CRNN,并基于多种一维光子晶体
随着社会的飞速进步,互联网与物联网深度融合,车联网、无人机网等新型控制类应用场景快速涌现,此类场景下的应用对网络吞吐量和延迟提出了更高的要求。本文分别对车联网环境下的边缘缓存和任务卸载两个方面进行了综合分析,提出了基于边缘计算的内容缓存和基于车辆雾计算的任务卸载策略,旨减少系统能耗和时延,提高用户服务质量。本文主要工作如下:为了解决车联网中存在的响应时延过高的问题,本文提出一种基于多智能体强化学习
半导体氧化物纳米材料表面超疏水性能的实现有效地拓展了其在光、电、磁等领域的多功能应用,并呈现了一些新奇的功能特性。光控超疏水-超亲水可逆转变在氧化物纳米材料上的实现为智能型器件、可调控油水分离等装置的设计提供了有益途径。然而,氧化物纳米材料光控超疏水-超亲水可逆转变机制尚不清晰。本文以ZnO、Ti O2和Sn O2为模型材料,研究了紫外(UV)照射条件、气氛环境、表面缺陷变化等因素对材料表面润湿性
化石燃料的过度利用和不可再生资源的大量开发引发了严重的能源危机和环境污染,太阳能、风能、潮汐能等一系列可再生清洁能源的利用逐渐引起人们的重视。这类能源通常具有间歇性、离散性等不确定因素,严重限制了它们的大规模应用。氢能源的能量密度很高,在不久的将来有希望成为化石燃料的替代品。目前,贵金属Pt仍是当前催化制氢的最优选择,然而Pt基催化剂本身的高成本和稀缺性严重影响了其广泛应用。因此我们需要进一步开发
多层模糊最小最大神经网络是一种结合集成学习方法和多项式神经网络结构改进的模糊最小最大神经网络。模糊最小最大神经网络是一种经典的模糊神经网络,在处理分类问题时会展现出不错的性能,但仍然存在一些局限性:(1)模糊最小最大神经网络的训练过程对样本的输入顺序十分敏感。(2)模糊最小最大神经网络的训练过程中存在人为设定的参数,对训练结果影响较大。本文提出多层模糊最小最大神经网络针对这些缺点进行改进,主要的创
对照浙江省水利科技发展“十三五”规划,系统分析、研究浙江省水利科技在“十三五”期间科研成果的特点和发展轨迹,对2016—2020年浙江省水利科技创新奖获奖成果进行统计分析,结果表明,“十三五”期间,浙江省水利科技创新紧紧围绕水利重点工作,呈现出以下特点:研究类型由理论研究向应用研究转变;重大水利项目科技研究得到重视;创新主力军以副高及以上职称、硕士学历、且年龄在40岁上下的人群为主;创新主体以事业
随着电力电子技术的高速发展,高压直流电源渗入到人们生活的各个方面,在医疗器械、军工设备和农业生产等更多领域都有着重要地位。高压直流电源朝着体积减小、开关速度加快、集成化和智能化的方向发展,传统的高压直流电源已经不能满足各个领域技术应用的需求,考虑如何利用高效率的控制策略来提升系统的综合性能已经成为了高压直流电源领域的核心问题。本文以开关电源为基础,研究和设计了基于STM32的高压直流电源系统。首先
一次性末梢采血针(简称采血针)是糖尿病人自测及医疗诊断的必要手段。目前,采血针的质检环节主要依靠人工检测,为了观察到明显的缺陷特征,采血针检测需要在强光照射下进行,长时间的重复检测工作会使检测人员产生视觉疲劳,影响检测的稳定性。为了实现采血针检测自动化,提高采血针检测的速度和精度,本文研究了基于深度学习的采血针缺陷检测算法。主要工作如下:(1)本课题研究的采血针对象具有目标数量多、缺陷品占比少等特