基于特征融合的跨模态哈希检索研究

来源 :浙江科技学院 | 被引量 : 0次 | 上传用户:dongdongthere
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络的快速发展和移动设备的普及,互联网中图像、文本、音频和视频等多模态数据的规模迅速扩大。相较于简单的单模态检索,跨模态检索能够返回与查询数据语义相关的不同模态数据。尽管这些数据具有异构属性,但是它们在语义上相互关联,相互补充,能够给用户提供有效信息最大化。因此,跨模态检索具有重要的理论意义和应用价值。哈希码凭借其低存储成本和高效的检索效率被广泛应用于跨模态检索领域,它将原始数据映射到统一的汉明空间中进行相似性度量从而实现相互检索。本文研究主要基于深度学习技术将多模态数据映射到汉明空间中,从有效融合数据标签的语义标签信息和挖掘数据的多维语义特征两个方面出发,提出了两个跨模态哈希模型,有效地提高了跨模态检索的精确率,具体的工作内容如下:(1)针对现有的绝大多数深度跨模态哈希模型基于原始的数据本身进行特征学习,忽略了数据标签附加给每个数据的独有语义信息的问题,本文提出了基于标签特征融合的跨模态哈希模型。该模型通过标签网络和特征学习网络之间的特征融合将数据标签中蕴含的语义标签信息嵌入到数据特征中。因此网络生成的数据特征可以更好地捕捉数据之间的语义相关性从而弥补语义鸿沟。同时将网络的输出端构造成哈希码分支和特征标签分支,并根据提出的特征标签损失来指导生成更具区分性的哈希码。在两个典型数据集上的实验结果表明,该模型相较于其他具有代表性的跨模态哈希模型,在检索性能上有所提高。(2)针对现有的一些模型基于数据的单维语义特征来生成哈希码,忽略了不同维度下数据所呈现的模态特定特征的问题,本文提出了基于多维度特征融合的跨模态哈希模型。该模型分别在图像网络和文本网络中构造多维融合模块来学习不同模态数据的多维语义特征,为挖掘更丰富的语义关联和构建更准确的情态关系提供了基础。因此,基于多维语义特征生成的哈希码能够更加准确地反映原始数据之间的相似性。在两个典型数据集上的实验结果表明,该模型的跨模态检索性能优于其他模型。
其他文献
随着全球变暖和城市热效应对气温的影响日益增大,由于天气变化而造成的经济损失也逐渐增多,推出天气衍生品能够很好地改善这类问题。天气衍生品是一种金融工具,它的收益取决于某些基础天气指数的价值。对于天气衍生产品的研发,中国尚处于初步探索阶段。中国天气市场上用于规避天气风险的大多是保险合约,但并不适用于非灾难性的天气事件,故天气衍生品作为新型的天气风险管理工具表现出极大的应用价值。天气衍生品定价精度主要取
学位
微分方程广泛运用于日常生活中的各个领域,尤其是在应用数学领域。分支问题不仅存在于连续的动力系统中,而在离散系统中也有着更为丰富的动力学性质。本文主要研究两类离散捕食模型的局部稳定性和分支问题,主要内容有:第一章主要讲述了本文研究的动力系统和微分方程的研究背景,意义和研究的主要工作。第二章介绍了动力系统的基础知识,中心流形定理和分支理论。第三章先用半离散化法将一个连续系统离散化,我们对离散模型进行研
学位
为了实现国家提出的电网智能化和节能减排的目标,满足用户和供电公司在日常生活中对于智能测量和供给侧的需求,智能化负荷监测便成了一个急需解决的问题之一。在此背景下,非侵入式负荷监测技术为智能化负荷监测提供了可能的解决方案。非侵入式负荷监测是一种通过分析某个区域一段时间内的总功耗,来获取该区域内单个负荷的状以及估计其功耗的方法。该方法可以很方便、快捷地为用户和供电公司提供负荷运行情况,并使供电公司和用户
学位
乳腺癌因其高发病率、高致死率的特点,已对广大女性的身心健康造成了严重威胁。早期乳腺精准筛查和诊断有助于提高乳腺癌患者治疗效果并降低乳腺癌的致死率,其中,乳腺X线摄影是非常重要的筛查方式。早期乳腺X片临床诊断效果完全依赖于放射科医师的阅片经验,后来不断研发升级的计算机辅助诊断(Computers Aided Diagnosis,CAD)系统能从客观角度协助医生进行更高效地诊断。本文围绕乳腺X片中病灶
学位
随着城镇化脚步的加快,土地和劳动力结构发生变革,对农作物的产量造成冲击。花生是我国重要的油料作物,准确预测其产量对于指导农业生产具有重要的现实意义。本文对河南省花生生产能力的影响因素进行研究,并建立新陈代谢的灰色马尔可夫模型对其产量进行预测。首先,选取影响河南省花生生产的主要因素,利用灰色关联分析法对其进行关联度分析;其次,对传统的灰色模型进行背景值优化,并利用马尔可夫过程对模型进行二次优化,建立
学位
随着我国经济的快速发展以及城市化进程的不断加快,空气污染问题变得愈发严峻。近年来,多地频发的雾霾天气,不仅对人们的日常出行及城市交通管理造成很大影响,更对人体健康有着极大危害。空气质量指数作为衡量空气质量的重要指标,其大小反映了空气污染的水平。因此利用科学的方法预测空气质量指数,对居民健康出行及城市环境治理有着重要的指导意义。为了更准确地预测空气质量指数,本文在综合考虑多种空气质量指数影响因素的基
学位
过量温室气体排放引发的气候变化问题,是世界各国急需解决的重大难题,严重威胁着人类的生存与发展。积极参与气候治理,着力推动经济社会低碳发展,是我国应对气候变化的一项重大战略。研究低碳试点城市碳排放量达峰情况有利于了解我国低碳试点工作的现状和成效,为其他城市开展低碳工作提供借鉴经验,为我国探索高效的节能减排路径提供理论基础,帮助我国尽早实现碳排放量达峰。本文以69个低碳试点城市为研究对象,研究期设为2
学位
近年来随着越来越多的物种呈现“濒危化”发展,生物数学家考虑运用动力系统方法找到使得多个物种的种群数量达到动态平衡的解决方法。由于离散型动力系统具有许多优点,所以本文研究的是两个离散型捕食动力系统。第一章介绍了研究背景,国内外研究现状以及创新点。第二章对离散系统的基础知识进行相关的介绍。第三章对Michaelis-Menten型捕食动力系统进行了详细分析,先是利用半离散化的方法将连续系统进行离散化,
学位
目的:探究肺癌细胞外泌体(exosome,exo)对血管新生的影响及机制。方法:提取人肺上皮细胞HFL-1和人肺癌细胞A549、H522、H460细胞分泌的外泌体,记为HFL-1 exo、A549 exo、H522 exo、H460 exo,将上述外泌体以及等体积的PBS缓冲液与人脐静脉内皮细胞(HUVEC)共孵育,记为HFL-1 exo组、A549 exo组、H522 exo组、H460 exo
期刊
知识追踪旨在根据学习者的历史学习轨迹自动追踪学习者的未来学习作答表现,是实现智能教育的重要技术支撑。以智能导学系统为代表的在线教育在其实现中发挥着重要作用。智能导学系统通过知识追踪可以判断学习者的知识掌握水平,在获取学习者的表现后,无论是对学习者的自主学习或教师的辅助教学都会产生积极影响。因此,研究知识追踪模型有着重要意义。关于知识追踪方法,研究者们做了许多工作,并取得了大量的研究成果。早期的知识
学位