【摘 要】
:
随着互联网和计算机技术的日新月异,如今已经进入多媒体大数据时代。数据以文本、图像以及视频等多种模态形式出现。不同模态数据从不同角度展现相同的语义信息,并且联合作用,使事物的表现更加多元丰富。尽管底层表达差异巨大,但由于不同模态数据之间在高维度的语义空间中存在相关性,所以跨媒体检索成为了可能。本文以文本、图像、视频、音频和3D模型五种模态数据为基础,设计实现一种跨媒体检索方法,着重研究检索准确度和检
论文部分内容阅读
随着互联网和计算机技术的日新月异,如今已经进入多媒体大数据时代。数据以文本、图像以及视频等多种模态形式出现。不同模态数据从不同角度展现相同的语义信息,并且联合作用,使事物的表现更加多元丰富。尽管底层表达差异巨大,但由于不同模态数据之间在高维度的语义空间中存在相关性,所以跨媒体检索成为了可能。本文以文本、图像、视频、音频和3D模型五种模态数据为基础,设计实现一种跨媒体检索方法,着重研究检索准确度和检索效率等方面的优化问题。主要研究内容概括如下:(1)提出跨媒体关联计算模型。为解决跨媒体数据由于底层异构存在的“异构鸿沟”,针对多种模态数据,提出一种联合外源知识库的跨媒体关联计算模型。首先通过长短时记忆神经网络对跨媒体数据进行细粒度特征提取,同时从语义角度和分布角度两方面设计损失函数,以最小化损失函数的方式尽可能缩小不同模态数据的类间距离,达到最大化跨媒体数据关联性的目的。同时,针对跨媒体数据集中普遍存在的语义疏松性问题,通过引入外源知识库,提出一种基于关键字的词频-逆文档方法对跨媒体数据的类内距离进行约束,以进一步优化关联学习的准确性。实验证明了所提方法的有效性,在大规模多模态的跨媒体数据集XMedia Net上可以取得较好的检索结果。(2)提出跨媒体异质信息网络构建方法。为提高跨媒体数据的实用性,结合跨媒体数据本身特性,提出利用异质信息网络的方式建模跨媒体数据。通过异质信息网络,将庞杂的跨媒体数据以“图”这种数据结构统一起来,并通过对网络中的边进行剪枝,将构建的网络进行进一步化简,保留性能的同时实现更加精简的跨媒体异质信息网络。同时,针对于网络定义相应的更新策略,包括节点的删除、插入和更新。实验证明,构建的网络能够准确表达跨媒体数据之间的相关性关系,为下一步的研究提供了良好基础。(3)提出基于图嵌入哈希学习的跨媒体检索方法。为优化包含大规模跨媒体数据的跨媒体异质信息网络在进行检索过程中的时间和存储开销,基于哈希检索在检索效率上取得的良好成绩,提出一种基于图嵌入哈希的跨媒体检索方法。以矩阵分解为基础,通过直接用于二进制哈希码的哈希学习方式将跨媒体异质信息网络嵌入到离散的汉明空间中,并尽可能保留其关系完整。实验证明,方法能够在确保检索精度几乎不丢失的情况下,大大提高检索过程中的时间效率,并减少存储的使用开销。综上所述,本文从跨媒体检索问题中“如何检索”和“更好检索”两个方面出发,以跨媒体异质信息网络的构建作为桥梁,连接两方面问题,并在整体上实现了对跨媒体数据的检索优化。实验结果显示,本研究在面对规模庞大,类型复杂的数据集的情况下,能够从以上两方面较好的实现对跨媒体的检索结果和检索效率的提高,具有一定的研究价值。
其他文献
我国作为世界能源消费大国,高度重视风能资源的有效利用,然而,较高的风机故障率制约着风电行业的快速高效发展。轴承作为风机的关键零部件,由于长时间运行,与轴承相关的故障时有发生。因此,构建高准确率的轴承故障诊断方法是提高风电装备可靠性的必要条件之一,对于能源资源的充分利用和生态环境的保护也具有深远的意义。基于这一现实需求,本文从风机轴承振动信号分析出发,分别从振动信号的直接识别和对关键特征的间接识别两
在实际工况中,出于经济性和便利性的考虑,通常无法获取到动态系统的全部状态信息。状态观测器的出现为该问题提供了一种解决方案,得到了学界广泛的关注和研究。目前关于观测器的研究主要集中在线性系统,对于非线性系统观测器难以找到一种通用的研究方法。伪线性系统以线性系统形式表达,本质上仍然是非线性的,可以作为连接线性系统与非线性系统的纽带,具有一定的研究意义。因此,本文以伪线性系统为研究对象,针对状态变量难以
高光谱检测技术作为被动式检测方式,采集得到的数据具有图谱合一的优势,数据内部包含着丰富的光谱信息,由于不同分子对于不同波长光的吸收或者散射敏感度不同,从而在光谱上反映出分子类别信息,通过观察光谱变化进而分析出样本中包含着的物理、化学和生物信息。而在图像采集过程中受环境强光干扰导致待测对象表面局部产生高光反射致使图像特征信息难获取、有效特征信息识别效率与提取精度难保证等问题。呈现在高光谱图像中会发生
为了解奶牛乳房炎的研究进展,笔者分别以Web of Science核心合集数据库和中国期刊全文数据库(CNKI)为数据来源,对1992—2021年奶牛乳房炎研究外文文献发表量、发表国家、发表机构、作者、期刊、热门学科、关键词,以及中文文献发表量、发表机构、作者、期刊、关键词和基金项目进行计量分析。结果表明:奶牛乳房炎研究从1999年开始有外文文献记录,发表量整体呈上升趋势;美国的文献发表量一直领先
针对大型锅炉装备制造企业在设备研制过程中的生产管理需求,设计并应用了覆盖车间全业务流程的制造运营管理系统。通过对计划控制中台、计划管理、物料管理、生产执行、质量管理、库存管理等模块的设计,实现了车间数据源的统一、信息的电子化传递以及生产过程的全周期追溯。科学地指导车间达到精益生产的目的。
随着化石能源储量严重不足以及环境污染等问题越来越受到重视,我国大力发展以风能、光能等新能源为主的微电网供能方式。微电网中的分布式电源与负载相邻,它的灵活性比传统发电方式更高,微电网与大电网相互协作为用户的生活、工业生产等提供可靠的电能。由于分布式电源相比于传统的发电形式具有较大的波动性和随机性,单一方面的发电侧优化调度并不能达到预期结果,所以供需双侧的协同优化成为了微电网的重要研究内容。首先,本文
社区结构是复杂网络的一种重要拓扑特性,划分社区对于复杂网络的研究和应用具有重要的理论和实用价值。由于节点相似性计算简单高效,成为了众多学者研究社区划分的重点。但现有社区划分算法中,节点相似性的计算忽略了公共邻居节点之间的差异性,并且需要不断的调整参数来获取最优划分结果。随着网络中节点和边的加入、删除,社区结构也在不断变化,研究者们提出了相应的动态社区划分算法来捕捉动态网络中的社区结构,其中基于增量
异音是核电站中转动机械的一种常见的异常现象。转动机械的声音发生变化,通常代表设备的状态发生改变,也预示着该设备可能存在故障。传声器阵列可以利用所采集的多通道声学信号,重建出某一区域的声压分布,进而识别出该区域的发声源。通过传声器阵列对转动机械故障进行声源成像是判断转动机械故障发生位置的关键技术,也是提高转动机械的可靠性和效率的重要前提。使用传声器阵列进行声源成像面临两个主要问题,首先是传声器阵列阵
光学电压传感器是电力系统中实现电压测量的新型传感器,其具有良好的安全性能与绝缘性能,且具有检测范围大、精度高、等优点,符合未来电网的发展趋势,然而,其发展至今仍未走向实用化,究其原因是其环境适应性问题未得到有效解决,且缺乏有效的误差抑制方法。因此,本文针对光学电压传感器的误差成因、特征、规律,研究并设计了有效的误差抑制方法,为加快光学电压传感器的实用化进程提供了新思路。本课题以全光纤电压传感器为研