基于深度关联模型的跨模态检索方法研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:paul5260
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,每个人既是信息的接收者,又是信息的发布者。每天大量的多媒体信息被人们创建并上传到互联网,如何在这些海量的数据中使用某种模态的数据去检索相关的其他模态的数据,来满足现代人们多样化的数据需求,成为迫在眉睫的问题。跨模态检索(又称为跨媒体检索)技术就是为了在大数据的时代背景下解决这个问题而产生的。基于内容的跨模态检索成为当前跨模态检索领域研究的主流,而基于深度关联模型的跨模态检索技术被证明是目前其中最有效的方式。  但是,已知的基于深度关联模型的跨模态检索研究仍然存在一定的局限性。所以,本文将从深度网络的构成和多模态数据抽象语义的角度出发,对已有的基于深度关联模型的跨模态检索技术进行进一步的研究,并提出了两个无监督的跨模态检索模型,以期进一步的提升跨模态检索的效果。  本文的主要研究内容如下:  (1)针对基于对应关联关系的模型,存在网络结构构成不合理而造成数据最终表示粗粒度的问题,提出了一种融合多种神经网络的深度关联网络模型。该模型将受限玻尔兹曼机、自编码器和多层次的关联学习相融合,不仅建立了多层次的对应关联关系,而且进一步的融合了多种神经网络。从模型的组成结构来看,它克服了现有模型所存在的缺陷,不仅进一步提升了跨模态检索的精确度而且缩短了模型的训练时长。  (2)针对只包含对应关联关系的深度网络不足以挖掘出更细粒度的多模态数据潜在语义一致性的问题,提出了融合多层语义的跨模态检索模型。该模型将深度玻尔兹曼机与包含相似性约束的多层次的跨模态关联学习融合为一个整体,利用深度玻尔兹曼机在为数据建模过程中双向传递的特性构建了异构多模态数据之间更为细粒度的关联关系。该模型打破了之前的模型只能包含对应关联关系的局限性,构建起非对应抽象语义层之间的关联关系,从而从语义角度更加充分的挖掘出了不同模态数据之间的潜在语义关联。  (3)对以上两部分的研究内容,均通过了实验分析和验证。其中,深度关联网络模型相较于之前的模型,在不同情况下,平均提升了17.57%的精确度;并且相比同类型模型,不同情况下,平均缩短了38.2%的训练时长。而融合多层语义的跨模态检索模型相较于之前的模型,在不同情况下,平均提升了11.6%的精确度。这些结果都证明了本文所提出模型的有效性。
其他文献
路由器和交换机是Internet的关键中继设备,它们在通信子网中转发网络层的口报文或数据链路层的帧。路由器或交换机内的协议实现是否符合相关标准必须通过“一致性测试”(Confo
随着计算机的广泛应用和互联网技术的迅速发展,Web应用已经逐渐深入到人们工作和生活中的各个领域。利用先进的网络技术为平台,我国高校开发了多种管理系统。这些系统的开发为
随着Internet的普及和计算机技术的不断发展,百姓对知识分享的需求日益强烈,具有文档在线互动与共享功能的网站越来越多,许多在线协作网站为用户提供在线编辑,添加批注等功能
在信息化高速发展的时代,企业信息服务质量直接关系到企业命运。建立一个企业CTI是提高企业信息化服务水平的重要措施之一。呼叫中心(Call Center)又称客户服务中心(Customer
随着虚拟现实、分布式视算和分布式仿真技术的发展,导致了对分布三维视景的更高要求。为了满足这种要求,我们提出了一种新的建模方法,即行为特征建模方法。行为特征建模方法能更
草图生成是草图理解研究的一个重要领域。草图理解旨在给出草图的正确语义,而草图生成是草图理解的逆过程,旨在根据已知的草图语义,绘制出类似手工草图的图案。支持向量分类
随着中国教育信息化的蓬勃发展,教学资源库的建设作为一种信息活动,对提高中国的教育质量、实现教育信息的价值具有举足轻重的作用。随着Internet技术的普及,各地方学校、研
随着时代的发展,嵌入式系统应用技术正以飞快的速度扩展到各个领域,从现代通信到工业控制、乃至于国防安全,其踪影无处不在。移动定位及信息交换终端是集GPS(Global Position Sy
为了解决造型过程中出现的形状编辑问题,常常需要进行曲面变形与编辑。本文针对这个问题,主要研究了自由变形、Laplacian编辑、骨架提取和基于骨架的曲面变形技术。通过比较多
面向服务的架构(Service Oriented Architecture, SO A)是一种广泛被用来构建和集成现有分布式系统的解决方案。随着SOA技术的快速发展,互联网上的Web服务数量规模快速增长,W