论文部分内容阅读
在大数据时代,每个人既是信息的接收者,又是信息的发布者。每天大量的多媒体信息被人们创建并上传到互联网,如何在这些海量的数据中使用某种模态的数据去检索相关的其他模态的数据,来满足现代人们多样化的数据需求,成为迫在眉睫的问题。跨模态检索(又称为跨媒体检索)技术就是为了在大数据的时代背景下解决这个问题而产生的。基于内容的跨模态检索成为当前跨模态检索领域研究的主流,而基于深度关联模型的跨模态检索技术被证明是目前其中最有效的方式。 但是,已知的基于深度关联模型的跨模态检索研究仍然存在一定的局限性。所以,本文将从深度网络的构成和多模态数据抽象语义的角度出发,对已有的基于深度关联模型的跨模态检索技术进行进一步的研究,并提出了两个无监督的跨模态检索模型,以期进一步的提升跨模态检索的效果。 本文的主要研究内容如下: (1)针对基于对应关联关系的模型,存在网络结构构成不合理而造成数据最终表示粗粒度的问题,提出了一种融合多种神经网络的深度关联网络模型。该模型将受限玻尔兹曼机、自编码器和多层次的关联学习相融合,不仅建立了多层次的对应关联关系,而且进一步的融合了多种神经网络。从模型的组成结构来看,它克服了现有模型所存在的缺陷,不仅进一步提升了跨模态检索的精确度而且缩短了模型的训练时长。 (2)针对只包含对应关联关系的深度网络不足以挖掘出更细粒度的多模态数据潜在语义一致性的问题,提出了融合多层语义的跨模态检索模型。该模型将深度玻尔兹曼机与包含相似性约束的多层次的跨模态关联学习融合为一个整体,利用深度玻尔兹曼机在为数据建模过程中双向传递的特性构建了异构多模态数据之间更为细粒度的关联关系。该模型打破了之前的模型只能包含对应关联关系的局限性,构建起非对应抽象语义层之间的关联关系,从而从语义角度更加充分的挖掘出了不同模态数据之间的潜在语义关联。 (3)对以上两部分的研究内容,均通过了实验分析和验证。其中,深度关联网络模型相较于之前的模型,在不同情况下,平均提升了17.57%的精确度;并且相比同类型模型,不同情况下,平均缩短了38.2%的训练时长。而融合多层语义的跨模态检索模型相较于之前的模型,在不同情况下,平均提升了11.6%的精确度。这些结果都证明了本文所提出模型的有效性。