基于深度学习的跨模态检索关键问题研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:qq184343882
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息获取技术的快速发展,互联网上产生了海量的多媒体资源,在大数据时代下,这些多模态数据的管理给传统单模态检索方式带来极大的挑战。为了能够更有效地检索出用户需求内容,所以有必要研究快速且精确的跨模态检索方法。由于不同模态数据具有不同空间分布,所以存在异构鸿沟。另外,底层表示和高层语义之间也存在语义鸿沟。如何解决跨模态数据的语义鸿沟和异构鸿沟一直是亟需解决的问题。目前大多数跨模态方法都是学习一个公共表示空间,然后在这个公共空间中来解决跨模态数据的异质性。在本文中,首先基于这个思路设计一个新的跨模态检索框架。此外,这些跨模态方法可以简单地划分为两类:无监督方法和有监督方法。与其他机器学习相似,有监督跨模态方法的性能一般情况下优于无监督方法,前提是在干净的样本中训练。但是随着数据集的规模增长,构建完全干净的数据集需要的代价过于昂贵。因此如何设计一个具有鲁棒性的跨模态检索方法来解决噪声标签的影响,是第二个研究所要解决的问题。本文基于以上两点内容,进行如下简要概括:(1)跨模态检索的许多方法采用铰链损失组成的最大间距公式来约束类间判别性,但是忽略了不同模态之间相似性对类间距的影响,从而导致不同模态样本之间联系被削弱。所以本文提出自适应类间距有监督跨模态检索模型(AMRS),在解决方案中,首先在公共空间中同时考虑模态内和模态间样本对不同类别适应性间距的影响达到增强不同类别的判别性以及增强同类异构样本的相关性。其次,通过约束成对图像文本的相似性保持模态不变性,最后在标签空间中进行语义标签判别约束。在广泛使用的基准数据集上的实验结果表明提出的方法的有效性。(2)多模态数据中存在的错误标记样本会在很大程度上弱化模型的性能。最新研究表明,随着网络模型的迭代,早期学习干净样本和记忆噪声标签数据已被证明是有噪声标签下的单模态高维分类任务的基本现象。这一现象也表明,在噪声标签下监督聚类方法存在聚类漂移。因此,本文提出一种新的有噪声标签的跨模态学习方法,称为早期学习正则化对比学习用于有噪声标签的跨模态检索框架(ELRCMR)。在解决方案中,首先采用早期学习正则化方法来防止记忆噪声标签,然后通过对比学习将多模态数据映射到公共表示空间。最后,通过使用动态系数权重来平衡聚类方法和对比方法,以防止聚类漂移并实现更强的鲁棒性。另外,通过大量实验对该方法进行了评估,结果表明所提出的方法可以解决传统解决方案中的聚类漂移问题,并在广泛使用的基准数据集上的实验验证了提出的方法。
其他文献
复杂社交网络(CSG)因其蕴含丰富上下文信息已经成为众多学者的研究对象。通过设计含多属性需求的模式图,图模式匹配得以有效利用该丰富信息因而在CSG领域得到广泛应用。然而,随着决策问题日益复杂、决策者(Decision Makers,DMs)数量增多,模式图复杂性也不断增加:不同决策者对模式图中各属性常有不同需求。因而如何聚合各需求得到满足决策者偏好的模式图为多约束图模式匹配问题带来了新挑战。本文旨
学位
基于深度学习的目标检测算法因具有速度快、精度高等优点被工业产品表面缺陷检测领域寄予厚望。但该方法需要大量的缺陷数据用于模型训练,而工业场景中获取缺陷数据的成本往往较高,因此迫切需要有效的数据增强方法以降低缺陷数据的获取成本。和其他数据增强方法相比,基于生成对抗网络的数据增强方法因能生成更接近真实分布的数据而备受重视,所以本文基于生成对抗网络对缺陷数据增强方法中的若干典型问题展开了深入研究,具体研究
学位
从非结构化文本中进行信息抽取和知识图谱构建在自然语言处理(Natural Language Processing,NLP)任务中均发挥着至关重要的作用,而实体关系抽取(Entity and Relation Extraction,ERE)又是信息抽取和知识图谱中的一个关键而又具有挑战性的子任务。ERE又是由命名实体识别(Named Entity Recognition,NER)和关系抽取(Rela
学位
随着互联网的发展,越来越多的创作者在社交媒体上发布文章。但随着文章的不断增多,其内容质量也变得参差不齐,其中包括大量的低质量的甚至传播虚假信息的文章。因此,如何从海量的多媒体文章中自动筛选高质量的内容是十分重要的。现有的方法往往依赖于大量的人工标注数据来训练质量评估模型。并且现有的方法通常会考虑社交媒体文档中的描述性内容特征和简单关系,但不能对文章之间的复杂结构和动态关系进行建模。另外,社交媒体中
学位
近些年来,随着信息时代的快速发展以及智能手机和智能手环等设备的普及,采集人体相关数据变得更加方便且准确,因此,基于可穿戴设备的第一视角多模态个体行为识别任务逐渐受到越来越多研究人员的关注。然而,传统的个体行为识别任务由于数据采集成本高而面临着缺乏大规模多模态数据集的困境。本文主要解决基于视觉和传感器数据的小样本多模态个体行为识别任务,它面临两个重大的挑战,一方面,视觉模态的数据通常包含丰富的物体和
学位
在信息爆炸的时代,图像是获取信息的主要媒介,而高分辨率图像因其包含丰富的信息被广泛的用在安防、图像压缩、医疗等多个领域。但是由于硬件、环境等因素,导致现实中获得的大部分图像的分辨率都较低。针对这个问题,图像超分辨率重建技术被提出,该技术旨在利用低分辨率图像重建出对应的高分辨率图像。近年来,随着深度学习的飞速发展,基于深度学习的超分辨率重建技术得到广泛的关注。通过对现有的一些超分辨率重建方法进行深入
学位
文本识别及其相关问题一直都是计算机视觉领域的研究热点,该技术与自动驾驶、盲人辅助、产品搜索等应用紧密连接,早在上个世纪科研者们就着手相关的研究。近年来,随着深度学习的发展,基于深度学习的文本识别方法已经取得了一定的进展,但在复杂场景图像中的文本识别依然是一个严峻的挑战。场景文本图像中有着弯曲的文本形状、不确定的文本方向、文本遮挡、光照不均以及背景干扰等问题,给文本识别带来了很大的考验。本文针对场景
学位
随着数字科技与网络多媒体的快速发展,图像成为用户进行观点发表与情感表达的新兴媒介源源不断地涌向社交网络。理解社交网络中图像所承载的更高层次的情感内容,实现图像情感语义分析及情感分类,已经成为图像标注、基于情感语义的图像检索、网络舆情监测等领域的热点研究内容。基于图像的情感分类就是运用特定算法解析图像中蕴含的情感元素。本文基于深度学习来研究图像情感分类问题,主要工作包含以下两个方面:(1)鉴于从情感
学位
跨模态视觉内容生成是指通过多种模态信息的输入完成视觉内容的生成,它同时涉及多个领域,如计算机视觉、自然语言处理,因此它的实现需要依靠深度学习、图片生成、文本特征编码等多种基础技术。视觉内容包括图片、视频等形式。目前的文本到图片生成模型,难以保证在复杂环境下生成结果的语义一致性与真实性。而视频生成模型方面,直接对视频进行建模的模型表现还较差,主要体现在视频帧的连贯性上以及运动内容的一致性和真实性等问
学位
雾霾是一种传统的大气现象,其中的雾霾、烟和灰尘等颗粒会遮盖大气的透明度。而且由于空气污染(粉尘、雾气和烟雾),在室外环境中拍摄的图像通常也会遇到复杂,非线性和与数据相关的噪声。作为图像恢复技术,图像去雾在计算机视觉中受到了广泛的关注,并有利于后续的高级任务,例如目标检测。图像去雾是计算机视觉和多媒体技术领域的一项基本任务。它在进行去雾的过程中一般面临以下几方面挑战:i)图像中雾度的不均匀分布;ii
学位