基于深度量化学习的跨模态检索研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:zhuzhutoutuo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
第四次工业革命的到来带领人类全方位进入智能时代,对现有海量、高维度、多样性数据的检索提出了更顺应时代发展的新要求。跨模态检索关注不同模态数据间的直接匹配,探索不同模态数据间的深层语义关联。然而由于多模态数据存在严重的“语义鸿沟”和“异构鸿沟”挑战,跨模态检索近年来逐渐成为研究热点,其中的二值化表示学习更是凭借存储成本低和查询速度快的优势,比其他方法取得了更显著的进步。以哈希和量化为代表的紧凑二值化表示学习促进了跨模态检索的快速发展。研究发现,基于哈希的方法普遍存在二值码对高维数据的表示能力不足和离散模型的优化等问题,基于量化的方法性能通常优于哈希方法。然而,即使基于量化的跨模态检索研究已经取得了不错的进展,一种理想的量化策略仍是一个挑战,仍存在以下问题:1)共同表示学习与特征表示学习的粘合度不够。2)码本作为量化学习最关键的基础,其优化的主动性被严重忽视。3)对减少语义标注依赖的研究不够深入。为了面对这些挑战,本文对跨模态量化检索技术展开了深入的研究,主要研究内容如下:(1)本文提出了一种基于有监督的语义一致性深度跨模态量化检索方法,即SCDQ,增强了特征表示学习与共同表示学习的关联并提高码本优化的主动性,以端到端的方式实现了真正意义上将量化学习深入融合到深度网络学习中。该方法为每个模态设计了各自的特征提取网络,并在其之后使用分类器生成子空间相关的特定类别抽象模式。同时,SCDQ算法为多模态数据设计了共有码本,通过将多模态数据的一致性语义嵌入到码字中,建立了码字与类别抽象子模式的关系,并基于此提出了新的码本优化方案。最后,SCDQ算法在两个数据集上进行了实验验证,实验结果证明了SCDQ算法在跨模态检索任务中的有效性。(2)本文提出了一种基于语义保留的深度半监督跨模态量化检索算法,即SSPDQ,延申了跨模态量化检索在半监督模式下的探索。该方法将深度神经网络和量化器融合到一个端到端的框架中,兼顾有标签数据和未标注数据,同时学习所有数据的特征表示和共有码本。同时,以新颖的方式优化码本,巧妙地将从标签数据中学到的特定类别抽象模式和未标记数据的浅层分布融入到码本的更新中,并针对多模态数据的融合问题设计了基于注意力机制的策略,进一步促进高判别性的码本学习。最后,新颖的算法架构设计和码本更新策略,使SSPDQ以非对称方式检索时实现了有效且高效的跨模态检索效果。在两个公开数据集上进行的大量实验表明,SSPDQ具有可喜的跨模态检索性能,并且优于几种最经典的跨模态检索方法。综上所述,本文针对基于深度学习的跨模态量化检索问题,提出了新型的量化学习核心优化策略,并在不同监督模式下设计相应的网络结构验证其有效性。本文提出的两种方法在两个公开数据集上的实验证明了算法的有效性,均取得了不错的效果。
其他文献
近两年来,网络社交媒体(如微博)流行起“凡尔赛”式自夸言语行为。自夸(或吹嘘、自我赞扬)是一种说话者对其自身(外貌,所有物,成就,技能等)显性或隐性地进行积极评价的言语行为。已有传统礼貌框架下的自夸研究,因为其有损谦逊礼貌准则,将自夸定义为一种威胁听话人面子的不礼貌行为,并将其看作一种静态的语言行为,忽略了对自夸回应即自夸言语行为中的互动模式探究。同时,相关研究集中于探讨人们如何使用语用策略来减轻
学位
文化作为民族的基本组成部分,可以充分说明不同的种族和信仰群体往往在民族起源、历史、文化、信仰、精神和生活的其它层面上具有相似性,因此民族文化的独特性和内聚力成为了此民族区别于彼民族的根本。民族文化认同意味着成员对本民族的认可、接纳和支持,是政治和文化的融合,并将其转化为更为持久的公民认同。白俄罗斯地处东西方文明的交界处,长期处于异国统治下,这使得白俄罗斯缺少能激发独立创造的民族文化元素,从而导致了
学位
新疆维吾尔自治区是一个多民族聚居的地方,多种语言和文化相互影响、相互交融并共同发展。近几十年来,随着维吾尔族人们对作为国语的汉语以及作为世界通用语的英语的学习越来越普遍,汉语和英语成为现代维吾尔语中词汇借用的两大源语。鉴于这三种语言分别属于三个不同的语系,且在不同的社会语境中相互作用,现代维吾尔语中汉语借词和英语借词之间必然会存在种种差异,但以往的研究很少对来自这两种源语的借词进行比较研究。词汇借
学位
作为国际通用语言,英语发挥着重要的作用,是世界上使用最广泛的语言之一。随着中国在世界地位的提高,国家对具备国际视野的英语人才需求逐渐增加,人们对英语教育的关注日益突出,而英语教育的人文性及文化教学也得到了教育领域的高度重视。在这样一个大背景下,《普通高中英语课程标准》(2017年版;2020年修订)(以下简称《课标》)的颁布具有极强的指导意义:《课标》凝练并强调了英语学科核心素养,即对语言技能、文
学位
作为英语语言的重要组成部分,短语和短语词汇有时会容易让人混淆。本文基于语法书中的短语形容词、短语动词和短语介词的概念,以及语料库语言学中的短语副词和短语从属连词等概念,将这种由两个或多个单词组合的结构定义为“短语词汇”。它们具有以下特点:1)含有两个以上的词;2)整体拥有一种词性;3)句法上用作一个成分;4)整体语义不是简单构成词语的语义叠加。近年来,语料库作为一个新兴的学科和工具,越来越广泛地被
学位
文章基于资源基础理论和生命周期理论,利用2010—2019年制造业上市公司数据,实证分析了不同生命周期阶段下客户关系集中度对持续性创新的影响,并进一步揭示了财务柔性的调节效应以及影响的异质性。结果表明:(1)总体上,客户关系集中度有助于知识共享和创造,实现了知识存量增长,从而助推企业持续性创新,伴随着企业生命周期的延伸,客户关系集中度对持续性创新的“助力”效应呈现逐渐减弱趋势;(2)财务柔性所体现
期刊
翻译共性假说的研究焦点已转移至对其解释上。本研究试图证实翻译共性的一个假设——译入语独特项降低假说(the Under-representation of the Target Language Unique item Hypothesis),也称为独特项假说(the Unique Items Hypothesis),并解释其动机。该假说认为,凡是译入语中“不可译”的、特有的或原语中不存在的语言项
学位
<正>近年来,高强度的学习压力和缺乏运动、睡眠造成我国儿童青少年脊柱侧弯发病人数上涨,严重程度增加。据统计,目前我国脊柱侧弯病人超过300万人,并以每年30万的速度递增,其中超过半数为青少年。脊柱侧弯已成为继肥胖症、近视之后我国儿童青少年健康的第三大"杀手",防控形势严峻,主要表现在:一是儿童青少年发病率高。二是缺乏早期筛查,疾病发现晚,健康危害大。三是医疗诊治水平不高。
期刊
全球环境和能源问题与每个人的命运息息相关。地球上的绝大部分能量都来自太阳。氢能作为可再生清洁能源中的一种,具有能量密度高,来源广,使用过程零碳排放等优点,拥有替代传统化石燃料的潜力。电催化分解水制氢因其原料来源广泛、效率高的特点,被认为是最有前途的绿色制氢方法之一。全世界新能源技术的蓬勃发展,为电解水制氢奠定了良好的基础。利用新能源技术产生的电能,然后通过电催化分解水制氢,可以有效地解决能源问题;
学位
近年来,随着现代化科学技术的迅猛发展,使自动化技术在我国各个领域中取得了普遍运用,其中机械制造业也不例外,通过自动化技术的科学应用,不但可显著提高制造效率,同时还可为各个精细化处理工作的顺利开展,提供充足保障。同时,在自动化技术的大力支持下,可对机械制作过程中潜在的安全风险加以全面分析,提高机械制造的合理性,从而为我国社会市场经济的持续发展,注入全新活力。基于此,本文将对自动化技术在机械制造中的有
期刊