基于全局与局部协同注意力的图文检索算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:ivb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的信息检索是基于关键字匹配或者是在单一模态下进行的,例如文本检索的查询集和结果集都是文本形式,而图像检索也是如此。面对互联网中日益增长的各类型数据,这种单模态的检索方式已经不能满足人们的需求,跨模态检索应允而生。本文研究的图文检索问题,正是从单一的文本检索或图像检索转换到图像和文本两种模态形式的检索。然而,目前大多的图文检索算法不仅结构复杂冗余,而且在检索匹配时往往只利用单一的全局(全局匹配型方法)或局部(局部匹配型方法)图像文本信息,而忽略了全局与局部语义信息之间的关联性。针对上述问题,本文提出了一种简单且有效的神经网络模型,不仅能够有效地对齐视觉和文本信息,并且模型中的结构能够轻松地迁移到其他模型上,改进原模型的检索能力。本文的贡献如下:1)提出基于全局与局部的协同注意力网络,该网络结构简洁,包含两种协同注意力机制ii-tt和it-ti。ii-tt协同注意力机制通过关联全局的图像/文本与局部的区域/单词的相关性,增强模型所提取特征的表达能力;而it-ti协同注意力机制通过利用全局的图像/文本与局部的单词/区域的匹配关系,能有效地对齐视觉和文本信息。因此,本文通过使用协同注意力机制结合图像文本的全局与局部信息,有效地克服局部匹配型和全局匹配型方法的不足,从而提高模型的检索能力。2)改进主流的图文检索模型SCAN和RDAN,提出相应的b GL-SCAN和b GLRDAN模型。在全局与局部协同注意力网络中,协同注意力结构具有良好的可拓展性,能有效地迁移到其他图文检索模型中。SCAN和RDAN模型在进行图文匹配时,主要关注于最大化程度匹配局部的图像文本信息,而忽视了全局与局部语义信息之间的关联性。因此,本文通过迁移协同注意力结构到SCAN和RDAN模型中,挖掘图像文本的全局与局部信息的关联性,增强模型的检索能力。3)本文在公开的数据集Flickr30K和MS-COCO上,通过多个不同实验的对比,验证了所提出的网络和改进模型的有效性。
其他文献
棉花黄萎病(Verticillium wilt)是典型的土传、维管束真菌病害,但该病害防治难度大,故又被称为棉花上的“癌症”。防治棉花黄萎病的方法主要有选育抗病品种、化学防治、农业
目前,高功率超宽带电磁脉冲技术在目标测距、地质勘探、生物医学等民用领域得到了广泛应用,近年来随着超宽带冲激雷达在高功率微波武器、电子干扰等军事领域的应用潜能,对于超宽带电磁脉冲源的研究已经成为世界上学者们关注的热点,追求脉冲源的高功率、窄脉宽、高重复频率、小型化成为研究的主要方向。雪崩晶体三极管(Avalanche Transistor)的响应速度快,工作电流可达几十安培,且价格便宜、体积较小,是
由于离子液体具有独特的可调特性,包括宽液体范围,高离子电导率,低挥发性,不燃性,高电化学和热稳定性等被广泛应用于各领域。通过特别设计的离子液体可具有液晶性成为离子液晶。利用离子液晶的有序性将其作为前驱体可以与各种无机材料复合制备新型功能复合材料。本文通过传统的加热回流法制备双长链咪唑离子液体(C12MC12)与含联苯基咪唑离子液体(CBphCM/CBphC-M-C)。C12MC12通过静电相互作用
信息技术的快速发展推动了移动学习应用从纯粹的资源提供走向多维的学习支持服务,实现了对传统学习评价形式的变革,为促进以“问题解决”为核心要素的学科教学提供了多样化的
探究性学习是新课改倡导的重要学习方式,旨在培养学生的创新精神、实践能力、合作能力以及自主学习能力,转变学生的思维方式。近年来,很多专家学者倾向于研究探究性学习在课堂教学中的应用,而对探究性家庭作业缺少思考。语文探究性家庭作业存在探究方法单一、探究内容不丰富,反馈方式单一等问题,直接影响了学生的语文学习兴趣。语文探究性家庭作业由哪些要素构成,设计与实施呈现怎样的规律,探究性作业设计与实施的主要影响因
课堂教学中师生之间的有效互动是教学改革趋势的一大表现,同时也是落实新课程标准所倡导的英语学习活动观的有效策略。它不是传统的教师讲授学生被动接受的形式,而应该要能够充分体现学生在课堂学习中的主体地位。也就是说在课堂互动中,学生能够积极参与,有足够的机会表达自己的观点,获得教师和同伴的有效反馈等。课堂教学过程的本质是师生之间基于教学内容的双向互动,此外当下的情感氛围以及环境也是影响互动的重要因素。课堂
船舶航运在经济性和安全性上都拥有巨大优势,在全球货物流动中占据着不可动摇的地位。但船舶所带来的能耗及污染问题也受到广泛关注,中国船级社推出的《绿色生态船舶规范》中
乘着改革开放的东风,民营经济有如雨后春笋、春起之苗般迅速发展、壮大。民营经济的特点鲜明,有与公有制经济互补、配置资源效率高、创新应用能力强等特点,已逐步发展成生产方式和经营管理模式创新的重要主体、解决公民就业和国家税收的重要渠道。与机遇共存的是挑战,除了通过“动能转换”等途径实现产业转型升级外,民营经济还需要政府提供政策资金支持、改善营商环境等,来解决民营经济自身解决不了的问题。作为中国共产党领导
人类社会和世界经济的发展离不开能源资源的巨大推动作用。随着工业化进程的不断深入,全球的能源供应体系面临着重大挑战。在应对这一重大能源危机挑战中,风能作为一种新型的
随着人们对生存环境的日益重视,可再生新能源利用越来越受到关注,风力发电作为重要的可再生能源技术快速发展,近十几年来,各种风力发电机如雨后春笋般地在陆地和近海海面竖立起来。风力机从结构形式分类,可以分为水平轴和垂直轴两种,水平轴风电机组是目前最常见的风力发电型式,其特点是风力利用率较高,但技术已经相对成熟的同时也出现了超大型风力机安装、维护、运营成本居高不下等技术瓶颈,使得风电成本难以大幅下降,这给