基于深度学习的图像语义分析与跨模态检索研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:wgz204
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像文本跨模态检索是计算机视觉领域中一个新兴的研究课题,旨在对图像与文本两种不同模态的数据进行相互检索。在如今大数据时代下,获取不同模态数据之间的关系,挖掘海量数据中的潜在价值尤为重要,因此该任务在商品检索、菜谱检索等领域有着巨大的应用潜力。由于跨模态检索任务旨在视觉和语言两种不同的媒体数据之间准确的找到相同语义的实例,因此除了如何弥补视觉和语言之间存在的“语义鸿沟”是该任务的主要问题。针对这一问题,本文基于深度学习对该任务从两个方面进行了研究。首先,针对传统的跨模态堆叠注意力机制在处理跨模态检索问题时未考虑图像、文本片段与图像、文本整体之间的关系而导致语义错位的问题,本文基于堆叠注意力机制设计了一个双向矫正注意力模型,它引入了子片段与整个图像或句子语义之间的相关性的新概念,并设计了一种新颖的正确注意力机制,对图像和句子之间的局部和全局相似性进行建模,以纠正集中在错误片段上的注意力权重。具体来说,我们引入了一个关于子片段与整个图像或句子之间语义关系的概念,并利用这个概念从两个方面解决语义错位。在我们正确的注意力机制中,我们设计了两个独立的单元来纠正集中在错误片段上的注意力权重。Global Correct Unit(GCU)将图像和句子之间的全局相似性建模到注意力机制中,以解决将注意力集中在不相关对中的相关子片段上导致的语义错位问题,而Local Correct Unit(LCU)则考虑了两个步骤之间片段之间的注意力权重,以解决由于将注意力集中在相关对中不相关的子片段上而导致的语义错位问题。其次,针对传统视觉语义嵌入方法在构建模型时仅仅考虑不同模态间的语义关系,忽略相同模态间语义关系而引起的语义错位问题,我们提出了一个对比视觉语义嵌入框架,它通过从增强的图像-图像(或文本-文本)对中进行对比学习来实现模态内语义对齐,并通过在图像-文本对上应用最难负样本的三元组损失来实现模态间语义对齐。最后,通过在大规模MSCOCO和Flickr30K数据集上的大量实验,本文将所提出的两种算法与当前最先进的方法进行比较,并得到有竞争力的结果,证明我们所提出的两种方法可以很好的提高跨模态检索的准确性。
其他文献
在2017年日本和欧洲两地报导发现具有铁电向列相的液晶分子之后,对于铁电向列相的研究便成为了近几年液晶领域的热点。铁电向列相中液晶分子在微观层面通过偶极-偶极相互作用自发极化形成铁电畴区,并呈现类铁电的宏观极化性质。铁电向列相液晶集典型铁电材料的优异性能(高介电值、具有铁电性和非线性光学响应等)和液晶的优势(流动性好、易加工、外场响应等)于一身,在提升液晶材料的应用性能(如液晶显示、相位调制器等)
学位
为了完善图书验收工作,开发一套图书可视化验收系统。该系统打通了汇文文献信息服务系统和阿法迪自助借还系统的底层数据,将数据作为图书的一部分,在图书验收过程中呈现,使得图书验收流程更加完整和规范,增加了图书数据验收的透明度,保障了图书入藏数据和流通数据的完整性和一致性。
期刊
乏氧是实体瘤的重要特征,肿瘤乏氧不仅会加速肿瘤的侵袭和转移,而且还会诱发治疗性耐药。非氧气依赖的芬顿反应通过铁离子催化内源性过氧化氢(H2O2)转化为氧化性更强的羟基自由基(·OH),被广泛设计用于诱导肿瘤细胞铁死亡。然而,肿瘤细胞内H2O2的含量较低,同时纳米颗粒的肿瘤滞留和渗透能力有限,因此严重影响了铁死亡的疗效。针对上述问题,我们设计了肿瘤酸度和生物正交反应介导构建的药物库,将增强药物滞留和
学位
铁电性是一种自发极化的物质状态,在现代电光学应用中至关重要。铁电性普遍出现在对称性较低的固体材料中,比如具有高介电常数的钛酸钡铁电体,但钛酸钡缺乏刺激响应性单元,难以实现介电性质在大范围内的可逆调控。以液晶为代表的软物质流体材料生产工艺简单、可加工性强,在引入光敏性掺杂剂后可以产生光响应。由于它们的介电常数通常很小,对介电性质调控的研究并不是热门领域。近几年发现某些变革性的向列相液晶不再是宏观非极
学位
聚乙烯醇(Poly vinyl alcohol,PVA)作为具有特殊物理和化学性质的高分子,具有良好的生物相容性、化学稳定性以及生物降解性,是生物医学、组织工程等领域具有广阔应用前景的生物替代和修复材料。这主要是因为PVA主链上含有大量的羟基,可以产生分子内和分子间氢键,并且可以和其他的功能性基团发生化学反应。因此,深入研究PVA水凝胶结构-性能关系对于制备高性能的PVA水凝胶材料具有重要意义。本
学位
癌症作为人类首要的致死疾病,其治疗方法一直都是研究的热门领域。光热治疗(Photothermal Therapy,PTT)作为一种新型治疗方法,成本低廉、操作简便、对设备的要求低、对正常组织的损伤小,且常与化学疗法联合使用,以提高实际治疗效果。在治疗过程中,相对于全身性的系统递送体系来说,局部递送体系能够避免药物过快清除、造成系统毒性。因此,通过构建响应性药物释放的可注射递送载体,能够使药物按需释
学位
蛋白质作为生命的基础物质,在几乎所有生命活动中都有起着重要的作用,蛋白质功能障碍会引起人体机能障碍,导致多种疾病的产生。随着生物工程的不断发展,蛋白质疗法在诸多疾病治疗上表现出巨大潜力。与小分子药物相比,蛋白质药物活性高、特异性强,毒副作用低。与基因治疗相比,蛋白质药物起效快,可避免基因持续表达或插入宿主基因组诱发的免疫反应和癌变等风险。由于细胞存在自我保护机制,外源蛋白质难以自主跨膜自由进入细胞
学位
胺基取代环丙烯基阳离子自首次被合成以来,因其相较于普通碳正离子较高的稳定性而引起了广泛兴趣。它的稳定性不仅来源于它的芳香性,还来自其取代胺基氮原子上电子孤对的共轭。它的富电子特性使得它具有一些与传统阳离子不同的特殊性质,比如离子对应力和氧化还原性。研究者们通过利用开发这些性质,将胺基取代环丙烯基阳离子广泛应用在氧化还原液流电池、液晶、有机催化和医用抗菌等领域。而在这众多的研究中,主要的研究对象是小
学位
在核心素养教育背景下,为促进中学美术教育教学质量提升,大单元教学模式应运而生。开展大单元教学,结合具体的问题情境开展深入探究,有助于教师及时发现学生的学习问题,并以此为前提,提升其问题解决能力。本文以“画家笔下的大自然”单元教学为例,结合具体的教学内容,设置山水画赏析的单元主题,让学生得以建立对单元教学内容的深刻把握,进而提升学生的学科核心素养。
期刊
近年来,随着我国智慧城市的快速发展,物联网基础设施被广泛部署。各类传感器和监测系统在不断地实时监测采集,产生了越来越丰富的多维数据,特别是道路数据和环境数据。目前对于所采集数据的使用,更多的只是在监测关注当前的态势。随着新兴技术的方法,通过AI技术可以对已采集的这些数据进行智能分析处理,以显著提高智慧城市的服务水平。因此,本文基于传感器所采集的历史数据,使用深度学习模型去解决道路结冰预测问题,以及
学位