结合文本操作的图像检索研究与应用

来源 :东华大学 | 被引量 : 1次 | 上传用户:fengyu3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像检索是计算机视觉中的一个研究热点。传统的图像检索系统通常以文本或者图像作为输入,也就是基于文本的图像检索和基于内容的图像检索。但是纯文本或单一图像通常无法准确表达用户的意图,在实际应用场景中,很多时候用户希望根据已有的图像增加自己的修改意见来查询目标图像,即用一张查询图像和一个包含修改信息的文本来检索符合条件的目标图像。这种检索模式被称为结合文本操作的图像检索,它的应用十分广泛,比如说在服装检索领域,用户可以通过这种检索方式找到与给定T恤图像相似但颜色或领口设计不同的商品。这类检索任务的难点在于进行多模态特征融合时如何处理不同模态数据之间的差异,以及如何将文本的语义信息和图像的视觉信息关联起来。大多数方法通过融合查询图像的全局特征和文本特征得到查询的表示,然后使用深度度量学习方法来度量查询和候选图像之间的相似性。然而,修改文本通常和图像的局部特征有关,而不是图像的全局特征。因此,本文提出了一种基于局部特征修改的图像检索模型LFM-IR,它的核心思想是通过注意力机制将文本的语义信息和图像的视觉信息进行关联,然后执行对查询图像局部特征的修改。LFM-IR模型包含四个模块,分别是特征提取模块、空间注意力模块、通道注意力模块和特征修改模块。其中,空间注意力模块负责关注和修改文本相关的图像区域,通道注意力模块负责关注和修改文本相关的属性,特征修改模块用于执行具体的修改。本文主要的工作和创新点归纳如下:(1)提出了一个基于局部特征修改的图像检索模型LFM-IR,用来处理结合文本操作的图像检索任务,该模型能利用文本信息对查询图像的局部特征进行修改。在三个公开的基准数据集上做了大量实验,评估现有方法和我们的方法的性能。实验结果表明,LFM-IR模型的检索表现更好。(2)设计了一个简单有效的空间注意力模块和通道注意力模块,用于关注需要修改的图像区域和属性。通过可视化实验验证了空间注意力模块的准确性,增强了LFM-IR模型的可解释性。通过消融实验,证明了两个注意力模块的有效性。(3)分析了一些影响LFM-IR模型的关键因素,并对模型进行了优化,进一步地提高了模型的检索性能。同时将LFM-IR模型应用于实际,以服装为主题,开发了一个服装检索系统,该系统除了支持传统的图像检索模式,还支持结合文本操作的图像检索模式,能够灵活地满足用户的需求,帮助用户快速准确地从海量的服装图像中找到符合期望的服装图像。本文所提出的模型为结合文本操作的图像检索提供了新的思路,该模型可以直接应用于电商平台的服装检索。
其他文献
随着社会经济的快速发展,居民消费水平日趋提高,各大服装品牌的竞争日趋激烈,人们对服装的要求越来越高,消费者在购买服装时,不仅讲究是否合身,也对服装的样式、展现的风格有了更高的要求。研究四大时装周中所展示的服装流行风格,对服装流行风格进行建模、量化也成为了当今的研究热点,对于服装行业有着重要的意义。在现有的服装流行风格研究中,大多数研究者将服装风格的研究局限于服装的全局特征,而服装风格作为一个主观判
学位
学位
学位
学位
目的 探讨一般自我效能感、生命意义感在大学生体育锻炼与生命意义感之间的关系。方法 采用量表对803位在校大学生进行测量,使用SPSS26.0、Process3.3进行统计分析。结果 1)大学生体育锻炼、一般自我效能感、生命意义感和生活满意度呈两两正相关。2)体育锻炼能够显著正向预测大学生生活满意度(β=0.325,p<0.001);间接效应路径1效应值为0.078 (体育锻炼→一般自我效能感→生活
期刊
学位
学位
随着经济全球一体化的发展以及物流供应链管理的深入,集装箱运输在全球化货运体系中占据越来越重要的地位,集装箱管理已经逐渐融入到客户供应链管理当中,成为大宗商品企业物流中的一个重要环节。然而大宗商品企业对于集装箱业务缺少统一的管理系统,因为数据动态变化、业务复杂多变等因素,ERP在我国大宗商品领域并未得以推广。目前大宗商品企业多采用单体架构来开发ERP系统,功能也相对简单,划分边界模糊。随着业务复杂化
学位
学位
学位