基于深度学习的草图图像检索研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:chichizhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展,海量图像数据不断涌入,人们对从海量数据中检索有效信息的需求不断增长。同时,近年来随着手机、平板等触摸屏技术的发展,基于草图的图像检索(Sketch-based Image Retrieval, SBIR)成为一种较为直观和有效的图像检索方式。相比于其他基于内容的图像检索方式,草图作为查询输入可以更好地描述关键信息,且更为直观和简洁。因此,基于草图的图像检索引起了研究人员的广泛关注。本文在深入分析基于草图的图像检索关键问题的基础上,以提高基于草图的图像检索性能为目标,开展了基于深度学习的草图图像检索技术研究。
  本文提出了一种基于边缘引导跨域学习模型的草图图像检索方法,利用从自然图像中提取的边缘图作为草图域和自然图像域之间的桥梁,缩小域间差异。首先,采用提出的边缘引导模块融合自然图像及其对应的边缘图,从而引导网络在域对齐过程中生成更具辨析力的判别特征。然后,引入形状回归模块对自然图像特征进行重构,以捕获草图和自然图像之间固有的形状相似性。最后,通过构建中心损失函数减小特征的类内差异,加强输出特征的可区分性。通过端到端的网络训练过程,使网络模型有效地关联草图域和自然图像域。实验表明,所提出的方法在多个数据集上均取得了良好的检索性能。
  本文同时提出了一种基于半异构联合嵌入网络的草图图像检索方法,该方法充分利用了草图、自然图像和边缘图三分支之间的相互作用关系,从而为检索任务学习更具辨析力的特征。半异构联合嵌入网络包括半异构特征映射和联合语义嵌入部分。半异构特征映射用于提取每个域的底部特征,联合语义嵌入将来自不同域的特征嵌入到共同的高层语义空间。为了进一步捕获自然图像和相应边缘图的公共判别特征,提出了一种协同注意力模型,以实现不同域通道级特征的重校准。此外,为了进一步在高层语义空间中对齐两个域,设计了一种混合损失机制,引入对齐损失和草图-边缘图对比损失,激励网络学习不同域间的跨域不变性表示。在三个广泛使用的草图图像检索数据集上的实验结果表明,所提出的方法优于当前最先进的方法。
其他文献
随着科学技术的日新月异及生活方式的改变,人们对位置信息的要求越来越高。在室内环境中,由于建筑物的阻挡等因素,全球导航卫星系统(Global Navigation Satellite System,GNSS)信号会发生衰减,GNSS难以满足人们对室内定位的需求。因此,众多室内定位解决方案层出不穷,其中基于行人航位推算(Pedestrian Dead Reckoning,PDR)理论的室内定位与跟踪技
火灾是人们日常生活中一种频繁发生且危害巨大的灾害事故。随着城市建筑向越来越高和越来越密集的趋势发展,火灾一旦发生,将严重威胁人们的生命财产安全。准确及时地检测到火灾发生对于防火救火具有十分重要的意义。传统的火灾检测技术多基于烟雾、光、热等多种火灾参数传感器来探测火灾,然而其受探测距离、安装位置等多种因素限制,报警速度慢、准确率低。进入21世纪以来,人类社会迈入高度的信息化时代,基于图像型的火灾检测
学位
三维模型技术随着信息技术的迅猛发张取得了广泛的应用,三维模型存在于人们生活的方方面面,例如三维建模、三维重建、3D电影、三维体感游戏和三维医疗等。特别地,得益于已经在各行各业逐渐普及的三维模型拍摄设备,每天都有海量的三维模型被分享到网络平台,相应的产生了大量三维模型数据集。然而,其中只有小部分用于学术研究的数据集具有详细和相对准确的人工标注,大部分三维模型数据库,尤其是用户端三维拍摄设备获取的三维
随着摄像头的广泛铺设和互联网普及,针对室内场景的空岗判定、智慧家居和人流量统计等智能视频分析系统也快速发展,以上功能的实现都要建立在室内人员检测的基础之上。但目前对检测算法的研究主要针对室外行人,室外行人取材场景开阔,数据集中的图片大多采用平行机位拍摄,人体目标较为完整。而室内人员多是俯视拍摄,容易出现家具带来的遮挡问题,且室内人员姿态多样,致使同一个体在不同状态下也会呈现较大差异。这些原因导致主
随着计算机视觉技术的发展,三维模型在该方向的应用越来越广泛。由于三维模型的数量急剧增加,快速实现对三维模型的分类和检索是面临的一个较为棘手的问题。三维模型的表征方法有很多种,其中基于视图的图像表征方法在该领域方面有着很好的表现能力,在多个数据库和比赛中取得良好的成绩。  本文依据图像表征三维模型的方法,介绍基于全景图的三维模型表征方法,主要介绍:(1)提取三维模型的全景图表示三维模型,将网格化的三
物体检测是计算机视觉领域的基础问题之一,在自动驾驶、安全监控等领域有着广泛的应用。当前物体检测主要有两个发展方向,一是通过部署深度网络来实现检测精度的提升,不能保证实时的检测速度;二是通过设计轻量级网络提升检测速度,但检测精度相对较低。目前来看,单阶段物体检测器的检测速度尚可满足实时性的需求,但检测精度低是其相比于双阶段物体检测器的一个缺陷。与此同时,对于自动驾驶、安全监控等领域来说,视觉感知系统
数字多媒体时代的今天,各种立体图像或视频产品丰富着我们的生活,给我们带来身临其境的立体感。然而在立体图像处理过程中,创建、压缩、传输、重建、渲染和显示这些步骤都难免在原始图像上引入各种失真,导致立体图像或视频质量的下降。质量评价算法能够对立体图像或视频产品的质量进行评估。因此,建立一个准确有效的立体图像质量评价模型在数字多媒体时代显得至关重要。  本文首先提出了一种基于立体显著性的无参考立体图像质
空间谱估计作为阵列信号处理的一个重要分支,其目的是确定空间中入射源信号的来向。经典的DOA估计算法大都基于精准阵列流型,而没有考虑实际应用中不可忽略的互耦效应等因素,导致其实测性能大幅降低。因此,研究互耦情况下的测向算法具有重要的实用价值。此外,由入射源信号的统计特性,可将其分为圆信号和非圆信号。目前大多数算法默认入射源信号是圆信号,只利用其协方差非零的特点完成测向操作,导致可探测最大入射源数目少
随着5G新无线电接入技术(New Radio Access, NR)的不断发展,人们对大容量、低延时、高可靠、高速度、低功耗通信的需求更加迫切。在数字通信系统中,信道编码是5GNR的关键技术之一,而海量的信息数据传输对5G信道编码提出了更高的要求。低密度奇偶校验(Low Density Parity Check, LDPC)码作为5GNR的信道编码中数据信道的长短编码方案,将继续发挥不可或缺的作用
火灾早期,通常先有烟雾产生,随后才是火焰,因此烟雾检测能够提供比火焰更为及时的报警线索,对于确保人民群众的生命以及财产安全、推进火灾预防领域的发展意义重大。传统的烟雾检测方法通过监测空气中烟雾颗粒产生的物理变化来进行烟雾报警,比如温度、浓度等。但此类方法在时间和空间上均受到限制,从时间来说,烟雾浓度需达到一定范围才可以被传感器感知,这很可能导致最佳救援时机的错失;从空间上来说,一些开阔的室外环境也
学位