零样本草图检索算法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:xiaodehuwei123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现阶段互联网图像信息的数量高速增长,导致现有图像检索方法检索的时间变得更长,也使得检索准确率变得不尽人意。与目前使用频率较高的基于文本或者图像的检索方法相比,基于草图的检索方法因草图绘制更易操作的特性而具有实用意义。但是现有草图数据集的数量有限,往往匹配不了当下研究需求,并且草图检索对未见过的类别表现较差。因此本文将零样本学习与草图检索相结合,可以使得草图检索的应用场景更广泛。本文主要工作如下:(1)基于零样本草图的图像检索在检索的时候,允许出现训练过程中可能看不到的自然图像。现有的方法要么需要对齐的草图图像对,要么需要低效的记忆融合层来将视觉信息映射到语义空间。为了保证模型在训练过程中能够学习到两个模态更加有效的图像特征,本文提出了一种将注意力机制与循环一致思想相结合的模型。该模型中包含了处理草图图像与处理自然图像的两个分支,每个分支都保持特征循环一致性,只需要在类别级别进行监督,避免了对齐的草图-图像对的需求。两种数据模态对应的生成模型在输出时的分类标准可以确保视觉到语义空间的映射具有区分性。此外,本文使用了特征选择自动编码器组合文本和分层辅助信息,该自动编码器在相同的端到端模型中选择有区别的辅助信息。最终使得提取的两个模态的图像特征更加有效,同时可以减少不必要特征,使得计算时间缩短,降低了运算成本。在Sketchy数据集与TU_Berlin数据集上通过实验验证了该方法的有效性。(2)为了使模型能够学习到两个模态中的公共语义信息,本文提出了一种基于不同模态之间特征重构的模型。首先使用词嵌入模型来提取词向量,然后使用特征选择自动编码器组合文本和分层辅助信息,将提取的语义特征与图像特征映射到特征空间中,在三种模态的特征生成过程中采用了对抗的思想,不同模态之间的特征交叉重构使得语义特征能够有效捕捉到草图与自然图像之间的公共知识。在Sketchy数据集与TU_Berlin数据集上通过实验验证了该方法的有效性。
其他文献
全息技术能够有效实现图像深度信息重建,因此被认为是重构真实三维景象的最佳技术手段之一。传统的空间光调制器(Spatial Light Modulator,SLM)在光场重建时仅能提供微米级的分辨率,应用过程中存在视角窄、体积大和无法多个参量同时调控等缺点,具有新的波前调制结构和机制的微型光电子器件需求日益彰显。超表面在不同频率范围内均可有效调控光的电磁特性,同时伴随着微纳加工技术的蓬勃发展,使其在
学位
随着科技的发展,以及对美观和可穿戴的考虑,人们对透明柔性电子器件的需求越来越大,透明柔性的储能设备也得到了科研人员广泛的研究。以往关于透明储能器件的报道大多基于超级电容器,这些被报道的器件往往具有超长的使用寿命。除此之外,也有少量关于透明电池的报道。但与超级电容器相比,电池虽具有高容量,但寿命令人不甚满意。而混合电容器则是前面两种储能器件优点的“继承者”,一般使用电池型和电容型的活性材料分别来制备
学位
随着电子皮肤在医疗保健、软体机器人和人造假肢等领域的需求不断增加,柔性三维力触觉传感器作为电子皮肤的一项重要应用而成为国内外研究人员的研究热点。但是目前研究报道的三维力触觉传感器还存在灵敏度低、检测范围有限、响应慢等缺点,限制了其应用范围。为扩展三维力触觉传感器的应用范围,本文将从传感器的结构设计和复合材料体系设计出发,研究制备具有高灵敏度、高柔韧性、宽检测范围及快速响应等优点的电容式柔性三维力触
学位
在经济、科技的快速发展的情形下,人们对能源的消耗量急剧攀升并且对其供给模式提出了更高的标准。然而传统能源有限,利用率不高,因此开发新能源存储技术一直是科研人员的研究热点。超级电容器作为新型储能技术,不仅能缓解能源有限的窘境,其稳定性、高效性和友好型储能方式更让人青睐。因此,开发出高性能超级电容器是非常有意义的。此外,自然界中由于大气流的运动产生的空间电场对航天、气象、电力系统和工业生产等领域会产生
学位
土壤电导率是评价大田土壤养分的重要指标,可作为施肥管理的重要参数,现有大田土壤电导率检测装置主要以手持式为主,存在检测效率低、实时性差等问题,难以实现田间土壤电导率在线检测及变量施肥作业。本文基于“四端法”设计了大田土壤电导率在线检测系统,并在此基础上设计变量施肥控制系统,实现基于土壤电导率变化进行施肥量控制。主要研究内容如下:(1)设计了大田土壤电导率在线检测系统。根据大田车载式电导率检测要求,
学位
基于强度传输方程的相位恢复法是一种经典非干涉相位测量法,具有装置简单、光路简单且无需相位解包裹的优点,被广泛应用于计算机成像与生物医学显微等领域。在生物医学显微领域的应用中通常需要获得细胞的实时性相位,可以通过在显微镜目镜筒固定双相机单次曝光得到离焦图像,再进行进一步计算获得相位结果。但是由于目镜加工误差与相机安装误差无法使采集到的强度图像处于同一视场,从而降低最后求得的相位结果精度;此外强度传输
学位
行人重识别因其在智能监控、公共安全、刑侦追踪、智慧零售等领域的现实意义而受到各界广泛关注。尽管基于深度学习的有监督行人重识别已经取得了优异的性能,但因为不同数据采集场景的拍摄角度、相机、季节、背景、光照等的影响,如何在实际应用场景下将重识别模型从源域推广到其他域仍然具有不小的挑战性。目前主流的跨域行人重识别方法大多采用在源域上进行预训练,再在目标域上进行聚类的方式,却忽略了在此过程中如何尽可能的利
学位
近年来,人工神经网络在信号传输、智能系统等领域发挥了重要的作用,因此成为了人们重要的研究课题。忆阻器是一种具有记忆功能的基本电路元件,由于其独特的记忆性质,可以很好的充当神经元之间的突触权重。因为具有良好的数学性质,分数阶微积分被推广到对神经元记忆特性的描述中。基于以上分析,将忆阻器和分数阶微积分引入人工神经网络模型中,可以提高网络并行计算及自适应学习能力。综合上述分析,本文将分别在复数域和四元数
学位
农作物病害识别是当今农业发展过程中面临的最主要的挑战之一。对农作物病害严重度进行迅速准确的识别是制定防治方案的重要依据,能够减少大量的经济损失和减小对环境的污染。棉花是世界上最重要的农作物之一。棉花是纺织和许多化工产品的基本原料,同时棉花也是重要的战略物资。因而必须提高棉花产能,以促进国民经济发展。然而影响棉花生长的病虫害众多,而棉花蚜虫就是其中危害较大的一种。因此要及时防控,防止病虫害的进一步蔓
学位
对田间小麦的健康状况进行监测,有利于控制病害的传播并实施有效的田间管理方法。随着视觉领域中图像识别技术的发展,卷积神经网络在农作物病害的识别和严重度评估领域被广泛使用。因此,研究基于卷积神经网络的田间小麦病害与严重度等级的自动诊断方法,有利于田间农业专家系统的构建,对指导农业生产具有重要的意义。本文针对田间自然场景图像中的小麦病害的识别与严重度分级问题,做出了如下研究:1、设计了一种轻量型的卷积神
学位