基于深度生成模型的零样本学习

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:hujinjinliang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大规模人工标注的数据集极大地促进了深度学习的发展,使得深度学习在多种计算机视觉任务表现出了优异的性能。然而,在现实场景中,由于一些新类别不断的出现,收集这些类别可用于训练的图像样本变得十分麻烦。很明显,使用传统分类模型去分类那些类别是不可行的。于是,零样本学习作为一种有效的解决方法吸引了很多研究人员的兴趣。零样本学习通过学习从已知类别迁移到未知类别的知识,可以在不存在来自未知类别的视觉样本的情况下,学习分类器来识别未知类别的图像。基于属性的零样本学习方法,通过引入属性作为中间语义空间用来迁移知识取得了显著的效果。在语义空间内,已知类别和未知类别都用高维向量来表示。然而,现有的方法存在多个问题。首先,由于类嵌入或视觉偏差存在噪声,用于识别的语义空间可能不可靠。其次,作为未知的类别,缺乏对这些未知类别的任何知识。因此,为未知类别提供属性标注是浪费时间和人力的。此外,同一种属性可能会存在不同甚至差异极大的视觉特征,直接使用属性作为中间语义空间,在零样本预测时不可避免地导致了映射域漂移。同时,在高维空间中,某些点会成为大多数点的最近邻点。这也使得现有方法在预测时效果变差。针对类嵌入或视觉偏差存在噪声问题,本文提出了一种新颖的基于视觉属性嵌入的零样本学习方法,该方法通过中间汉明空间对未知类别进行识别。具体来说,本文的方法同时学习两个二值编码函数,分别将视觉特征和类嵌入映射到汉明空间。这很好地缓解了视觉语义偏差问题。在训练期间,通过在原有的映射函数引入两个额外辅助变量,将原问题转化成了一个等价的最大化内积问题,这个等价问题拥有解析解。因此,本文所提出的算法既享有高效的训练速度又具有可扩展性。对四个基准数据集进行了大量实验,证明了本文方法对零样本学习任务的优越性和高可扩展性。针对未知类别的属性难以获取的问题,本文提出一个基于属性的深度生成网络的零样本学习方法。这个方法利用类别名称的词嵌入作为属性的补充。使得在只存在未知类别的词嵌入的情况下,仍然可以进行零样本预测。尤其是在训练阶段,将视觉特征,属性以及词嵌入作为样本的三个不同视角,并且给每个视角分配一个编解码器。本文的方法保证了健壮的同一视角的重建以及不同视角之间的生成,同时也保证了对类别的判别。在未知类别的属性不存在的情况下,本文的方法可以根据其类别名称的词嵌入生成对应的视觉特征,从而进行零样本预测。此外,在训练时缺少属性或者词嵌入的情况下,本文的方法仍然可以灵活地迁移过去。针对直接将属性作为中间语义空间,带来的映射域漂移和枢纽度问题。本文的方法可以在视觉空间内生成视觉特征,避免了上述两个问题。通过在四个数据集上和最新水平的方法的比较,证明本文的方法可以取得了更好地效果,同时更好地克服之前方法的缺点。
其他文献
目的:随着保膝观念的日趋复兴,传统的截骨术得到进一步的重视和发展,更加精确化的截骨成为研究的热点。胫骨高位截骨术(High Tibial Osteotomy,HTO)是治疗内侧间室骨关节炎伴
随着信息技术的发展,各种自动化和智能化管理控制技术都得到广泛应用。物联网作为信息化的重要组成部分,已成为重点研究的问题之一。而传感器感知数据对物联网的应用有非常重要的意义,物联网的价值之一就是为上层应用提供有用可靠的数据。由于传感器自身结构的特点以及一些外界的影响,传感器数据缺失不可避免。为了更好挖掘有效的数据信息,对缺失数据进行重建就显得尤为必要。目前多数数据重建方法都是基于单一属性,具有一定的
深度嵌入式系统(Deeply Embedded Systems)是与真实环境联系紧密、资源受限的嵌入式系统。随着物联网技术的发展,深度嵌入式系统得到了大规模的应用,如智能家居、智慧城市等。深度嵌入式系统运行状态监测和异常检测成为保障系统正常工作、提高系统可用性的关键保障性技术。然而,由于部署环境复杂多样、计算机资源严重受限等特点,深度嵌入式异常检测面临诸多的挑战。本文以数据为驱动深入研究了深度嵌入
基于属性签密机制能够在一个步骤下完成属性加密和签名,该机制不仅提供数据的机密性和认证性,同时能够实现数据细粒度的访问控制和数据共享。因此,基于属性签密机制的研究在实际应用中具有重要的意义,成为目前密码学研究的热点。本文针对基于属性签密机制进行深入研究,具体包括:(1)针对电子健康记录系统中数据拥有者个人敏感信息泄露的问题,基于双线性对,结合基于属性签密机制和Cuckoo过滤器技术,提出一种新的支持
大规模多输入多输出(Massive MIMO)技术作为5G移动蜂窝网络的关键技术之一,近年来已经成为无线通信领域的研究热点。空间调制(SM)技术和广义空间调制(GSM)技术利用Massive MIMO的空域信息隐性地传输信号,不仅能有效克服信道间干扰,而且降低了天线同步要求。由于隐形地传输信号,可提高信息传输速率,抵消由于空闲天线造成的频谱效率降低。同时,因为有效射频链路较少,可降低系统的实现成本
目的:高血压是一种多种因素综合的慢性疾病,其发病过程中伴随低度炎症性反应。以经典高血压动物模型自发性高血压大鼠(Spontaneously Hypertensive Rat,SHR)为研究载体,采用传
目的腓骨长肌腱作为重建后交叉韧带的新兴移植材料取得了满意的近期疗效,但远期疗效尚不明确,尤其是供区踝关节远期的稳定性受到质疑。本研究通过回顾性分析后交叉韧带损伤患
研究背景帕金森病(Parkinson’s Disease,PD)是全球第二常见的神经退行性疾病,其发病率仅次于阿尔兹海默病。PD的临床表现主要包括运动症状(主要包括运动迟缓、静止性震颤、
[目的]喉癌是常见头颈部恶性肿瘤之一,男性多见。课题组通过定量蛋白质组学技术,筛选得到喉癌相关蛋白磷酸烯醇式丙酮酸羧激酶2(Phosphoenolpyruvate carboxykinase 2,PCK2),通过瞬时转染技术干扰PCK2后,初步探讨PCK2在低氧微环境中的表达及功能,为阐明喉癌发病的分子机制提供更多实验依据。[方法]1.分析低氧环境下喉癌SCC10A细胞的蛋白质组学结果,筛选出相关
随着互联网的发展,每天都有大量的多媒体文件产生,如何在海量数据中检索相关内容成为了科研人员重点关注的内容。传统的检索方法是在同一模态的数据中进行检索,如:图片检索、文本检索等,这种检索方式反馈的结果类型单一、形式不灵活,无法满足人们的需求,因此很多科研人员开始研究跨模态检索问题。跨模态检索是在不同的媒体数据中进行检索,通常用某种类型的数据查询得到内容相关的其他类型文件,例如:图片检索文本、文本检索