基于注意力机制的任务相关小样本学习

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:RHLOK007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
小样本学习是近年来计算机视觉领域的一个研究热点,它借助模型所积累的先验知识,试图用少量的标记样本来完成对未知类的分类。虽然在这一领域很多工作取得了重大进展,但与传统的深度学习相比,小样本学习在分类精度与泛化能力等方面依然存在较大差距。而且,先前很多小样本研究工作很少重视在特定任务的上下文中,利用实例之间的特点来反映类之间以及类内样本之间的关系,因而不能学习出最具代表性和区分性的任务相关特征。针对上述问题,本文提出了一种新的小样本学习方法——基于注意力机制的任务相关小样本学习。(1)在利用主干网络学习和提取特征的基础上,本文提出了一种任务相关特征增强方法,该方法充分利用每个任务支持集中的类内和类间关系,旨在将任务无关特征向量转变为任务相关特征向量。具体地,任务相关特征增强首先进行类内共性特征选择,以增强类内样本间共享的共同特性,充分捕捉类内特征的内在相关性,然后进行任务相关特征映射,通过尽可能地屏蔽一切不相关的特征,来增大支持集的类间距,为当前小样本分类任务选择出最具代表性和区分性的特征;(2)本文提出一种基于注意力机制的自适应比较方法,该方法将注意力机制作为一种全新的小样本度量学习方式,而不是其它网络架构的增强组件,并通过一种与元素有关的、与位置无关的注意力策略来评估具有代表性的任务相关特征向量和未标记查询特征向量之间的相似度得分。本文在miniImageNet、Omniglot和tieredImageNet三个标准分类数据集上对提出的模型架构的有效性进行了充分验证。首先,本文验证了将ResNet-12网络作为特征提取网络能够使模型架构发挥出最佳的分类性能;其次,本文通过对比其它优秀主流方法,证明了本文提出的方法的优越性,在miniImageNet数据集中的1-shot设定和在Omniglot数据集与tieredImageNet数据集中的两种设定上都取得的最优的分类效果;本文还通过进行消融实验,验证了任务相关特征增强与自适应比较相结合能显著提高模型的分类性能。以上实验结果表明,与现有的方法相比,本文提出的小样本学习方法在分类性能上实现了显著的提升,在小样本分类学习任务这方面取得了非常有竞争力的结果。
其他文献
随着经济的发展和移动互联网的普及,电子商务的规模不断扩大,物流业也得以迅速发展,已经成为了推动国家经济发展的基础性产业,但同时也存在物流运输费用较高的问题。而且伴随着城市化的不断加深,城市配送已经成了整个物流配送体系中成本最高的一环。结合现代信息技术,优化车辆配送路线可以有效降低运输成本,这不仅能提高企业的竞争力,也有助于提高经济效益。对于路径优化问题,过去的研究主要集中于启发式算法,但随着问题规
学位
图像平滑旨在过滤图像中不重要的纹理同时保留有意义的结构,它是许多视觉和图形应用的重要组成部分。边缘强度和图像尺度是图像平滑中的两种重要线索。边缘强度编码了局部像素值之间的差异,可以区分不显著的细节纹理和显著的图像结构。图像尺度编码了纹理及结构的先验:纹理通常在较细尺度,而边缘和结构往往在较粗尺度。在过去的数十年,边缘感知滤波成为了图像平滑领域的一种主流思想,这种思想也被直接或间接地用于近年流行的基
学位
随着深度学习方法及其目标检测方法的飞速发展,它们的应用范围越来越大,特别是在水下目标检测、海洋环境探索、水底生态保护、渔业养殖辅助等方面正在发挥着越来越重要的作用。但是,由于水下环境比起陆地上的环境要复杂很多,光在水中传输时又会受到水的吸收、反射和散射等影响而发生严重的衰减,因此采集到的水下图像难免会出现可见范围有限、模糊不清、色彩不协调及噪声等各种问题。另外一方面,由于水下生物数量和种类繁多,部
学位
类皮肤传感器由于具有良好的导电性和稳定性,使得它在柔性传感器件领域具有非常广阔的应用前景。然而,这些类皮肤传感器在日常使用过程中会经历多次的拉伸、弯曲和压缩,这会对类皮肤传感器产生机械损伤。这些损伤会破坏类皮肤传感器的结构和机械完整性,导致传感功能的丧失、降低它们的使用寿命。所以,赋予类皮肤传感器自修复及可循环利用性是解决该问题的最有效的方法之一。此外,类皮肤传感器还应具有优异的力学性能,如高强度
学位
蜱传脑炎(Tick-borne encephalitis,TBE)又称森林脑炎,是由蜱传脑炎病毒(Tick-borne encephalitis virus,TBEV)引起的以神经系统病变为主的自然疫源性疾病,可在人与动物中引起致死性脑炎并伴有长期的后遗症,严重威胁人类健康和公共卫生安全。近年来随着全球气候变化,传播病毒的媒介蜱的分布范围不断扩大,蜱传脑炎呈现新的流行特点,表现为旧疫源地重新暴发、
学位
手性是大自然中生命体的一种基本特征,借助于分子组装和分子间相互作用,分子手性发生传递以及一定程度的放大,从而实现超分子手性的表达。由于类固醇天然的手性结构,基于类固醇的芳香功能团-连接基-甾体(Aromatic-Linking-Steroidal,ALS)型衍生物在凝胶材料和手性液晶中得到了广泛的应用。我们将类固醇结构与具有光响应性的基团相结合构筑了一系列的ALS型超分子组装体系,并进一步研究了其
学位
近年来,加密货币比特币的出现带动了区块链技术的蓬勃发展,而智能合约技术是区块链技术中的一个技术高地。目前以太坊中的智能合约应用受到大量的关注,创造了海量的应用价值,同时也带来了密集的攻击活动,造成了一系列重大的经济损失案件。因此对智能合约进行漏洞检测是非常有必要的。传统的漏洞检测方法包括符号执行、形式化验证、模糊测试等,目前这些方法的检测效率低、可扩展性差、准确率低,往往需要人工再审查。随着深度学
学位
多金属氧酸盐(polyoxometalates,缩写POMs)是由几种相同或不同的过渡金属离子缩合而成的离子氧簇,由于POMs尺寸、电荷密度和氧化还原电位的可调节性,使其具有优异的物理、化学性能,在储能、催化、光电和生物医学等领域得到了广泛的应用。钒硼酸盐和钒铁酸盐作为不断发展壮大的多金属氧酸盐家族成员受到了广泛关注。由于钒元素可以显现出丰富的离子价态(+3、+4、+5),它们与氧离子化学键合成不
学位
哺乳动物卵母细胞减数分裂成熟及植入前胚胎发育是一个复杂的动态生物学过程,受转录因子的调控。这些转录调控因子对卵子及植入前胚胎的发育潜能至关重要。研究发现,线粒体凋亡诱导因子2(AIFM2)在线粒体功能调节、细胞凋亡、脂质过氧化中发挥重要的作用。然而,AIFM2在小鼠卵母细胞成熟及植入前胚胎发育中的作用仍然未知。本研究进行的主要工作和结果如下:(1)AIFM2在小鼠卵母细胞成熟过程中的作用通过免疫荧
学位
金属腐蚀是一种普遍存在的破坏性自然现象,不仅造成巨大的经济损失,还带来严重的社会安全隐患。智能自修复防腐蚀涂层自动感知腐蚀破坏,主动抑制腐蚀活动或在最小的外部干预下自发修复涂层缺损,可有效延长金属材料使用寿命,拓展其应用范围。基于不同的修复机制,自修复防腐蚀体系可分为缓蚀剂基自修复和涂层本体自修复两大类,分别通过主动抑制金属基底腐蚀活动和修复涂层本体缺陷发挥防腐蚀效力。然而,缓蚀剂基自修复策略中缓
学位