基于记忆迁移的小样本学习方法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:wap1012min2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习方法在计算机视觉领域取得了卓越的进展。然而,这些成就大都依赖于大量的标注样本,当训练样本不足时,深度学习很难发挥作用。为了解决深度模型在小样本情况下的学习问题,小样本学习被提出,旨在通过很少量的标注样本来学习到一个优秀的分类器。由于这一特性,小样本学习逐渐成为视觉识别中的一个受关注的领域。小样本学习的基本思想是从大规模数据集上学习可迁移的知识,并通过这些知识来帮助模型快速地学习到目标任务。基于这一思想,元学习方法提出用元学习器来学习可迁移的知识,度量学习方法则通过构建度量空间的方式来进行知识迁移。本文在元学习方法和度量学习方法的基础上,提出了基于记忆迁移的小样本学习方法来更好地对知识进行迁移。主要的研究内容如下:1.阐述了小样本学习的问题来源与研究意义,介绍了小样本学习任务的基本概念以及问题定义,对小样本学习的研究方向进行了总结,包括数据增强方法、度量学习方法、元学习方法以及转导学习方法,并对每类方法中的代表性方法进行了详细地分析与评价。2.针对于元学习方法中存在的微调效果不佳的问题,提出了基于记忆的迁移学习方法。首先,提出一种权重分解策略,将部分权重分解为冻结权重与可学习权重,在迁移学习中通过固定冻结权重,仅更新可学习权重的方式来减少模型需要学习的参数。其次,通过一个额外的记忆模块来存储之前任务的经验,在学习新任务时,这些经验被用来初始化模型的参数状态,以此更好地进行迁移学习。经过实验证明,记忆模块能有效地帮助知识进行迁移,从而提升模型微调的效果。3.为了在度量学习方法中更好地对特征进行表示,提出基于记忆的度量学习方法。首先,借助一个多尺度的通道增强的特征提取模块来提取更精细的多级特征。其次,通过引入一个基于记忆的注意力模块来挖掘样本之间的语义信息,使得样本的特征更具备辨别力,来帮助分类。通过实验验证,基于记忆的注意力模块能有效地提升模型的分类准确率。
其他文献
自2004年第一个基于核酸适配体的药物Macugen被成功运用于临床治疗后,核酸适配体药物便有了一定的发展。然而,目前用于临床治疗的适配体药物只有少数几种,而造成这种现象的原因之一是适配体的构象稳定性差。适配体折叠能量是评估适配体构象稳定性的重要参数,但是目前测量适配体折叠能量的方法有限且存在一定的误差。除上述基于适配体的药物发展所面临的问题之外,基于适配体的生物传感器同样面临着一定的困难。由于通
相控阵雷达、5G无线通信试验系统、宽带数字接收机和数字示波器的高速发展正在将系统带宽不断推高,显著增加了数据采集系统对高速、高精度ADC(Analog-to-Digital Converter)的需要。时间交织ADC(Time-Interleaved ADC,TIADC)技术是提高采样率的有效途径,但是这将不可避免地引入通道失配误差,主要包括失调失配、增益失配和采样时间失配,并严重降低了TIADC
随着互联网和大数据技术的发展,方方面面对数据的依赖越来越强,产生的数据规模越来越大,数据样本复杂度也越来越高。为了精准地预测数据,获取准确且有价值的信息,就需要选择合适的技术进行处理。本文借助极限学习机模型的优势,针对多标签分类中的数据标签和数据样本结构问题开展相关研究工作,主要工作包括:对于多标签分类中存在非线性的数据样本和重复的样本数据问题,本文提出了一种基于在线顺序极限学习机的改进算法—样本
移动自组织网络(Mobile Ad-hoc Network,MANET)具有无基础结构、自组织和多跳能力的特性,在军事任务或紧急救援中具有巨大的潜在应用。对于军事场景而言,在MANET中实现低成本、高效的反入侵、反窃听和反攻击机制非常重要。入侵MANET或攻击MANET的目的通常与有线Internet的目的不同,有线Internet的安全性机制如集中认证和授权已得到广泛探索和实施。而对于MANET
机器人执行抓取任务时,力传感器和力执行器是两个重要的工作部件,利用力传感器可实现力执行器的闭环控制,提升机器人的抓取智能水平。由于具有良好的延展性和安全交互性,柔性力学传感器和力执行器随着柔性电子技术的发展逐渐兴起,已成为智能机器人领域的研究热点。然而,目前相关研究集中于单一力传感器或力执行器件的研究,关于两者一体化集成的研究工作较少。此外,力传感器和力执行器使用的原理不同,信号转换复杂、集成度较
Cu2+在生理和病理事件中起着至关重要的作用,人体中Cu2+的不平衡会产生许多问题,比如人体中过多的Cu2+会产生多种肝脏或肾脏疾病,但是当体内Cu2+不足时,会使人们产生脑缺血从而患上神经衰退性疾病严重者甚至死亡。因此,开发一种用于Cu2+实时快速测定的高效方法具有重要的研究意义。鉴于现有的Cu2+检测技术精度较低、需要复杂的样品预处理和笨重的仪器、且检测时间久,无法满足实时检测等一系列问题的存
图像的风格迁移是一种重要的图像处理技术。风格迁移技术旨在通过一定的算法,将一张图片的内容信息与另一幅图片的纹理、色调、轮廓等风格信息相互融合,继而创造出一张全新的图像,与原图像相比,生成的图像在原有的内容信息不改变的情况下,风格却变得迥然不同。近年来,深度学习的快速发展以及其在图像处理方面的优异表现引起了研究者们的广泛关注,研究者们开始运用深度学习技术来研究图像的风格迁移问题,并取得了许多突破性的
近年来基于共轭聚合物超薄膜的有机场效应晶体管(OFET)成为气体传感领域的热门研究方向。由于超薄膜的厚度仅为几个单分子层厚,其用于气体传感可以增加OFET导电沟道与气体分子的物理接触面积,减少气体分子在有机半导体中的扩散路径,从而提高传感器件的传感性能。本论文围绕OFET超薄膜微观结构与电学、气体传感性能之间关系尚不清楚这一问题,以优化超薄膜OFET气体传感器制备工艺、提高OFET器件传感性能为目
作为人机语音交互的出口,语音合成的效果直接影响到人机交互的体验。一个高质量的、稳定的语音合成系统能够让机器更加地拟人化,使人机交互过程更加自然。目前,大多数很多优秀的致力于提高中性语音成的质量的TTS模型已经被提出,例如Tacotron2和Wave Net。但这些模型大多数使用的是RNN或者LSTM作为编码器和解码器,这种自回归的结构导致这些模型在训练和预测时很慢。此外,随着智能化语音合成系统的不
可变形卷积网络在计算机视觉任务中被广泛使用,在目标检测、语义分割、目标分类以及视频动作检测等多种领域中都展现出良好的性能。在可变形卷积网络中传统的卷积层和可变形卷积层都是计算复杂度的主要来源。然而现有的神经网络加速器主要集中于传统卷积层的优化加速任务,对于可变形卷积层的关注却很少。目前的研究工作中,一种较为常见的做法是通过修改算法,使可变形卷积算法适合在硬件上映射,但是这样的做法或多或少会使得可变