结合小样本指导的元学习图像分类算法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:wyb112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
经过近年来的快速发展,现有的深度学习技术已在图像分类领域展现出强大的性能,但这往往需要大量的标注样本对模型进行训练。而在很多现实场景中,有标注的样本通常是稀缺且昂贵的。为解决此问题,人们提出了元学习(Meta-learning),期望仅使用少量的标注样本就能得到令人满意的效果,相关研究对医疗、行人再识别等缺少标记样本的领域有着重要的现实意义,元学习也是深度学习领域研究的热点之一。元学习的主要思想是:首先,让模型通过使用非目标任务的标注样本进行训练,学会如何去学习;而后,当遇到新任务时,模型便能够快速适应,仅使用少量目标任务的标注样本就能得到较好的效果。然而,现有元学习的主要目标,是在第一步得到一个普适性强的模型,对所有未知任务都有一定的泛化能力,但缺乏对目标任务的针对性,同时也会削弱模型在特定目标任务上的性能。为了使元学习过程更有针对性,最终得到的模型更适合解决目标任务,本文提出了结合小样本指导的元学习方法,利用目标任务的少量标注样本指导元学习过程。针对于不同的情况,提出了两种方式对元学习过程进行指导,首先提出了基于外部记忆的元学习模型(External Memory Meta-learning,EMML),利用外部记忆进行指导,但会导致模型缺乏灵活性,因此又提出了元特征自适应模型(Feature adaptive meta learning,FAML)。具体工作内容如下1.由于传统元学习模型缺少存储目标任务信息的结构,本文通过使用外置参数,提出了基于外部记忆的元学习模型,将目标任务的相关知识作为外部记忆存储起来。模型的参数分为两部分:共享参数θ和目标适应参数φ,分别用于存储先验知识和影响更新方向。两部分参数共同影响模型结果,共享参数θ代表从其他任务中学习到的普适性较强的先验知识,将其作为训练目标任务时的初始模型。目标适应参数φ用于存储目标任务中少量标注样本的信息,对共享参数θ在训练过程中的更新进行影响,使模型更适用于目标任务。在模型训练时,两部分参数共同参与计算,但在不同的步骤进行更新,提高模型对目标任务的适应性。实验结果表明,基于外部记忆的元学习模型和其它元学习模型相比具有更好的效果。2.以上所提方法在完成先验知识的学习后,外部参数将固定下来,对于不同的输入数据,这些参数都是相同的。这相当于在一定程度上削弱了模型的灵活性。为了克服这种不足,本文利用通道注意力,提出了元特征自适应模型,以改进模型的内部结构的方式实现少量目标任务标注样本指导元学习过程的目的。该方法首先通过大量样本训练网络的特征提取能力,然后利用通道注意力机制和少量目标任务标注样本,对所学习到的先验知识进行权重分配,对于目标任务有用的相关特征,将给与更大的权重,使得模型更加关注有用特征,得到更好的效果,并减少相关性较弱特征的权重。最终得到适用于目标任务的网络模型。实验结果表明,元特征自适应模型和其它传统元学习模型相比具有更好的效果,并且在复杂任务的情况下比基于外部记忆的元学习模型表现更好。
其他文献
互联网的产生让人们能够在随时随地获得需要的信息或者分享有用的信息,因此随着互联网不断发展,信息规模成长到了人们难以筛选的量级,因此如何在海量的信息中提取到有用的信息具有十分重要的研究价值。问题生成作为自然语言处理中一项具有挑战的任务,旨在根据给定的文本以及目标答案生成合适的提问。该任务能够自动地扩充问答数据集,在阅读理解等多个领域都有着重要作用,并且也可以给对话系统提供冷启动话题。因此,如何提高问
学位
动载作用下岩石的破坏规律研究对于众多地质灾害的机理分析和预防具有重要的理论及实际意义。鉴于数值模拟研究的优势,应大力发展适于岩石动力断裂过程模拟的数值方法。在自主开发的拉格朗日元与离散元耦合连续-非连续方法的基础上,采用朱-王-唐本构模型取代了广义胡克定律,发展了考虑动力本构的连续-非连续方法,其正确性通过模拟不同加载速度下砂岩试样的单轴压缩实验进行了验证。采用考虑动力本构的连续-非连续方法开展了
学位
我国大部分地区煤碳质地致密,随着能源抽采进入深部区,瓦斯突出等现象越发严重,深部瓦斯抽采也遇到了前所未有的困难,煤体自身的物理性质,包括节理结构、含水饱和度、所受围压及外界环境温度等是影响煤层气存储能力和渗流能力的主要因素,本文针对现有提高煤储层渗透性实验方法的优缺点,利用液氮作为制冷液、低温保存箱创造低温环境,以辽宁省阜新盆地长焰煤为研究对象,利用物理增透的方式,开展了低温冻融作用下不同节理煤岩
学位
液压支架立柱的泄漏是导致液压支架失效的主要原因之一。立柱挂液是泄漏的一种特殊形式。依据液压支架φ450 mm立柱的产品结构及3种厂家的密封结构分析,从增大密封过盈量、密封槽加工等方面提出解决立柱挂液问题的对策,可有效减少立柱挂液的发生,为解决立柱挂液问题提出新思路。
期刊
随着煤炭行业的持续发展,三下压煤问题对煤炭开采的影响日益严重,而分层充填开采是一种有效解决厚煤层三下压煤问题的重要技术手段。但由于分层充填开采方法较为特殊,且开采过程中会受到充填材料放热和充填体孔隙结构的影响,导致煤层和充填区内部瓦斯渗流和涌出规律十分复杂。为了探究使用分层充填法采煤过程中煤层瓦斯渗流及涌出规律,以高河能源3#煤层E1302工作面为研究背景,通过理论分析、现场试验、数值模拟相结合的
学位
随着地下煤层开采深度增加,岩层控制难度加大,区段煤柱受到水的物理化学作用,在开采作用下易发生失稳,造成生命财产损失。因此,开展在采动作用下含水区段煤柱的稳定性研究,对煤矿的安全生产具有重要理论意义和实际应用价值。以实际煤矿开采工作面为背景,对不同含水率型煤试件进行单轴压缩及巴西劈裂实验,利用尖点突变理论与有限元数值模拟分析方法,对采动作用下含水区段煤柱的稳定性进行研究,主要工作与成果如下:(1)通
学位
深度学习的概念一经提出,便引发了人工智能领域的发展狂潮,尤其在自然语言处理领域中,其影响极其深远。对于自然语言处理任务而言,仅依靠传统模型与数据标注结合的方法无法做到语义的精准理解。想要准确深入地理解语义,必须将先验知识融入到自然语言处理任务中。实践证明,知识指导的自然语言处理是未来发展的必由之路。随着研究的深入,知识图谱得到了广泛的应用,尽管如此,知识图谱依然面临着覆盖度不完整等问题。为了提高知
学位
变分推理是计算后验分布的一种常用方法,因其收敛速度快、理论基础扎实,在机器学习中发挥着核心作用。传统变分推理假设变分分布为平均场形式(Mean-field),即隐变量之间相互独立,这种理想化假设虽然可以简化优化过程、提高计算可行性,却忽略了隐变量之间的后验相关性(后验依赖关系),对具有变量相关性的模型来说并不适用。Copula变分推理(Copula Variational Inference,CV
学位
阐述光伏电池在焊接的过程中的电池片、焊接材料、焊接设备、焊接工艺,以及它们之间的匹配影响,以及对焊接质量的影响。
期刊
当前网络上存在着海量的、多源的无结构化文本数据,如何从中快速提取用户感兴趣且有用的内容是亟待解决的问题。研究者们提出使用自动化工具将无结构化数据转化成结构化数据的概念,关系抽取是其中至关重要的步骤之一。根据数据集的标记程度可以将关系抽取分为有监督、半监督、无监督。针对有监督关系抽取即关系分类的相关算法研究有很多,主要集中于使用深度神经网络抽取待分类句子自身的语义特征,且均已取得了不错的性能效果。随
学位