基于可微分架构搜索的小样本图像分类研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:zy_landicorp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络在图像识别领域取得了巨大的成功,但其训练过程通常需要海量的带标注样本。然而,收集大量标注样本的成本十分昂贵,尤其是在稀有物种识别或医疗影像诊断等场景中。因此,小样本图像分类已成为深度学习发展中十分重要的研究课题。为了缓解标注样本不足导致的模型过拟合现象,现有方法大部分利用结构简单的人工卷积神经网络来提取图像特征。然而,这些网络只包含标准卷积操作,参数量多,模型复杂度高,特征表达能力不足,难以提取全面的高层语义特征,影响小样本分类效果。可微分架构搜索(Differentiable Architecture Search,DARTS)是神经架构搜索的主流实现方法之一,能够基于梯度的优化方法高效地自动学习适用于目标任务并且迁移学习能力强的网络结构。本文旨在对DARTS的搜索流程进行改进,利用架构搜索的方式构建复杂度低且特征提取能力强的模型来提升小样本分类效果。本文从两个方面设计了搜索流程。在搜索空间中,本文引入了参数量少的空间可分离卷积来替代Zero操作,从而让每个节点有足够多的输入来保证节点间的信息交互,并在卷积操作中加入了分组的思想来进一步降低模型的复杂度。在搜索策略上,提出了基于Drop Block的搜索空间正则化方法来解决skip-connect操作富集问题,并提出了基于池化操作的早停策略来降低搜索时间。通过在小样本图像数据集CUB上的端到端搜索,最终得到了一个性能优异的小样本图像分类模型FSLNet。在FSLNet模型基础上,本文提出了多种有效的改进措施来进一步提升小样本分类性能。首先,考虑到常规卷积神经网络跨域泛化能力的不足,在模型中引入了IN与BN联合的标准化方法。然后,为进一步增强模型对图像中有效特征的表达能力,提出了一种局部和全局特征融合的空间金字塔自注意力机制(Spatial Pyramid Self-Attention Mechanism,SP-SAM),得到了一个性能更加优越的FSLNet Plus模型。最后,针对标注样本不足导致的过拟合问题,引入了自动化数据增强正则化方法。实验结果表明,FSLNet模型在多个小样本图像数据集上取得了显著的效果,经过优化后得到的FSLNet Plus模型在多个数据集上达到了目前最好的性能。
其他文献
煤电作为我国基础性能源产业,为我国经济发展和国民生活作出了巨大贡献,但煤电产业同时也因高排放、高污染、高耗能的特性对环境造成极大损害。中国经济进入新常态后,着重强调在发展经济的同时对环境的保护,要坚决杜绝以牺牲生态环境为代价换取经济发展。为此,国家先后出台“碳交易”、“去产能”、“双碳战略”等政策控制煤炭产能及碳排放量。2020年初疫情在全球爆发,多数国家因疫情反复导致经济发展缓慢,在党和政府的正
学位
垃圾焚烧飞灰中因含有大量重金属、可溶性氯盐以及二噁英等有害物质,被《国家危险废物名录》列为危险废物。烧结处置因其减容减重、挥发重金属的优势受到广泛关注。然而,目前的焚烧飞灰烧结研究以添加氯化剂促进城市生活垃圾焚烧飞灰重金属氯化挥发为主,不同类型垃圾焚烧飞灰基础特性及烧结过程重金属氯化挥发机制研究尚未进行。本文以城市生活垃圾焚烧飞灰(Municipal Solid Waste Incineratio
学位
强场高次谐波产生是获得深紫外-X射线波段相干辐射的重要技术手段。基于谐波获得的桌面式短波光源,在某种程度上实现了以往依赖大科学装置(如同步辐射、自由电子激光等)才能提供的实验条件。极紫外波段的光子能够使大部分原子分子发生单电离、双电离,甚至多电离,为研究原子分子的超快动力学过程提供了有利的技术方案。本论文通过基于气体高次谐波产生的极紫外光源结合光电子速度成像装置,研究了He原子的光电离。通过使用飞
学位
零价铁价格低、环境友好,但零价铁表面钝化降低其反应活性,成为制约其实际应用的瓶颈。零价铁硫化改性可克服零价铁表面易钝化、比表面积小等缺陷从而提高其反应活性。目前,现有的零价铁硫化工艺(水合法)流程复杂,且会产生合成废水导致二次污染。本文利用硫化亚铁和零价铁球磨合成硫化零价铁,详细探讨了球磨条件对零价铁硫化的影响,优化球磨参数,通过简单的合成方法获得了高性能的硫化零价铁,并将其用于过硫酸盐活化以高效
学位
随着自由电子激光技术的发展,用超短超强的极端紫外光脉冲实验探索多电子动力学及电子关联是原子分子物理的研究热点。通过对多电子关联效应的研究,对理解超导电性、分子结构和化学反应等许多现象至关重要。氦原子的双光子双电离(TPDI)是最简单的多电子关联系统。利用我们开发的多电子全维量子数值模拟程序,我们研究了超强超快激光与氦原子相互作用过程的双电离现象,探讨了双电子体系的电离过程及其电子关联效应。我们讨论
学位
随着大数据时代的到来,互联网中涌现了大量文本信息。为了挖掘海量文本信息的价值,研究者们提出了一系列自然语言处理任务。词语作为文本的基本单元,建立有效的词表示是各种自然语言处理任务的基础。词向量技术能够有效地建模词与词之间的语义关系并提高下游自然语言处理任务的性能表现。虽然现有的词向量方法取得了巨大成功,但是已有的词向量提取方法在大词表词向量提取问题以及新词词向量提取问题上都存在计算效率低的问题。因
学位
各类含氮废水中,含较低氮浓度尾水的高效低碳脱氮一直是水处理领域的重点和难点。厌氧氨氧化(ANAMMOX)作为一种低碳低能耗的新型生物脱氮技术,受到了大量学者的研究和关注。本研究围绕在低氮浓度尾水的ANAMMOX处理中脱氮效率低、稳定性差、环境抗性差以及实际废水存在有机物干扰等问题,采用两级升流式厌氧生物膜反应器,考察两级ANAMMOX工艺处理低氮浓度尾水实现深度脱氮的可行性,分别研究了Fe2+、有
学位
知识图谱是一种高效的知识表达模型,是由节点和边构成的网状结构,是一种描述客观世界的数据结构。与传统的信息管理方式相比,知识图谱能够帮助人们更快速有效地获取所需知识间的逻辑关系,有利于知识间智能推理的实现,对于许多下游应用至关重要。电子元器件是电子元件和小型的机器、仪器的组成部分,本身常由若干零件构成,包含多种封装和性能等属性参数,其知识结构复杂,知识广泛且量大,潜在的关联知识难以被挖掘。针对电子元
学位
当原子分子中的束缚电子在高强度的近红外激光辐照下时,它们会以驱动激光频率的整数倍频率向外发射高频辐射,发射的光脉冲可以到达电磁波谱的极紫外和软X射线区域。由于发射的频率很高并且限制在驱动场频率的整数倍,这个过程被称为高次谐波的产生。在给定单色线性极化驱动场的情况下,P.B.Corkum等人提出了该过程公认的半经典模型,又被称为“三步模型”,它将高次谐波的发射分为三个主要过程:电离、加速和复合,并给
学位
飞秒强激光与原子分子的相互作用是当前研究的前沿和热点之一。当激光电场强度可与原子内部库仑场相比拟时,产生了很多新奇的非线性物理过程,里德堡态激发作为新的强场物理过程受到了广泛关注。与之前的粒子探测相比,光谱测量的方法可以分辨量子态以及其产率随时间演化,对强激光场中里德堡态激发的产生机制的理解是一个很好的补充。强激光场中原子分子的辐射特性有助于深入认识飞秒激光等离子体的形成和性质,具有重要的研究意义
学位