基于注意力机制的小样本学习算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:moodlysea
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,人工智能相关研究进展迅速,深度学习算法在众多应用领域中大展身手,取得了许多令人瞩目的成果。为了在特定任务上表现出优异的性能,深度学习模型往往需要依赖大量数据进行长时间的迭代训练。然而,在实际应用中的某些领域,大规模数据的采集和标注成本昂贵,甚至诸如珍稀动物,罕见疾病相关大规模数据的采集几乎是不可能完成的。为了在数据稀少的情况下对深度学习模型进行训练,小样本学习应运而生。在图像分类任务中,小样本学习旨在通过对新类别少量样本的快速学习就可以获得对该类别图像的识别能力。针对小样本图像分类问题,本文主要关注基于度量学习的小样本学习算法,并从注意力机制的角度展开研究,主要贡献如下:在现有的基于度量学习的小样本学习算法中,一般选择同类别有标签样本特征均值作为类别原型表示,并且在度量模块采用一对一的度量模式,缺乏对分类任务整体信息的感知。针对这一问题,本文在关系网络中引入模糊C均值聚类算法,从任务全局出发,聚类生成任务相关的类别原型,使得新生成的类别原型包含任务全局信息。然后在关系网络的度量模块中,提出任务注意力机制算法,用于将分类任务全局信息聚合到输出特征空间维度的每一个位置上,使得度量模块中后续的卷积操作可以获得任务全局信息,从而自适应的对局部连接的特征进行比较。在Mini-Image Net等数据集上的实验结果证明,模糊C均值聚类算法和任务注意力机制的加入使得关系网络的度量学习能力得到了显著提升。最后,本文在关系网络的基础上提出稀疏注意力机制算法,用于将图像中的语义相关特征聚合到局部空间位置,使得后续局部连接的卷积核可以对处于不同空间位置的语义相关特征进行比较,从而克服关系网络的局部连接性问题。我们利用多层感知机为局部位置自适应的生成相关性阈值,并利用阈值实现对全局信息的筛选,从而在聚合语义相关信息的同时,抑制无关信息的干扰。对比实验结果证明,相比较于全局注意力机制算法,本文提出的稀疏注意力机制算法更进一步的提升了关系网络的度量学习能力,使得识别性能进一步提升。
其他文献
圆柏(Sabina chinensis)是常绿针叶植物,作为我国传统的园林绿化树种,具有较强的杀菌保健作用。目前,对圆柏挥发性有机物(volatile organic components,VOCs)的研究多集中在生长期挥发物相对含量的变化,而冬季VOCs的动态变化以及使用绝对含量进行定量的研究尚未见报道。本研究采用顶空固相微萃取法(headspace solid-phase microextra
学位
煤矸石是煤炭开采过程中排放量最大的工业固体废弃物,其大量堆积导致土壤结构破坏、生态环境污染等问题的发生。植被恢复是矿区生态恢复与重建的主要措施,水分作为植被生长发育的重要限制性因子之一,对复垦区土壤水文生态效应研究有助于矿区土壤水分管理和植被恢复。本文以阳煤五矿煤矸石复垦区为研究对象,通过野外实地调查、样地选择与布设、采样及分析相结合的方法,结合不同植被类型下土壤理化性状、土壤蓄水性能和枯落物层持
学位
目的:分析临床药师参与抗菌药物科学化管理(antimicrobial stewardship,AMS)干预前后对创伤外科Ⅰ类切口患者围手术期预防用抗菌药物的影响,为Ⅰ类切口手术患者围手术期用药提供参考。方法:南通大学附属第三医院2021年全面整治干预创伤外科Ⅰ类切口患者围手术期预防用药,为了解AMS效果,抽取AMS干预前(2020年1月—12月,为干预前组)创伤外科Ⅰ类切口手术患者病历1 070例
期刊
随着绿色发展逐步成为我国发展的主流,沥青路面再生技术成为热点。但由于目前再生沥青混合料设计方法依据的融合理论不完善,新旧沥青融合实际状态无法确定,导致无法对再生沥青混合料设计进行精准指导。因此,确定表征新旧沥青融合程度与扩散均质化情况的指标,解析新旧沥青扩散、融合的过程,并进一步预测长期扩散中融合程度的变化情况,精准指导沥青混合料再生,对再生技术的发展和提升再生沥青道路品质有重要意义。采用激光扫描
学位
我国70%以上的公路在冬季会受到冰雪天气的影响,路面结冰会使路表与轮胎的附着系数大大降低,存在严重的安全隐患,冰雪天气对人民安全和道路交通影响巨大。传统除冰雪技术如人工除冰雪、机械除冰雪和撒布融雪剂难以满足高效除冰雪和环境友好的要求,由于蓄盐沥青混合料技术能较好地克服传统除冰雪技术的不足,近年来受到越来越多的关注。针对蓄盐沥青混合料技术中的亟待解决问题开展研究,重点研究蓄盐抑冰剂的制备工艺优化、载
学位
活立木的死亡是森林生态系统稳定和发展必经的生态学过程,是森林生物多样性维持和森林动态演替的重要环节。因此,对活立木死亡动态及成因的研究可为认识云杉天然次生林树木死亡机制提供理论依据,并为云杉天然次生林地死亡木管理对策的科学制定提供科学参考。本研究以我国山西关帝山庞泉沟自然保护区4 hm~2云杉次生林样地2010年和2015年两次调查数据为基础,利用单变量成对相关函数和双变量成对相关函数对枯立木空间
学位
AP2/ERF家族被认为是植物发育和应答胁迫反应中最大的植物特异性转录因子之一。为了探索PtaERF194转录因子在耐旱方面的潜在功能,本研究以高抗逆性‘717’杂交杨为材料,培育了过表达(PtaERF194-OX)和抑制表达(PtaERF194-RNAi)转基因株系。利用形态学和生理学方法对比分析了转基因植株和非转基因植株(WT)的株高、导管、水分利用效率(WUE)、栓塞(PLC)和叶绿素含量。
学位
“以人为本”“绿色发展”是道路建设工程的重要发展方向。添加净味剂减少沥青混合料在生产与施工过程中有害气体的排放是目前研究热点之一。沥青烟气排放受不同工况条件影响,目前试验室与现场缺少规范的沥青烟气采集与评价方法,导致各类沥青烟气减排技术所报道的数据无法比较分析。研究基于隧道现场施工条件,提出了现场沥青烟气采集与评价方法,量化分析净味沥青混合料减排效果。最后,基于不同工况条件,研发了室内沥青及混合料
学位
树木生长规律与林分结构是森林恢复与管理中的重要研究内容,会影响森林的健康发展和生产力等。中条山栎类因早期不合理经营和采伐而遭受严重破坏,亟待开展科学经营,但目前没有关于该地栎类树种生长特征及林分结构等方面的研究报道。因此本研究将以中条山林区栎类中的辽东栎为研究对象,通过样地调查、优势木树干解析、不同自然环境下辽东栎幼苗生长对比以及林分结构分析,探索单木和幼苗生长规律,以及林分结构对生产力的影响。研
学位
报纸