融合注意力机制的小样本分类模型研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:Melissachen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
小样本分类需要在极有限的带标数据中学习新类知识,该类算法可以缓解当前神经网络对数据的过度依赖,是一项极具价值和挑战性的研究。元学习策略在不同任务中学习通用知识,极大提升了机器学习方法在小样本分类中的表现。现有的小样本分类倾向于加深网络或设计复杂的网络结构,仍面临着特征提取能力较弱以及过拟合的问题。受人类的注意机制启发,该文围绕小样本分类网络的中间表示、特征提取以及关系推理三个方面,提出以下三种改进方法:提出基于描述子选择的小样本分类方法。该方法包含无监督描述子选择模块以及特征聚合模块,用于注意目标相关特征并增强元学习特征的中间表示:无监督描述子选择模块通过无监督地定位语义相关区域,选取特征图中的描述子并剔除主干网络提取的无关特征。选择后的特征由任务相关的池化模块聚合,可以进一步地提升小样本分类网络的中间表示质量。在Caltech-UCSD Bird和mini Image Net数据集下不同深度网络的实验证明,提出的方法在获得优秀小样本分类表现的同时,还能用于其他网络模型,进一步提升小样本分类性能。提出基于局部自注意力特征提取的小样本分类模型。在测试阶段,卷积网络的小样本特征提取面临跨域问题,即偏向于提取基类信息,若基类与新类样本特征偏差较大,则无法有效地提取新类的特征。为了增强小样本分类网络提取特征的能力,本文使用基于自注意力机制的特征提取方法,可以在图像局部特征之间建立长距离的相关性,从而比较小样本之间的细节差异,显著减少度量空间中小样本的类内距离,增加类间距离。此外,该文针对小样本任务,加入了层次化模块以及窗口机制以减少网络参数,避免小样本分类网络过拟合。提出融合任务信息的小样本分类关系网络。首先分析了用于小样本图像分类的关系网络的缺陷,并在自注意力提取局部特征的基础上更近一步,利用了小样本任务中蕴含的关系。提出的基于自注意力的Saber Net包含三个模块:融合空间关系的特征提取模块、融合样本关系的原型自适应模块以及融合通道关系的特征对齐模块。Saber Net在三个小样本数据集均获得了当前最优的小样本图像分类准确率,证明关系推理极大提升了网络的小样本分类表现。
其他文献
随着人工智能科技的蓬勃发展,声纹识别逐步受到人们的重视。声纹识别作为生物识别技术的一种,有着很高的商用价值,例如在智能终端、语音助手、人机交互与信息安全等民用及军用领域都发挥着重要的作用。本文分析了深度学习方法在声纹识别领域表现优异的原因,认为在特征提取与融合、损失函数等方面可以做出改进,对改进算法的声纹辨识准确度和模型鲁棒性进行了探讨。本文重点工作和算法创新点如下。首先,因为基于深度学习的声纹识
学位
优化问题广泛存在于工程和科学领域中,其目标是在满足相关限制条件下选择合适的变量,取得目标函数最优值。相较于传统优化算法在求解优化问题时需要函数可导和求解结果依赖于初始值等问题,近年来提出的元启发式算法对目标问题限制少,目标函数可以是可微的或不可微的、连续的或不连续的、有约束或无约束的、凸的或非凸的。帝国主义竞争算法(Imperialist Competitive Algorithm,ICA)是受帝
学位
传统空间金字塔词袋模型未充分利用视觉字典结构信息,导致用于特征编码的视觉字典缺乏显著性和判别力,在特征编码时不同局部特征由相同近邻单词表示,生成完全相同的编码系数向量,产生较大量化误差;在提取特征时,将图像目标区域和背景视为同等重要,导致图像背景信息干扰,同时未充分考虑图像的RGB三通道分量和细节信息,导致图像信息缺失,该模型图像分类性能有待提升。本文从视觉字典编码和提取图像特征方面进行改进,提出
学位
随着我国能源革命的不断推进,日益老化的工业电力架构已经无法满足不断革新的工业电力需求,逐渐暴露出能源利用率低、产能过剩与供给不足并存等问题。为解决上述问题,面向工业园区的新型发配电系统-工业园区微电网应运而生。工业园区微电网具有高度灵活性,交易电价与系统运行方案之间相互作用关系,传统的理论方法难以描述两者之间的互动过程。因此,把博弈论思想引入到工业能源优化调度中显得尤为重要,这能够在保证系统稳定运
学位
信息通讯技术领域对全球教育系统的组织结构带来了深刻的变化,主要影响了学校和家庭的日常教育习惯(传统的教学方法):要求校长、教师、家长和学生等关键参与方以不同的方式去领导、授课和学习。作者观察到一些不良现象:刚果民主共和国的一些农村地区甚至首都,学校课程中使用信息通讯工具仍然被认为是一种奢求。对信息通讯工具投入不足、无网络连接或网费相对较贵、教师和家长缺乏这方面所需的技能和培训等,使得信息通讯工具的
学位
冷轧带钢的生产水平是一个国家钢铁工业发展水平的重要标志。冷带轧机作为生产特种钢、普通碳钢、低合金钢等带钢产品的专用设备,保证其带钢张力恒定和轧制速度稳态精度是解决带钢产品板形板厚品质问题的有效手段。然而在可逆冷带轧机的实际生产中,其左卷取机、主轧机和右卷取机通过带钢挠性连接在一起,三者构成了一个具有多变量、慢时变、强耦合、不确定特征的复杂动态系统,这些给冷带轧机系统控制器的设计及带钢品质的提升带来
学位
2015年北京中鸿信秋季拍卖会拍品“倪瓒《秋林图》”因被裴景福的《壮陶阁书画录》提及,后人便认为该画作是倪瓒的真迹,最终以908万元的高价成交。但经笔者查阅文献、著录资料后发现,拍品“倪瓒《秋林图》”在构图特征、树石画法和款识特征方面存在明显的作伪痕迹。因此,本文将以倪瓒绘画的风格特点和作画习惯为鉴定标准,对拍品“倪瓒《秋林图》”明显的作伪要害进行鉴定,从而揭示这幅画作是赝品。其作伪痕迹主要表现为
学位
轨道角动量(Orbital Angular Momentum,OAM)提供了一种新的自由度,大幅提升了电磁波的信息承载量,近年来已经掀起国内外研究的热潮。携带轨道角动量的涡旋电磁波波前具有非平面结构,使用单个波束照射目标时将形成具有差异性的辐射场激励,提高了电磁波的信息获取能力,有望进一步提高成像分辨率。然而,大气湍流会降低涡旋电磁波的模态纯度,在成像时引入相位误差,导致重建目标散焦。该文旨在利用
学位
目的 研究miR-125b-5p修饰脐带间充质干细胞(UC-MSCs)介导JAK2/STAT3信号通路对系统性红斑狼疮(SLE)的免疫调节作用。方法 UC-MSCs的分离、培养及鉴定;密度梯度离心法分离SLE患者外周血单个核细胞(PBMCs),实时荧光定量PCR检测与各组UC-MSCs共培养48 h后的PBMCs中干扰素γ(IFN-γ)、白细胞介素4(IL-4)、白细胞介素17A(IL-17 A)
期刊
报纸