基于注意力机制外部约束的小样本学习算法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:why_2213
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近来随着机器学习和深度学习技术的日臻成熟,计算机技术在许多领域都产生了广泛的应用。特别是在卷积神经网络的加持下,深度学习方法在图像分类任务中展现了巨大的潜力。通常图像分类任务的完成很大程度上依赖于大量数据的支撑。然而对于应用在现实场景中的数据集来说,它们的标注成本非常高昂,而且不易大量收集。因此只针对少量数据就能使任务得到很好效果的小样本学习已然成为当下研究的热点。小样本学习的主要目标是通过少量样本数据,训练出一个泛化性能良好的网络模型。目前小样本图像分类任务大多通过特征提取器和分类器共同完成。但在数据稀疏的情况下,提取图像级别的特征会使得图像信息得不到充分表达,特征提取网络更难以训练;若对提取的特征直接进行度量分类,将难以捕捉类内特征的重要程度及关联性,进而导致分类性能降低。以上方法均不能很好地适用于小样本场景。因此本文选取深度局部描述符作为特征嵌入的结果,从设计局部特征间的度量模块、特征注意力学习、外部约束度量算法,这三个方面及其关联性进行深入研究。本文的主要工作及创新如下:首先,设计距离度量模块。对于提取到的较为细致精确的局部特征描述符进行归一化处理;再基于最近邻算法直接选取基于实例的度量方式,通过比较查询样本与支持样本局部描述符间最接近的欧式距离,设计特征间的度量方式。这不仅可以更直观的量化局部特征描述间的差异度,其计算的复杂度也在网络模型的负荷之中。其次,引入注意力机制。为了使查询集样本的特征得到更好的表达,减轻冗余信息对分类结果的影响,通过计算查询样本的局部描述符向量的通道平均值,从而得到对应局部描述符的注意力权重。此权重值通过学习自主获得,并不在网络中引进新的参数。这使得模型在不产生过拟合可能的同时,也可以很好地区分出查询样本局部特征间的重要程度。最后,提出了基于注意力机制外部约束的算法模型(简称MACEA)。独特地将查询集样本所得到的注意力权重,以外部运算的形式附加到相应局部特征描述符的距离度量之间。以查询样本局部特征间不同的重要程度,合理地约束了度量模块的计算。从而使得任务的分类性能更好,进一步提升网络模型的学习水平。小样本分类实验是在miniImageNet数据集上进行的;细粒度分类实验分别在Stanford Dogs、Stanford Cars和CUB-200这三个数据集上展开。除此以外,本文还进行了消融实验。类比于相同设置下的其它网络的结果,本文提出基于注意力机制外部约束的算法模型有着更好的表现,有效地提升了图像分类任务的准确率。可见在样本较为稀疏、图像差别更为细微时,本论文的模型更加的有优势。本文方法的合理性和创新性也得以证明。
其他文献
2020年,中国有超过1/4的就业人口属于工薪阶层,是中国劳动力人口的主力,也是经济可持续发展的动力。2021年8月,中央财经委员会召开第十次会议,研究促进共同富裕的问题。缩小企业主与工薪阶层收入差距、不同工种之间的收入差距、提高工薪阶层平均收入、确保工薪阶层退休生活质量是实现共同富裕的重要路径。对银行而言,工薪阶层客户无论从客户数量还是资产占比上,都具有十分重要的战略地位。本文以S银行工薪阶层客
学位
随机现象在自然界和日常生活中是普遍存在的,随机微分方程的相关理论为随机现象的建模,分析和预测提供了基本的思想.事物运动的周期性是自然界中最基本的现象之一,因此研究随机微分方程的周期解是随机微分方程研究领域中的一个重要问题.本文主要研究随机微分方程依分布周期解的有限元近似.本文共包括五个部分,在绪论部分阐述了随机微分方程周期解的研究背景、研究现状和本文主要研究内容.第二部分介绍了随机微分方程及其依分
学位
近三十年,中国发生着翻天覆地的变化。经济持续高速增长,基础设施发展迅猛,城镇一体化稳步推进,以及人民对美好生活的追求,这促成了中国电梯行业的快速成长。从初期的电梯使用靠进口到新世纪的民族品牌自主创新,中国电梯的生产和消费已稳居全球电梯市场榜首。短短十年,中国电梯制造企业从渠道销售市场转入电梯产品全生命周期的服务型企业再到为客户提供电梯数字化解决方案,推进楼宇智能化升级,每一步都彰显中国特色、企业自
学位
在图像处理,机器学习等领域中,有很大一部分问题可以建模为带有线性等式约束、具有变量可分离等特点的凸优化模型.随着大数据时代的到来,样本数量与维度呈现爆炸式增长,使得求解该类问题的难度急剧增大.交替方向乘子法充分利用变量可分离的特点以及各个函数的性质,通过交替更新变量,将问题的难度分散在每个子问题上,因此在大规模优化问题及分布式计算系统中获得了广泛的关注.本文从以下两部分内容分别对交替方向乘子法进行
学位
本文研究的美式利差期权是一种基于两个标的资产的彩虹期权,它的定价模型可以由二维无界区域上的抛物型变分不等方程来描述,也是一个二维自由边界问题.基于降维变换,远场截断技术,自由边界的先验估计,以及一些变量替换,我们将原始定价模型转换为一维有界区域上的抛物型线性互补问题(LCP),并给出了其对应的变分问题(VI).进一步,在时间和空间方向分别采用有限差分法和有限元方法进行数值离散,并给出收敛阶估计.接
学位
作为导致死亡的主要癌症之一,结直肠癌(Colorectal Cancer,CRC)的早期诊断与预防对降低病人死亡率有着重要的意义。在CRC的多种诱因中,大肠侧向发育型肿瘤(Laterally Spreading Tumor,LST)是一种常见的癌前疾病,但当前对LST的诊断仍存在很多困难。如早期的LST病灶很难通过结肠镜检查发现以及LST病灶的特殊形态易导致内镜医师的漏检或误检。因此在传统仅依赖内
学位
作为中国领先的城市发展服务商,T公司涉及到的业务范围包括住宅开发、城市更新、产业运营、商业运营、社区服务、未来教育等领域。随着企业的不断壮大和发展,T公司广州公司成立于2015年,经过6年的发展,销售额不断提升,企业规模不断壮大,区域版图不断扩张。T公司自2017年开始进行营销管培生-新精锐项目的校招活动,在此基础上建立了一定的人才管理模式,而此模式是专门针对于营销管培生的,这项模式在四年后取得了
学位
虹膜识别技术是指基于生物体眼中虹膜区域的图像特征来判断该生物体的身份信息的生物特征识别技术。虹膜是眼中瞳孔与白色巩膜之间的环状部分,包含了随机组合的复杂斑点、条纹、冠状等纹理特征,使得不同个体的虹膜几乎不可能一样,而且这些随机组合的复杂特征一旦形成就终生不会改变,也很难被伪造。由于虹膜特征的唯一性、稳定性、防伪性,虹膜识别技术被认为是最为精确可靠的生物识别技术之一。目前虹膜识别技术不仅被广泛运用于
学位
许多实际问题都可以归结为从大量的数据中准确高效地重构出目标函数.这是一个典型的不适定问题.正则化方法是一种广泛应用于求解该问题的方法.该方法可以降低噪声对重构函数的影响.对于不同的问题,我们所侧重的函数性质不同使得我们选择不同的正则化项解决问题.本文将针对正则化问题的两方面性质进行研究.一方面,我们考虑lp范数正则化方法,研究当p趋于1时正则化问题的解的稀疏性变化.通过数值实验发现,当p趋于1时,
学位
随着我国人们生活水平的提高、房地产市场的发展,房地产市场正以日新月异的速度发生着改变,中国房地产从无到有,到黄金20年,到如今白银年代。2018年起,地产史上历史最长、政策最严的调控开始,白热化竞争、价格战、利润被挤压等现象频现,很多房企纷纷面临倒闭。目前,房地产闭着眼睛赚钱的年代已经远去。如何提高自身核心竞争力、产品竞争力、服务等,变得更加重要。而就企业自身竞争力而言,产品营销必不可少,这就促使
学位