基于图学习模型和Transformer的小样本学习算法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:zhufutao2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,受大数据和计算能力的驱动,深度学习网络在图像分类领域取得了巨大成功。随着神经网络发展迅速,其深度和参数量不断增加,使得图像分类的精度得到了有效改善。然而传统的深度学习网络需要利用大量的数据进行训练,这导致当数据不充分时,网络的分类和泛化性能急剧下降。这大大限制了深度网络预测新类别的能力,从而使得模型很难适用于少量数据场景下的识别任务。为了解决这个问题,最近几年越来越多的研究者致力于开发新的方法使得深度网络模型在仅拥有少量样本的场景下可以识别出新的类别,这些方法称为“小样本学习”(Few-Shot Learning,FSL)。根据当前主流的研究方向可以分为基于生成的方法,基于元学习的方法,以及基于度量学习的方法。本文着重关注基于图和度量学习的方法,通过对样本与类别之间的相似度计算,对查询样本进行分类。本文在基于度量学习框架的基础上,结合图学习模型与图Transformer方法,给出了两个小样本图像分类模型。主要研究成果如下:(1)图神经网络(Graph Neural Network,GNN)已被成功用于小样本学习(FSL)任务。基于GNN的FSL方法目的是将小样本学习问题转化为图节点分类或边标签任务,从而可以充分地探索支持集和查询集样本之间的关系。然而,现有的工作通常考虑通过节点特征学习的图,忽略了初始成对标签约束,不能保证对于小样本学习任务是最优的。此外,现有工作通常独立学习图边,缺乏考虑不同边之间的一致关系。为了解决这些问题,本文给出了一种新颖的标签引导图学习神经网络模型(LGLNN),用于小样本学习任务。LGLNN的目的是结合标签信息,通过采用成对约束传播来学习GNN的最佳图。LGLNN的主要优点是它可以通过聚合来自相邻边的度量信息来学习每个图边的度量(相似性和非相似性),从而可以协同一致地对所有的边进行度量学习。在小样本数据集上进行小样本图像分类及相关实验,实验结果表明了提出的LGLNN方法的有效性。(2)小样本学习的一个主要挑战是如何对支持和查询图像进行有效的图像表示。最近,基于局部区域的图像表示和度量学习方法已经被证明可以有效地解决小样本学习问题。然而,现有方法通常单独对图像区域进行度量学习,缺乏考虑图像区域之间丰富的空间/结构关系。本文提出通过一种新颖的区域图Transformer(Region Graph Transformer)架构来连接各个区域并探索区域之间的结构上下文。在RGTransformer中,每个区域聚合来自其相邻区域的信息,因此可以获得区域的上下文感知特征表示。使用提出的RGTransformer,本文给出了一种有效的度量学习模型用于小样本图像分类。在几个标准的数据集上的实验表明,所提出的RGTransformer在小样本学习任务中准确率取得了有一定的提升。
其他文献
改革开放以来我国社会经济发展迅速,反映国家宏观经济政策以及各行业发展变化等方面的财经信息受到越来越多的民众关注,人们对于财经类信息的需求渐渐成为了刚性需求,承载着财经信息的媒体也逐渐多元化,基于社会性网络服务的社交媒体成为财经类信息传播推广的主要模式之一。微信公众号从中脱颖而出,借助微信平台的广泛用户基础和丰富的系统功能,各大传统财经媒体与机构纷纷借助微信公众号拓展自己的信息服务范围。财经类微信公
学位
我国老龄化进程加快,失能老人数量不断上升,由此带来巨大的和不断加深的长期护理需求。为长期护理费用分担经济压力和补充失能人员护理服务,发挥长期护理保险具备的优势。为了以主动乐观的心态对待人口老龄化,《关于开展长期护理保险制度试点的指导意见》,拉开试点的序幕。十三届全国人大二次会议,提议增加试点城市的数量。《关于扩大长期护理保险制度试点的指导意见》,增加了14个城市。更好地保障参保人在长期护理方面的多
学位
随着国内全民阅读计划的推出和贯彻,公共图书馆不仅肩负着社会教育的重要责任,因其本身的公益性,所以在推广全民阅读方面具有得天独厚的优势,通过开展各种阅读推广活动,许多公共图书馆将优秀的传统文化传递给社会大众,不断提高读者道德修养以及文化素质。然而当下,对于具体的阅读推广活动质量评价方面的研究并不是很多,为了有效推动阅读推广活动的发展,本文建立了相关评价指标体系,希望对今后的阅读推广活动起到参考作用。
学位
在封建时代,档案作为“国王的权杖”“插入鞘中的剑”成为众多国家掌权者和上层人士记录本阶级历史,影响时代进程的工具。对于广大人民群众而言,档案似乎很少能将他们的心路和声音全面真实地记录下来,总是选择性忽略或者掩盖,导致社会历史记忆出现一定程度的缺失。纸质等传统载体档案记录视角的局限性与时代的主流倾向有着密切关系,随着时代文明的演进,平等、民主等观念逐渐深入人心,也促进了档案观和档案理论的进步。人们慢
学位
腔体滤波器因其拥有高功率容量、低插入损耗、高选择性等优点,被广泛应用于基站通信、卫星通信等领域。但是在腔体滤波器的生产过程中存在调试困难,导致生产成本增加等问题。为了应对这些问题,出现了滤波器的计算机辅助诊断调谐技术,耦合参数的提取是其中的重点。本文基于S2P文件对腔体滤波器的耦合参数提取技术进行了研究。主要工作如下:1.消除耦合参数提取时的相位加载。耦合参数提取过程中,相位加载直接影响耦合参数的
学位
新媒体技术的革新推动着全民阅读向着碎片化时代和注意力经济时代发展,有声读物作为新型数字阅读方式,相较于纸本阅读和电子书阅读,更具伴随性和易读性,成为推动全民数字阅读发展新据点。少儿群体作为推动全民阅读重要对象,培养少儿阅读习惯、打造少儿阅读推广体系是关系到我国公共文化事业兴旺发达的重要战略任务。在这种背景下,安徽省公共图书馆越发关注少儿阅读推广的重要性,通过提供少儿有声阅读服务,引导少儿阅读向着优
学位
在“十三五”全国档案事业发展规划中,档案部门明确提出“档案服务便捷化”这一目标,将其作为档案事业未来发展的方向。规划指出档案馆以及档案机构需紧跟时代发展的浪潮,充分利用互联网等信息技术,改善提高档案馆的服务能力,努力为档案用户提供良好的体验感。改变以往的传统档案服务模式,坚持以人为本,为档案用户提供便捷化的档案服务。本文以省级档案馆为研究对象,通过网络调查法,获悉各省级档案馆为提供便捷化查档服务而
学位
特色资源建设情况和服务情况是一个高校图书馆核心竞争力的体现,我国各类高校图书馆都在纷纷利用本地的地域优势或是学校的学科优势,着手于本校图书馆特色资源的建设。一时间特色资源建设如火如荼的进行,各种特色资源库也应运而生,在特色资源保护方面做出了一定的贡献。但是纵观国内有特色资源的高校图书馆,各馆的建设水平却层次不齐,有的甚至存在较大的差距。特色资源建设情况较好的如北京大学图书馆、中山大学图书馆、武汉大
学位
学位
随着高速电路系统的发展与广泛应用,整个系统的集成化程度越来越高,而由此带来的电源完整性问题也越来越严重。同步开关噪声(SSN)的存在对于整个系统的稳定性会起到极大的破坏性,为了解决SSN的问题,本文提出了两种不同类型的电磁带隙(EBG)结构,并且在结构的小型化设计方面做出了创新性的改进。最后,本文还使用联合优化算法对结构参数进行优化,结构的优化效率得以大幅提升。本文的主要研究工作和创新点可以归结如
学位