基于注意力机制的深度学习研究及图像分类应用

来源 :西南大学 | 被引量 : 0次 | 上传用户:seedvs18606
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工神经网络(Artificial Neural Network,ANN)的问世,机器学习领域得到了里程碑式的发展,最具代表性的则是计算机视觉。在计算机视觉任务中,卷积神经网络(Convolutional Neural Networks,CNN)是最核心的技术,其精简的结构为人工神经网络提供了各种便捷的计算方法,成功解决了各种复杂的图像处理任务存在的问题。为了在视觉任务中能描绘出复杂边界,充分探索特征分布对发挥CNN的潜力是至关重要的。针对计算机视觉任务的研究,本文对CNN的特征描述进行了探索。图像分类任务作为计算机视觉研究的热点话题,是图像分析与处理的重要环节。主要是在给定图像的集合中,根据每张图片的特征找到与其相符的特征类别,并将其归类的过程。科研人员们对CNN的探索逐步深入,在各项的图像分类任务研究获得了飞速的发展。然而,目前的研究大部分专注于设计更深层的架构,而很少探索特征统计。为解决这一问题,本文对深层的特征描述展开研究,并针对CNN设计了可嵌入式的网络结构补充,主要研究内容如下三方面:(1)基于传统的卷积神经网络,本文提出并实现了一种一阶池化和二阶池化相结合的注意力模块。该注意力模块适用于任何前馈卷积神经网络,并可以进行端到端的训练,强化了图像特征表示,从而在图像分类任务上获得了更高的精度。这一方法利用对图像的一阶特征以及二阶特征的提取,并分别集成于在特征图的空间以及通道维度,两种提取特征的方法结合使用生成注意力权重对原输入的特征图进行重新校准,实现自适应特征细化。特征信息进行融合后新获得优化后的特征图拥有更显著的特征,更利于图像分类。本文通过将这两种注意力子模块进行了不同搭配,经多组实验验证了这一方法的有效性。通过在CIFAR-10数据集和CIFAR-100数据集进行图像分类实验和消融实验,以及在MS COCO数据集上进行目标检测的对比实验,使用各种基线网络架构进行了大量的实验对比,并通过广泛的消融实验来验证其有效性。实验结果表明,结合一阶和二阶提取图像特征的方法,并将其集成于不同网络中可以获得更精准的特征表示,从而使模型拥有更高的准确率。(2)在证实了集成注意力机制对特征强化的有效性的基础上,本文提出一种自适应的多尺度卷积的注意力模块。该模块使每个神经元根据输入的特征信息经过多个分支,利用不同大小的卷积核对其进行卷积,从而可以提取到多个尺度的特征信息。在该模块中,多个具有不同大小的卷积核分别代表不同的分支,经过每一个注意力分支的特征图被注意模块“加工”成为具有特征更加鲜明的特征图,最后进行特征融合获得优化后的特征。分类结果表明,利用多尺度卷积核分支的注意力模块有更好的泛化性能,从而提高分类的准确率。通过将此方法在CIFAR-10数据集和CIFAR-100数据集进行图像分类实验和消融实验,使用各种基线网络架构进行了大量的实验对比,实验结果表明,多尺度卷积的注意力模块集成于网络中可以获得更精准的特征表示,从而使模型拥有更高的准确率。本文讨论了经典深度学习模型的一些不足,并对其进行改进。为了验证模型的性能,本文将多种改进后的模型应用于不同图像数据集进行实验,本文的工作对今后利用深度学习模型解决图像分类任务具有一定的参考意义。
其他文献
近代信息技术的爆炸式发展以及数据量的激增导致传统的集中式优化理论和方法愈加难以适用于如今大规模、分布式的数据架构。因此,去中心化、分布式理念的提倡,使得越来越多的学者们关注于分布式优化领域并提出了许多优异且经典的分布式算法。分布式优化方法同传统集中式优化方法最大的不同就在于其将一个大规模优化问题分为众多子问题进行求解,每一个子问题依托于一个实际的智能节点,节点之间只需要通过和邻居节点的交互即可求解
学位
在深圳地区引种狭叶薰衣草、阔叶薰衣草、大甜薰衣草、西班牙薰衣草、羽叶薰衣草、齿叶薰衣草等6种薰衣草,对其栽培适应性、生物学性状和繁殖特性等方面进行分析,以探讨6种薰衣草在深圳进行栽培应用的可能性。结果证实:薰衣草在深圳地区室外栽培无法顺利越夏,实现多年生。但羽叶薰衣草可作为一年生草本植物在深圳地区进行观赏种植,阔叶薰衣草作为一年生植物栽培也可用于观赏和干花制作,齿叶薰衣草和西班牙薰衣草则具有盆栽造
期刊
为及时发现电能计量异常,减少电力企业和用户损失,提出基于计量自动化系统的电能计量异常诊断技术。利用面向服务的体系架构设计对应计量自动化系统,将系统分为数据采集、信息交换、业务处理等层次,建立整体架构;设置系统档案管理、预警管理、实时抄表等功能;在系统中引入均值聚类算法,根据采集的大量历史计量信息,建立时间序列重构计量信息,填补缺失数据;使用相对邻域信息熵算法,结合目标样本权重,计算异常数据在全域中
期刊
阅读是高中英语教学中的重要内容,也是学生今后生活和工作不可或缺的一部分。就目前的英语阅读教学来看,大部分老师的教学模式单一,教学内容仅局限于教科书,阅读课堂也以老师为中心,学生缺乏自我展示、独立阅读、讨论、辩论、合作学习、表达自己观点的机会。针对目前高中英语阅读教学和学习的现状,作者将“文学圈”这一新颖的教学模式引入到高中英语阅读课堂当中。本文作者以合作学习理论、克拉申输入假说理论、建构主义理论和
学位
机器嗅觉已被广泛用于气体的识别与检测。机器嗅觉系统利用气体传感器获取气体数据,经过预处理和特征提取的气体样本被分类算法识别。气体数据的特征提取和识别算法对气体的识别起着重要作用,通常气体样本的稳态响应等特征会被提取出来,如果特征维数过多,还需对特征做降维处理,然后用机器学习算法对这些气体样本的特征进行识别和分类。一些机器学习算法已经在气体识别领域取得了很好的效果,而神经网络模型和传统的机器学习算法
学位
随着自媒体时代的来临,越来越多的人通过社交网络表达自己的见解。在社交网络上每时每刻都有无数新的图像信息被发布,这些图像信息承载着发布者的情感状态。在如此庞大的图像资料面前,研究如何从这些图像中获得所需资讯是非常有意义的事情。图像分析也从一开始识别图像中的直观信息,如图像中有什么,进一步的发展到了情感理解层面,即识别图像中所包含的情感信息,也称为图像情感计算。图像情感计算中一个重要的研究内容就是图像
学位
数据信息安全对于人们的信息交流至关重要。而图像数据是数据信息的一种最常见的形式,其包含的信息量大,且在传输或存储的过程中都可能出现非授权的访问、篡改以及破坏等安全问题。同时,图像数据在传输时往往包含了大量的不必要冗余,对其进行数据压缩可有效降低数据空间和提高传输效率。近年来,压缩感知加密因为可同时对数据进行压缩和加密,且加密过程的计算成本相对较低而受到学界的关注。另一方面,激光混沌作为一种新型的混
学位
在语文教学过程中,阅读是必不可少的一环。而文学类文本作为阅读教学的重点内容,是发展学生创新思维,提高审美品位的良好载体。但在目前的教学中,学生对文章的认识和思考还不够透彻,欣赏评价能力较为薄弱。“陌生化理论”最早由俄国形式主义创始人什克洛夫斯基提出,是俄国形式主义的重要理论之一。将陌生化理论引入到初中文学类文本阅读教学中,能够为阅读教学提供新的研究视角与方向。本论文以陌生化理论为研究视域,聚焦初中
学位
改革开放以来,随着国民经济和工商业的迅速发展,电能的需求量越来越大。大量负荷介入导致电力系统的发、输、变、配、用等环节变得越来越复杂。电能具有即发即用的特性,难以大量储存。电力系统需要根据电能需求安排发电机组启停计划、电力调度计划、电网运行计划等。精确的负荷预测不仅可以降低电力系统的运行成本,还可以提高电力系统的调度效率。根据负荷预测的目的和周期不同,可以将其分为四类:长期、中期、短期和超短期负荷
学位
版面分析是一种对文档图像中文本段、表格、图片等区域进行定位与识别的技术,它是文档智能化系统中如光学字符识别系统、版面理解等环节的基础,版面分析结果的好坏直接影响到文档智能化系统输出结果的正确与否。在众多文档版面中,中文合同文档因为排版布局的多样化使得其相较于其他文档的版面分析过程更为复杂,因此需要针对中文合同文档的特点设计出一套适合中文合同文档的版面分析系统。本文针对中文合同文档版面分析系统中的预
学位