基于注意力机制的图像分类深度学习方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:wcjlb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分类是对于给定的图像,在一组类别中找到与其相符的类别的过程。图像分类是计算机视觉中的重要研究方向,也是很多其它视觉任务的基础。近年来,随着深度学习的应用,图像分类研究获得了快速发展,诞生了一系列经典模型。但包括细粒度图像分类和室内场景分类在内的一些问题,仍是图像分类中的难点,这些问题具有类间差异小、类内差异大、图像主体物体不突出等特点。视觉注意力机制可用于关注图像中的重点区域,在上述任务的研究中得到了广泛的应用。不过,目前视觉注意力在图像分类中的应用具有一些限制与不足之处,包括注意力权重维度单一或较少,提供的注意力信息有限;注意力作用于特征的方式较为直接;使用硬性注意力,难以端对端训练等。本文针对这些问题,面向细粒度图像分类和室内场景分类等图像分类难点任务,提出了一系列基于多通道视觉注意力的可端对端训练的深度图像分类模型,并做了相应的分析。具体研究内容包括以下几点:首先,本文提出并实现了一种利用卷积层激活输出获取多通道注意力的图像分类模型。这一方法中提出了多通道的注意力结构,多通道的注意力权重图在归一化的图像特征的基础上经卷积等操作得到。对于注意力融合部分,提出了减去注意力对应的特征均值的融合方法,以获得图像特征的高阶信息。在注意力融合后得到图像的高层特征表示向量,可用于分类。这一端对端的图像分类模型在细粒度图像分类和室内场景分类的多个数据集中均取得了超过此前领先方法的优异结果。其次,本文提出并实现了一种利用对图像中部位进行检测获取注意力机制的细粒度图像分类模型。这一方法为了进一步提高模型对图像重点区域的定位能力,利用细粒度图像分类数据集提供的部位标注信息,训练基于全卷积网络的图像检测模块。在检测网络中,输出的特征图对应于图像相应位置的检测结果,同时也作为多通道的注意力权重。这一多通道注意力权重可与图像低层特征融合用于得到图像类别,构成端对端细粒度图像分类模型。在实验中,基于部位检测的注意力机制模型的分类性能获得了进一步提升,同时也具有良好的部位检测能力。最后,本文提出并实现了一种基于多层次多尺度特征的注意力机制场景图像分类模型。这一模型针对室内场景分类的特点,在注意力机制的框架下,对不同层次和尺度的特征进行利用。在模型中,使用不同数据集中预训练的卷积网络得到不同层次的特征,使用不同尺寸的输人图像得到不同尺度的特征。两组不同层次、不同尺度的特征分别对应于注意力权重和图像低层特征,使用双线性池化进行结合,得到图像的高层表示。实验结果显示,这一方法在室内场景分类任务中分类性能取得了提升。
其他文献
疫情之下,云综艺成为节目的自救手段,但云综艺的“先天不足”导致他很难持久的成为综艺市场的新生 态。疫情之后,我们要思考的是媒体如何要在复杂情况下,快速反应,高效执行,
心理健康是德育工作的一个重要课题。目前,中学生的挫折容忍力普遍呈较低水平,仅有一次评优落选就一蹶不振、一场球赛不胜就歇斯底里、一次考试失利就精神错乱的例子屡有所闻,因此,挫折教育更成为一个亟待解决的问题。    一、挫折的含义及中学生产生挫折的原因    在心理学上,挫败是指一种情绪状态,其定义为当个人从事有目的的活动时,在环境中遇到干扰和阻碍,其动机不能满足时的情绪状态。人的需要产生动机,动机引
对潜江凹陷王场地区5口井9块流体包裹体样品的荧光观察,4口井4块样品显微测温、测盐、激光拉曼、荧光光谱等系统分析结果表明,该地区潜四上段砂岩储集层共经历了6次热流体活
海洋渔业具有明显的季节性和高风险性,准确把握渔业发展的阶段性特征和实践要求,深刻理解每个阶段的本质,对于做好管理工作尤其重要。文章从三种常见阶段性工作着手,谈了落实
近日,江苏省"校校通"工程招标采购落幕,包括浪潮、TCL和方正等在内的PC厂商,获得高达近3亿元的PC采购总额,其总量逾14万台的采购规模也成为近期国内教育市场较大的一次招标项
目的比较直肠肛管周围脓肿Ⅰ期根治术与切开引流术的临床效果。方法选取2016-06—2019-05间在泌阳县第三人民医院肛肠科接受手术的86例直肠肛管周围脓肿患者,根据不同手术方
“文似看山不喜平”。同样,地理课堂教学也不喜欢平铺直叙、千篇一律。我们可以从有关作文的写作知识中得到启发,来改进我们的课堂教学,解放教学思想,防止思维定势    一、“顺叙”在地理教学中的运用    顺叙,即按照事情发生、发展、结局的顺序组织材料。在地理课堂教学中表现为,按照教材内容的先后顺序,由浅入深、由易到难、由外延到内涵、由理论到实践的教学方法。这种教学方法适用于教材的概论章節,尤其是理论性
工作以来,我一直担任着园内的兼职英语教学工作。回顾自己这一路走来,从开始的毫无头绪到现在的渐入佳境,毫无疑问,是它——现代教育技术,给我的英语教学带来了新的气象,让我的英语教学变得越来越轻松。    一、利用现代教育技术,激发幼儿学习的兴趣,实现英语教学的基本目标    兴趣是最好的老师,只有激发起幼儿对英语学习的兴趣,才能提高幼儿英语教育的效果,使幼儿乐学、好学。记得一开始接触英语教学时,我只是
2010年11月16日,吐哈油田采用TAP压裂新技术,使原本没有产量的吉深1井喜获工业油气流,日产天然气稳定在1.2×104 m3.这也是此项技术在吐哈油田的首次应用。
本文对立足于游戏精神的幼儿园课程游戏化建设展开分析,并提出相关策略。