基于多尺度特征融合与增强的细粒度图像分类方法研究

来源 :浙江科技学院 | 被引量 : 0次 | 上传用户:hj12141
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
细粒度图像分类是计算机视觉领域中一个非常热门且具有挑战性的研究课题,在工业界与学术界都有着广泛的研究需求与应用场景。在实际生活中,识别不同的子类别存在着巨大的应用需求,如:智能零售场景下的商品识别、公共安防场景下的车辆识别、危险品检测和识别、生物多样性监测等,特别是在智能新经济和工业互联网的产业应用中展现出巨大应用价值。但目前细粒度图像分类任务的主要挑战是类间差异小和类内差异大的固有属性,具体包含以下几点:(1)训练过程中会存在细节纹理的丢失问题;(2)不显著但同样具有区分性的特征无法得到充分挖掘;(3)细粒度图像数据集中存在较为复杂的背景噪声;(4)主干网络不同卷积层提取的不同特征无法得到有效融合等。本文将针对以上挑战对细粒度图像分类展开一系列的分析与研究。基于特征增强与特征融合思想,本文提出两种通用模型,均可从不同角度解决上述问题,以提高细粒度图像分类的准确率;此外,本文通过剖析两个模型所用方法,将两个模型的优势方法融合进一个集成模型中,从而进一步提升细粒度图像分类的性能。本文的主要工作如下:1.针对细节纹理丢失和区分性特征难以挖掘的问题,本文提出了一种渐进式训练的互补特征提取网络模型(Progressive Complementary Feature Extraction Network,PCFE-Net),具体包括:(1)一种多尺度渐进式训练方法:将不同尺度的随机拼图图像进行多步骤渐进式训练。这能够使网络提取到多粒度的局部特征信息,并随着训练的推进将注意力逐渐扩展到全局结构信息,以进行多粒度信息融合。(2)一个即插即用的特征互补增强模块(Feature Complementary Enhancement Module,FCEM),它能够显式的增强当前层网络提取到的特征,同时还能使下一层网络提取潜在的互补特征信息。该模型在四个细粒度图像基准数据集上进行了各项实验。2.针对复杂背景噪声干扰和层间特征融合效果不佳的问题,本文提出了一种显著性特征抑制与交叉特征融合网络模型(Significant Feature Suppression and Cross-feature Fusion Network,SFSCF-Net),具体包括:(1)对象级图像生成器(Object-level Image Generator,OIG):将主干网络最后两个卷积块输出特征图的交集作为对象掩膜,映射到原始图像上进行裁剪即可得到对象级图像,这能有效减少复杂背景带来的干扰。(2)显著性特征抑制模块(Significant Feature Suppression Module,SFSM):通过特征提取器获取对象图像中最具区分性的部分,并通过二维抑制的方法将该部分进行遮盖,提高了特征抑制的精度。(3)一种基于层间交互的交叉特征融合方法(Cross-feature fusion method,CFM):将不同网络层的输出特征图进行交互集成,并在池化后得到高维特征,之后将高维特征进行通道压缩从而得到层间交互特征表示,丰富了输出特征语义信息。所提出的SFSCF-Net可以进行端到端训练,并在四个细粒度图像基准数据集上进行了各项实验。3.为了将上述两个模型的优势进行最大化集成,以进一步提高模型的识别性能,本文提出了一种多尺度渐进式互补特征融合网络模型(Multi-scale progressive complementary feature fusion network,MPCF-Net),该模型进一步优化了一种显著性特征互补增强模块(Significant Feature Complementary Enhancement Module,SFCEM),能够最大化融合不同尺度和不同网络层的互补特征。通过对该模型进行大量的消融实验,验证得出了一种最优模型架构,并在四个细粒度图像基准数据集上均取得了较好的结果。
其他文献
传统铸造业仍是制造业的主要组成部分,然而其存在能耗高、污染大的问题,正与我国制造业实现绿色制造的目标相背离。此外,随着技术发展,新技术逐渐应用于砂型铸造中,使砂型铸造向高精度、低污染化发展。然而,目前大部分研究都集中在成型工艺、铸型材料、铸造设备等方面,对于成型方法的绿色、低碳方面的研究不足。因此,有必要充分利用各种铸型成型的工艺方法优势,来确定各种铸件类型的铸型低碳成型方法。针对目前新的铸型成型
学位
近年来由于综合国力的不断强大,人们的生活水平获得了极大的提高,机动车已经进入千家万户。中国事业的进步不仅带动了中国企业的蓬勃发展,同时极大改善了中国民众日常生活水平的素质,给人们的日常生活出行带来了方便。但是,它在产业化发展的同时却对中国环保与资源利用问题造成了巨大的影响。汽车尾气中含有一氧化碳、一氧化氮、氮氧化物及各种可以被人体吸入的微粒等,对人类身心健康危害极大。随着汽车保有量的逐年上升,不断
学位
燃料电池作为一种新型的能源转换装置,具有广阔的发展潜力和应用前景,其中,质子交换膜燃料电池(Proton exchange membrane fuel cell,简称PEMFC)因其常温下具有快速启动、功率高、结构简单、操作简便等优点成为未来汽车动力源的有力竞争者。电池性能的好坏在实际应用中具有重要的意义,受到广泛的关注和研究,而电池的流场结构是影响电池性能的关键因素之一。本文基于计算流体力学方法
学位
随着汽车工业的发展,汽车保有量不断增加,汽车废塑料及废轮胎的处理成为一个亟需解决的问题。生物质资源具有碳中性、储量丰富等特点,其开发利用对于缓解能源危机、实现“碳中和”目标具有重要意义。生物质热解技术可以有效地将生物质资源转化为液体燃料。然而由于生物质富氧贫氢的特性,导致热解油品质较低,难以直接利用。在生物质中添加废塑料、废轮胎等富氢材料可以提高原料有效氢碳比,提升产物品质,又可以改善难降解高分子
学位
氢动力运载机械因其零排放的优点,有效的解决碳排放的问题。生物质制氢技术是为氢动力运载机械提供燃料的方法,其中的生物质气化技术是一种可以将生物质能转化为可燃气的技术,但是在过程中会产生焦油。焦油的产生会制约生物质气化系统的气化效率,还会使气化系统中的管道发生堵塞,甚至会腐蚀气化系统的设备,因此需要找到去除生物质焦油的方法。本文采用聚多巴胺为载体,Fe为负载金属,制备了一种纳米金属碳基催化剂。利用甲苯
学位
在稻田生态系统中,由于杂草的生长抢夺水稻的生长空间和肥料养分等资源,是造成水稻产量下降、品质降低的主要原因之一。为了保障水稻的正常生长,稻田除草是必不可少的环节之一。本文借鉴稻鸭共育模式,在克服化学除草和机械除草方式存在的不足基础上,通过光学-机械复合除草方法,设计制造了一种可根据不同稻田土壤环境自动调节运行转速的新型螺旋推进除草机,对相关问题进行了研究:(1)根据水稻种植要求、生长发育和应用场景
学位
目的:研究持续质量改进在新时期医院卫生管理中的应用效果。方法:通过分析当前医院卫生管理现状中所存在的问题,了解开展卫生管理必要性,从而制定持续性质量改进措施。结果:通过持续质量改进优化新时期医院卫生管理相关制度、增强医护人员个人能力、建立信息化的管理机制、加强卫生材料的选择与管理。结论:医院在未来的发展过程当中,集团化与专业化将成为主要的发展趋势,提高新时期医院卫生管理水平,开展持续质量改进对策具
期刊
随着无人驾驶技术的不断发展,自动驾驶汽车行业的市场规模快速增长。无人驾驶的体系主要由环境感知、行为决策和运动控制三个核心技术组成,其中感知系统可以使无人驾驶车辆通过车载传感器实现像驾驶员一样理解道路环境,从而进行预测和规划。车载传感器主要包括相机、毫米波雷达、激光雷达和超声波雷达等,同时高速芯片如TPU、GPU等也在无人驾驶领域扮演着重要的角色。无人驾驶是智能化的终极体现,集中运用了计算机、人工智
学位
随着科学技术的发展,工业自动化程度不断提高,桁架机器人在机床上下料领域得到了快速的发展。将视觉应用于工件定位,有效提高了桁架机器人的柔性和自动化程度。针对机器视觉技术应用于机床自动上料时存在的对工件定位精度不足、通用性差等问题,提出了一种基于2D视觉的工件定位算法,本文的主要研究内容如下:(1)提出了一种Eye_in_Another_Hand型相机放置方式,将相机安装于一独立运动模组,配合料盘使工
学位
近年来,微分方程分支理论已广泛应用于各个领域,尤其是生物数学领域.本文选择两类带有同类自食的捕食-食饵模型作为研究对象,研究内容主要如下:第一章主要阐述了本文研究的背景、意义以及国内外研究现状.第二章简单介绍了动力系统与分支理论的相关理论知识.第三章对一类已知的带有捕食者同类自食的连续捕食-食饵模型简化其参数,并使用半离散化法得到该系统的离散版本,随后研究该离散系统不动点的存在性与稳定性,使用中心
学位