基于特征融合与显著性重采样的细粒度图像分类方法

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:sysbot
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
细粒度图像分类问题主要是针对同属一大类的图像进行更细致的子类划分,比普通的图像分类问题更具挑战性。由于细粒度图像类间差异较小,而同类别内的图像差别较大,解决该问题的关键主要在于捕获图像中细微的局部差异,学习图像中最具有判别力的特征。因此,本文针对细粒度图像特征融合及图像的显著性两方面进行了研究,提出了基于深度特征融合和显著区域重采样的双线性卷积神经网络模型,并在细粒度图像分类任务中予以应用。
  本文具体的研究工作有如下两点:
  (1)针对双线性网络特征融合层次不够深入的问题,构建了一个基于特征间深度交互的端到端网络模型DFI-BCNN(Depth Feature Interactive Bilinear Convolution Neural Network Model)。该模型只需要提供图像的弱监督信息即可进行训练,完成细粒度图像分类的任务。DFI-BCNN在双线性网络的基础上进行了两方面的改进:第一方面,对不同卷积层之间的特征进行深层次融合,增加卷积层5-1和卷积层4-1对最后一层网络层输出特征的双线性操作,融合了浅层特征中的获取到的空间信息以及深层特征中的学习到的语义信息;另一方面,对于双线性操作带来的高维参数,本文加入了随机麦克劳林、张量速写两种算法,通过引入二阶多项式核来找到特征的近似低维映射,使计算复杂度得以降低,提高了模型的效率。通过在三个数据集上进行的实验表明,DFI-BCNN方法提高了分类准确率,且随着特征融合的深入,分类精度持续提高,从而证明了该方法的有效性。
  (2)为了使模型能更关注到图像中最重要的区域,学习到更具有辨别力的特征,本文提出了一种基于显著区域的重采样方法。该方法具有较强的泛化性,可以嵌入到分类网络中。该方法先分析处理原始图像的热度图,再对图像中的显著区域进行重采样操作,从而得到基于显著区域的重采样图像。整体模型由三部分组成,分别是显著图的生成、非均匀重采样和细粒度网络分类。首先对原图采用Grad-CAM方法得到热度图,并对热度图进行二值化处理得到显著区域图像;然后通过采样器根据高斯核函数学习不同区域的权重,对显著图像进行重采样变形操作并映射到原图,使得显著区域占据整幅图像的更大比例;最后将重采样后得到的图像送入DFI-BCNN完成细粒度分类任务。实验表明与其它细粒度分类算法相比,本文提出的方法能够学习到更细致的图像特征,得到了较高的分类准确率。
其他文献
现实生活中,很多实际的优化问题都需要处理大量的决策变量,这称为大规模优化问题。虽然传统的计算智能方法在解决一些低维优化问题是有效的,但是,随着决策变量的增加,这些方法在求解大规模优化问题上性能退化,很难找到全局最优解。因此,将计算智能方法进行合理的、有效的改进来求解大规模优化问题显得越来越有必要。
  粒子群优化算法(Particle Swarm Optimization,PSO)是计算智能方法的一个分支,由于其原理简单、便于实现等特点,受到了许多学者的关注,将其广泛应用于解决优化问题和实际的工程问
说到豆腐,也可以算是一个国粹了。人们常说“青菜豆腐保平安”,豆腐在中国人生活中的意义可见一斑。但吃豆腐吃出名堂、吃出水平的要算平桥人,一道被称为“天下第一菜”的平桥豆腐,成为淮扬菜系中的著名佳肴,流传到江浙沪、北上广,甚至欧美海外,让那么多的人情有独钟,让那么多的人慕名神往,把豆腐文化发挥得那样的淋漓尽致。由此可见平桥豆腐这道菜肴的影响力以及它在豆腐美食家族中的地位。   在所有关于平桥豆腐的介绍
期刊
在智慧交通系统领域中,交通标志检测和识别是重要的研究课题,它可以辅助驾驶员或者自主驾驶系统掌握路况信息和明确驾驶行为限制,有效地保证驾驶安全、减少交通事故。然而,基于图像处理技术的传统检测方法存在较大局限性,难以适应复杂多变的交通场景,无法满足实际需求。随着深度学习的兴起,基于卷积神经网络的交通标志检测方法发展快速并逐渐成为了主流的研究方向,但仍然面临很多挑战。本文对交通标志检测存在的难点和现有方法存在的不足进行了回归和总结。针对交通标志检测存在的小尺寸、多尺度、相似外观、兼顾检测性能和效率等问题,本文提
随着物联网、大数据等信息技术在交通行业的广泛应用,传统交通客运开始向智慧交通转型升级,以向乘客提供更好的乘坐体验。其中,向乘客提供精准的公共交通动态换乘服务是实现城市智慧交通的重要环节,并由此对精准预测公交到站时间提出了迫切需求。然而,由于城市道路交通环境的复杂性,使得精准预测公交到站时间难度很大,成为影响动态换乘服务的关键。为此,论文研究了两种公交到站预测模型,以满足乘客不同需求下动态换乘服务对到站时间预测的需求。融合BP神经网络和公交车实时位置数据的公交到站时间预测模型(DTHC)能够针对某个时间点估
传统的图像修复方法往往基于纹理或者补丁传播的技术在图像像素层次填补缺失区域,然而这些方法无法应用于复杂的场景(比如人脸),并且这些方法无法感知图像深层语义信息。随着深度学习的发展,图像修复领域也在变化,基于深度学习的图像修复利用卷积神经网络提取图像深层语义信息对孔洞内容的进行重建。同时,生成对抗网络的提出以及发展为修复细节的质量提升提供了全新的思路。然而这些方法只针对具有固定大小的中心缺损区域图像进行修复,无法满足实际的生活场景,因为用户需要修复的区域不仅仅是固定的区域而是不规则的区域。同时这些方法生成的
大云山,位于今江苏省淮安市盱眙县马坝镇境内,大别山余脉,海拔73.6米,不高且坡緩无峰,但因与周边的小云山、青墩山相连,形如“北斗”,古时又有禹王河、衡阳河等水系环绕,且紧邻秦汉重要城邑———东阳城,因此成为了诸多皇家贵族身后必争的“风水宝地”。   2009年初,大云山因发生盗墓案件,因此启动了考古调查勘探,但随着调查勘探的深入,一座大型西汉诸侯王陵遗址逐步显露出来。同年,经江苏省人民政府批准,
期刊
由于我国经济的迅速发展,人们休闲娱乐的方式也越来越多,外出旅游也成为人们追求生活质量的重要方式。在旅游出行前,人们通常会在网上查找相关游览点的资料,制定详细的旅游计划。而随着旅游业的迅速发展,各地景点的不断开发,大型的景区越来越多,但是网上能搜到的景点信息只能精确到景区级别,所以通过用户在网上浏览景点信息的历史记录或是对景点的评分数据,只能获取粗粒度的游客偏好,而无法获取在景区内部细粒度的游客偏好。因此,如何获取景区内部的游客数据,从而学习出游客细粒度的偏好也成为了当前的一个研究热点。
  智能手机
革兰氏阳性菌作为一种常见的致病菌,其分泌的蛋白能从细菌细胞质进入宿主细胞,发挥毒力破坏寄主细胞,进而引起组织坏死和病变。对分泌蛋白的深入研究有助于进一步了解细菌致病的机理和疾病的发病机制。在所有的分泌蛋白中,非经典分泌蛋白缺乏可识别的信号肽序列且分泌途径多样,识别工作要比经典分泌蛋白更为困难,因此如何准确地识别这些非经典分泌蛋白,成为了微生物学研究领域中一个有挑战性的任务。目前,随着人工智能领域的迅速发展,国内外出现了一些基于机器学习模型来预测革兰氏阳性菌非经典分泌蛋白的方法。但是这些方法的预测效果并不令
淮扬菜走入国宴,始于新中国成立前后的招待宴会。“1949年9月30日,全国政协第一届全体会议闭幕,当晚在中南海勤政殿举行的六桌招待晚宴,就是淮安张文显等淮扬菜烹饪大师备料进京主理。”淮安市淮扬菜美食文化研究会会长高岱明告诉笔者,当时备了白袍虾仁和淮安软兜两道主打菜,但因为大卡车运送食材途中洪泽湖大虾死了许多,后来只用了淮安软兜,这道菜随后成了全国名菜。   筹备这场晚宴时,有人建议使用京菜(即鲁
期刊
今年以来,金湖县围绕目标强服务,聚焦创新谋发展,坚持创新引领,突出真抓实干,彰显服务发展新作为,全面推动全县统战工作再上新台阶。   擦亮“新乡贤”金字招牌。金湖县新乡贤“1+4”模式助力乡村振兴工作经验被学习强国、《中国统一战线》杂志公众号、江苏统一战线微信公众号等媒体刊载宣传,成为全县统战工作又一金字招牌。全县8个镇(街)实现了乡贤议事会全覆盖。在塔集黄庄创建省级特色田园村庄,荷韵小镇、吕良湖
期刊