基于深度特征聚合的细粒度图像检索研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:chen721050780
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像检索是一项富有生命力的研究课题,而细粒度级别的图像检索又是图像检索中具有十分广阔的应用前景和巨大研究价值的子课题,如电商图片搜索,科研动植物图像搜索等。相比于传统图像检索的大类区分,细粒度图像检索更加关注图像上细微的局部特征。随着深度学习在计算机视觉上的成功,针对细粒度图像检索也出现了应用深度学习的算法。在图像检索中,特征聚合(Feature Aggregation)是将多个局部特征编码成一个全局特征(一个一维向量)的过程。我们基于深度卷积神经网络的特征的聚合过程,提出一种无监督的检索算法和一种有监督的度量学习算法。本文的主要工作如下:对于针对细粒度图像检索任务,本文提出一种无监督的算法,不需要图像的标签来训练网络提取图像特征,并自动筛选出覆盖到图像主体上的局部深度特征。我们统计了累加特征图上每个空间位置上最大响应出现的频次,并且设定了阈值来筛选频次较大的局部描述子,分离了主体和背景的局部特征。我们将筛选出的特征进行广义平均池化。首先我们研究了特征筛选的阈值参数和广义平均池化参数p的关系。其次我们研究了不同特征组合方式对检索性能的影响。我们将提出的方法跟经典图像检索聚合方法以及当前较先进的细粒度图像检索方法在CUB200-2011,Stanford Dogs,Oxford Flowers,Oxford Pets,Aircraft五个数据集上相比较,实验结果证明了我们提出的算法的有效性。最后我们研究了特征降维和白化的作用,对我们的方法聚合得到的特征,特征降维和白化可能会提升检索性能。无监督的细粒度图像检索使用预训练的网络。但是针对特定数据集,预训练的网络提取到的特征需要加上标签等监督信息重新进行训练,即利用度量学习的方法训练网络。但是已有的关于深度度量学习的工作关注在设计更好的损失函数和如何构建训练对。受到传统图像检索的卷积层特征聚合的启发,我们探究了卷积层特征聚合是否更适合作为度量学习训练时损失函数的输入这一问题。我们设计了三种网络结构来验证我们的想法。第一种网络结构是VGG-16BN原始结构,我们使用最后的全连接层作为损失函数的输入。第二种网络结构是VGG-16BN去掉全连接层,加上一个特征聚合层,特征聚合层既作为损失函数的输入也作为检索测试时的输出。第三种网络结构是特征聚合层加上一个全连接层,全连接层作为损失函数的输入,将特征聚合层和全连接层作为测试的输出。实验结果证明第三种网络结构相比于前两种网络结构能够提高检索性能。我们将第三种网络结构使用三元损失函数在CUB200-2011、Cars-196、Stanford Online Product、In-shop数据集上和当前先进的深度度量学习方法比较,我们的方法相比于比较的方法具有一定的优势。相比于全连接层作为最后输出的VGG-16BN网络,使用特征聚合的VGG-16BN网络能够提升检索性能。
其他文献
随着临近空间飞艇技术的快速发展,发展艇载海洋监视雷达具有重要意义。由于飞艇常处于“准悬停”状态,巡航时的速度通常也较慢,适合于采用逆合成孔径雷达(Inverse Synthetic
滇中引水工程是为缓解昆明、玉溪、楚雄、曲靖、大理等地区水资源短缺而正在修建的大型水利工程,也是国家2020年前开工建设的172项重大水利工程中10大标志性工程之首。作为跨
海洋二号卫星是我国自主研制的第一颗海洋动力环境卫星,其搭载的微波散射计(H2SCAT)可提供大量实时海面风场资料数据,而海面风场数据在海洋环境数值预报中必不可少,但由于Ku
为了解决能源危机和环境污染这两大世界难题,各汽车大国相继颁布了新的排放标准,这严重制约了汽车行业的进一步发展。在汽车节能减排方面,混合动力汽车作为传统燃油汽车向纯
石墨烯量子点(GQDs)被定义为将单层石墨烯切割成尺寸小于2-20nm的小块(盘)而获得的产物。由于GQDs具有很高的比表面积,良好的的生物相容性和低毒性,因此GQDs正逐渐在生物成像、生
开发海上风能已成为解决全球能源危机以及减缓全球气温升高的重要途径。通常情况下,海上风机基础的设计与安装费用约占风电场总造价的25%到40%,因此选择合适的基础型式以及相
地下中庭被广泛采用于商业综合体设计之中。建筑能耗高、内部热环境差等一系列问题给此类建筑空间设计带来巨大的挑战。本课题通过人群主观感受问卷调查、实地测试和数值模拟
全无机钙钛矿太阳能电池由于其优异的光电特性引起了人们的极大关注。相比于有机-无机杂化钙钛矿,全无机钙钛矿具有高量子产率、带隙可调、热稳定性好等优点,是钙钛矿太阳能
小城镇建设作为促进城乡融合,推进新型城镇化,实施乡村振兴的重要支撑点,目前,小城镇与大中城市相比在基础设施方面具有较大的比较劣势,雨水径流在高峰时期短时期内无法排放,
大气气溶胶是大气的重要组成部分,它对大气环境、气候等都有着很大的影响,同时它对人类生活、生产的影响也是不容小觑的。研究大气气溶胶的物理和光学特性,建立大气模式,有助于了解大气气溶胶的气候效应以及大气污染物对人类的危害等问题。因此,研究大气气溶胶的特性很有必要。海洋气溶胶作为大气气溶胶的组成部分,通过多种方式直接或间接的影响地气系统的能量收支以及气候变化。研究海洋气溶胶可以帮助人类进一步地认识海洋的