论文部分内容阅读
基于内容的图像检索是计算视觉领域一个非常重要而且经典的研究方向,同时,相关的技术在工业界也有非常广泛的应用。近些年来,随着深度学习的兴起,由于卷积神经网络对图像特征很好的表达能力,基于深度卷积神经网络的方法在图像分类,图像检索,物体检测和语义分割等领域都取得了超越传统方法的结果。尽管图像检索技术已经被研究多年,但仍然面临很多挑战,图像中物体的尺寸,姿态以及图像光照的变化都给检索算法的性能带来严重的干扰。本论文主要研究了基于深度卷积神经网络的图像检索方法以及该方法在敏感图像检索上的应用,论文的工作以及贡献总结如下: 1.建立了一个大规模枪支图像数据库—Firearm14k 在当前的社交网络上,充斥着各种各样的令普通用户感到不适的枪支图片,这些图片可能会激起暴力等不良后果,因此有必要对枪支图片进行适当的监管与处理。另外一方面,基于深度卷积神经网络的方法,在网络模型的训练过程中往往需要大量的训练图片,如果训练数据过少,学习到的模型很容易过拟合。截至目前,学术界并没有一个大规模枪支图像数据库存在,为了方便研究者针对这个领域进行研究,我们收集了一个大规模的枪支图像数据库,包含167类不同类型的枪支,图片总数为14755张,我们将其简称为Firearm14k。该数据库包含了真实世界拍摄的枪支图片,因此图片中物体尺寸,姿态,背景等变化很大,识别难度较高。该数据库可以用于枪支图片精细检索的研究,也可以用于枪支图片的精细分类等研究工作。 2.提出了一种多尺度全卷积的图像实例检索方法 目前已有很多工作利用卷积神经网络提取图像特征进行图像检索,但是这些工作并未对影响图像特征有效性的各种因素进行详细分析,例如,图像尺寸缩放的策略,影响多尺度特征有效性的因素等,因此各种因素如何影响检索的性能仍不明确。在该工作中,我们对输入神经网络的图像尺寸缩放策略,提取图像多尺度特征的方式,以及PCA和白化矩阵学习这三个重要的因素进行了研究,通过实验分析了这些因素对检索结果的影响。在此基础上,我们提出了多尺度全卷积的图像特征提取方法。该方法简单而有效,我们在Oxford5k,Paris6k,Oxford105k以及UKB这四个常用数据库上进行了实验,大量的实验结果表明我们提出的方法有着良好的检索效果。 3.提出了一种基于双阈值对比损失函数的敏感目标精细检索方法 在社交网络上或者是在取证领域,人们需要能够自动监管一些不适当的枪支图片或者鉴定枪支的类型等,基于图像检索的技术能够帮助人们有效解决此类问题。通过重新微调已有的神经网络模型,基于卷积神经网络的检索方法取得了很好的效果。传统的单阈值对比损失函数,由于其简单并且有效,被大量使用,但是我们发现将该损失函数用在Firearm14k图像库枪支检索任务上时,网络的性能并不好,原因有两点:第一,在网络训练过程中,相似与不相似样本贡献的损失不平衡;第二,Firearm14k与ImageNet数据库的图片风格差异巨大。我们提出了双阈值对比损失函数来解决网络训练中正负样本贡献的损失不平衡的问题;为了解决Firearm14k与ImageNet数据库的差异问题,我们使用了两步训练的策略,首先用分类任务微调网络,然后再使用检索任务微调网络。大量实验结果表明我们所提出的方法的在枪支精细检索上的准确率超过了当前主流的方法。