论文部分内容阅读
局部近似图像(Partial-Duplicate Image)是指部分区域的视觉内容源于同一目标的图像。局部近似图像检索(Partial-Duplicate Image Retrieval)旨在从海量图像库中快速、准确地查找与查询图像局部内容近似的图像,已在多媒体检索、版权保护和网络信息监控等领域得到广泛的应用和飞速的发展。
局部近似图像之间只有部分区域相似,并且这些区域具有不同的变换,如旋转、遮挡、放缩、视角、亮度和对比度等。非全局的变换为高精度的局部近似图像检索带来极大的挑战。进一步,面向网络大规模图像进行检索带来更大的困难。因此如何快速准确地从大规模图像库中检索局部近似图像是一个极具挑战的研究热点与难点问题。
为了提高局部近似图像检索的精度和速度,本文围绕图像局部特征提取、非全局几何一致性验证和基于共同视觉模式的查询扩展等关键问题进行了较为深入的研究,取得了如下成果:
1.基于图像特征尺度的快速局部特征提取
采用有效的特征对图像进行描述是局部近似图像检索的基础。图像局部特征.反映了图像的局部区块信息,是对图像局部视觉内容的描述,因此适合于局部近似图像检索。但是当前的图像局部特征计算复杂度高,无法满足大规模数据环境下对高计算效率的需求。本文提出一种基于图像特征尺度的快速局部特征提取算法(Characteristic Scale-based Fast Feature,CSFF),通过引入图像特征尺度的概念避免了特征提取过程中的多尺度模拟,降低了算法的时间复杂度;同时根据图像特征尺度细化特征提取,保证了特征的区分性和鲁棒性。该算法和已有局部特征提取算法相比,由于减少了不同存储器间数据交换的次数更适合于GPU(Graphics Processing Units)平台上的并行运算。实验结果表明,CSFF算法在保证特征提取精度的同时显著地提升了提取速度,并且具有更好的并行性。
2.基于局部空间相似性的非全局几何一致性验证
在特征匹配上,目前都采用基于视觉关键词的方法。该方法避免了存储海量的特征,非常适合于大规模数据环境下的图像检索。但是视觉关键词量化的过程降低了特征的区分性并忽视了特征之间的位置信息,因此降低了图像检索的精度。针对这一问题,几何一致性验证方法被提出,通过度量特征匹配对之间的几何一致性去除误配以提高检索精度。然而已有的几何一致性验证算法不能应对非全局的图像变换。因此,本文提出一种基于局部空间相似性的非全局几何一致性验证算法:首先定义一个以衡量变换矩阵相似性为基础的匹配对一致性度量公式;然后在图像局部区域内计算匹配对的两两一致性,以应对仿射变换、非刚体变换和图像的非全局变换。实验结果表明,在基准图像库上该算法和已有算法相比,可以带来5%-33%的精度提升,同时具有相似的时间性能。
3.基于共同视觉模式的查询扩展
图像特征在不同的变换条件下往往存在较大差异,仅凭单幅查询图像进行查询只能得到有限的结果,因此查询扩展是改善图像检索召回率的关键技术之一。共同视觉模式(Common Visual Pattern,CVP)是两幅图像在视觉内容上一致,空间布局上相似的共同部分。和局部特征相比,CVP从更高的层面上对图像进行表示和描述,是高层的图像检索/语义基元。传统CVP挖掘算法的时间复杂度都很高,并且没有利用图像结构化的特点。本文提出了一种基于最大子图理论的CVP挖掘算法:首先通过聚类得到候选模式;然后以引导迭代的方式对候选模式进行扩展;最后采用层次凝聚方法得到最终模式。在此基础上,本文提出了基于CVP的查询扩展方法:离线时挖掘图像库两两图像间的CVP,并以CVP为线索组织图像库;在线时以CVP开展查询扩展。实验结果表明,本文的CVP挖掘方法与己有方法相比能大幅提高CVP挖掘的速度与精度,基于CVP的查询扩展能进一步提高局部近似图像检索精度。
本文的研究工作在深入分析现有局部近似图像检索技术不足的基础上,通过对图像局部特征提取、几何一致性验证和共同视觉模式挖掘及查询扩展等几个关键问题的深入研究,提高了局部近似图像检索的精度和速度,从而为局部近似图像的检索与管理提供了良好的技术基础,具有广阔的应用前景。