论文部分内容阅读
随着互联网行业的快速发展,以及社交网络和多媒体分享网站的兴起,如何从互联网中海量的多媒体数据中快速准确的找到用户需要的信息变得异常重要。传统的基于文本的搜索技术在面对多媒体检索时往往显得不够准确,基于视觉信息的多媒体检索可以利用图像视频的内容来弥补文本检索的不足,对用户来说也更加直观和生动。基于内容的图像检索,即当用户输入一幅查询图像时返回数据库中与该查询图像视觉相似的所有图像,正在受到学术界和工业界的广泛关注。而随着词袋模型的出现,基于内容的图像检索向着实用的大规模应用不断发展。在词袋模型中,图像的视觉特征被量化为一个个与文档中词语相对应的视觉词语,因而文本检索中的成熟技术可以被广泛的应用到图像检索中来。 性能波动是信息检索中一个常见的问题。即使是性能良好的检索系统,在处理一些困难的查询时仍然会出现性能急剧恶化并远低于平均检索水平的情况。这类困难的查询不仅影响了检索系统的整体性能,而且会对后续的排序优化算法产生影响。如果可以对查询的困难度进行预测,并针对不同困难度的查询采取不同的检索策略,那么将可以有效的降低困难查询对全局性能的影响,并有效改善系统的检索结果。因此,对于查询困难度预测或者叫做查询性能预测的研究应运而生。当前的查询困难度估计研究主要集中在文本检索领域,事实上,在基于内容的图像检索中同样存在着性能波动的现象。如果可以区分出困难和简单的图像查询,并对不同难度的查询采用不同的检索策略,可以进一步改善图像检索的性能。 本文的研究集中在基于内容的图像检索中的查询困难度估计以及基于困难度指导的检索策略设计。概括起来,本文的主要贡献如下: ●考虑到视觉词语与文档词语的类比性,本文从文本查询困难度估计算法入手,在考虑了图像查询的清晰度得分之后,通过度量图像查询与初始结果之间的空间一致性和视觉一致性,得到对于图像查询的困难度估计。 ●考虑到图像有更多的视觉特征可以利用,本文从图像的多视角特征入手,将基于流型学习的多视角降维算法进行线性化,以使其适用于实时的大规模图像检索应用。具体的说,首先利用数据离线的学习出一个降维矩阵,当得到查询图像的初始结果后,可以利用这个矩阵在线的得到查询图像及其初始结果的低维表示,并利用它们之间的一致性来衡量查询图像的困难程度。 ●由于图像查询的困难与否与查询本身、查询的相关图像以及数据库图像的分布三者都有关,本文提出从它们之间的一致性和突出性入手,利用上述的图像低维特征定义了一组描述图像查询困难度的特征,并利用排序学习的方法离线的训练得到不同特征之间的权重。在得到查询图像与初始结果之后,可以利用这一模型以及它们的低维特征计算得到当前图像查询的困难程度。 ●在得到图像查询的困难度之后,本文提出利用困难度指导依赖查询的排序优化策略的执行。具体的说,本文从三个方面设计了多个基于查询困难度的性能优化策略。从检索系统的角度出发,注意到重排序、查询扩展等算法的成功与否严重依赖于查询的初始检索结果的质量,因此本文提出在得到当前查询的困难度之后,只对难度适中的查询执行重排序和查询扩展,而避免在困难和简单的查询上执行算法,从而一方面可以在中等难度查询上获得性能改善,另一方面避免了不必要的性能恶化和系统开销。从用户的角度出发,本文提出将估计得到的图像查询困难度作为用户是否优化或替换查询的准则。对于困难的查询,用户可以通过框出目标物体来改善检索性能,而系统也可以通过考察初始结果作为查询的困难程度来向用户推荐恰当的查询。而在分布式检索中,查询困难度可以指导数据集选择、结果合并等重要的环节。在多个规模不同的数据库上的详细实验证明了本文提出的一系列图像查询困难度估计算法的有效性。而基于困难度的检索优化算法也取得了显著的性能改善。此外,通过对效率的分析,即使在百万张图像规模的数据集上,本文提出的图像查询困难度估计算法及困难度指导的优化算法都可以实时的进行,从而为进一步的实用提供了保证。 ●由于初始检索结果在查询困难度估计中发挥着重要的作用,本文从图像的视觉词语、空间结构、视觉特性出发,设计了一组图像排序特征,并应用文本检索中的排序学习方法改善图像检索结果的质量。在结合了特征选择策略后,排序学习检索模型显著改善了经典的向量空间模型的检索性能,从而为后续的查询困难度估计算法的研究和改善提供了基础。