论文部分内容阅读
随着数码相机和网络社交媒体的飞速发展,互联网上图像数据规模急剧增长,如何快速有效地从大规模图像数据中找到所需要的图像已成为用户的迫切需求。因而,图像检索成为许多现实世界多媒体应用的重要技术。图像检索技术旨在从大规模图像库中快速准确地检索与用户给定查询相似的图像。基于内容的图像检索系统通常采用视觉特征提取技术,将图像的视觉内容描述为高维数字特征,从而将图像检索转化为高维特征的相似性查询问题。一方面,由于底层特征与高层语义之间的“语义鸿沟”问题,特征提取和描述过程中往往容易造成语义信息的丢失。因此,如何对图像的视觉内容进行有效的特征表达成为影响图像检索性能的关键所在。另一方面,图像的视觉特征维度通常较高,并随着图像数据规模的增长,传统的度量学习方法受“维度灾难”问题的影响已不能适用。因此,如何将大规模高维视觉特征数据进行有效的相似性度量,对大规模图像检索的效率至关重要。与此同时,由于图像数据可由多种异构数据源获取或由各种不同的特征来描述和表达。因此,如何在具有多样性的图像数据上进行跨视图特征之间的检索,已逐渐成为多媒体领域一项新的研究热点。 本文从现有的基于内容的图像检索技术出发,分析了其目前所面临的挑战和问题,从视觉词典的构建、图像相似性度量和跨视图特征融合三个方面,深入展开基于内容的图像检索方法研究,取得了如下的研究成果: 1.基于特征选择的视觉词典构建方法 基于视觉特征的词袋模型表示主要包含视觉词典生成和词袋模型向量表示两部分。为对图像局部关键点特征的统一量化,视觉词典的生成一般采用无监督聚类算法对图像库中所有局部关键点特征进行聚类,聚类结果的每个子类代表视觉词典中的一个视觉关键词,子类的个数表示视觉词典的规模。但由于底层特征与高层语义之间的语义鸿沟问题,常采用在欧式空间中简单聚类视觉特征来构建视觉词典的方法往往容易造成语义信息的丢失。为此,本文采用在线度量学习方法对高维视觉特征数据进行特征选择,优化视觉词典的构建过程,建立视觉关键词与语义概念之间的对应关系,从而得到语义相关的词袋模型。通过在国际公认基准数据集上的对比实验,验证了该方法对优化视觉词典构建的有效性。 2.基于度量学习的图像相似性度量方法 图像相似性度量是基于内容的图像检索的重要部分,因而在特征空间中进行恰当的距离/相似性度量非常关键。研究者们提出距离/相似性度量学习算法,试图通过训练数据或辅助信息来优化距离度量,以提高图像检索的性能。在图像检索任务中往往采用高维特征的词袋模型表示以获得较好的检索精度,但视觉特征表示的维度灾难问题使得学习效率、检索效率降低。因此,本文提出稀疏在线相似性度量学习方法对图像进行相似性度量,从而提高大规模高维视觉特征的学习效率和相似度计算效率。实验结果表明,本文方法的平均准确率均值优于主流的度量学习算法,同时减少了训练时间、索引时间和检索时间开销。 3.基于深度哈希学习的跨视图特征融合方法 由于数据的多样性,图像可用各种视图下的不同特征来表示。为了解决不同类型特征之间的检索问题,本文提出基于深度哈希学习跨视图特征的融合方法,首先采用深度学习方法将不同视图下的特征表示到统一的共享特征空间中,然后通过哈希算法将在共享空间中不同类型的特征映射为相应的二进制码,最后采用最近邻搜索实现跨视图特征的相似性度量。通过实验验证,本文方法的检索性能优于现有的跨视图最近邻搜索算法。