论文部分内容阅读
随着计算机系统性能的提高和网络技术的不断进步,万维网成为全球最大的信息资源库,如何为如此庞大的信息资源提供高效的导航服务,帮助用户在海量的数据中快速找到需要的信息是搜索引擎亟待解决的问题。通常用户只关心搜索引擎返回的排在前面的结果,然而当前搜索引擎返回的查询结果与用户需求的相关程度并不理想。于是搜索引擎的相关性排序--按照与用户查询的相关程度对搜索引擎的索引文档进行排序,成为当前研究的重点和热点。本文首先研究了文本搜索引擎的相关性排序模型,并为自学习排序模型提出一种构造训练集的方法。然后研究了图像搜索引擎的相关性排序问题,重点介绍了图像重排序的方法,并提出一种度量图像相似性的方法。本文对搜索引擎的相关性排序方法进行了深入的研究,主要工作和创新之处归纳为以下几点:(1)文本搜索引擎的相关性排序模型,包括布尔模型,向量空间模型,概率模型,超链接模型,自学习排序模型,其中自学习排序模型将机器学习的方法运用到搜索引擎的相关性排序问题,解决了以往模型的许多不足之处。(2)为自学习排序模型构造训练集。自学习排序是一种有监督的机器学习算法,模型的性能很大程度上依赖训练集。构造训练集需要对给定的查询,人工标注文档与该查询的相关程度。对于文本搜索而言,查询几乎是无穷的,而人工标注耗时费力,所以选择部分有信息量的查询来标注很有意义。本文提出一种同时考虑查询的难度,密度和多样性的贪心算法从海量的查询中选择有信息量的查询进行标注。实验表明本文提出的方法能构造一个规模较小且有效的训练集。(3)图像重排序算法。现今的图像搜索引擎主要利用图像周围文本信息为图像排序,没有考虑图像本身的特征。图像重排序是在文本搜索结果的基础上,通过挖掘图像视觉特征的内在关系,对原始搜索结果进行重新排序,使新的序列更能满足用户搜索需求。(4)图像相似性度量。在图像重排序算法中图像相似性的度量至关重要。一般我们通过计算图像视觉特征的相似性来估计图像的相似性。图像视觉特征包含全局特征(如颜色,纹理,形状)和局部特征(如尺度不变特征)。然而现有的相似性度量没有考虑针对不同的查询词,图像的相似性应该不同。本文提出一种与查询相关的相似性度量方法,把基于全局特征的相似性,基于局部特征的相似性,以及视觉单词同时出现率融合到一个迭代算法中,挖掘出与查询词相关的图像信息,计算相似性。实验结果表明本文提出的相似性度量方法优于基于全局特征,局部特征,或它们线性组合的相似性。