论文部分内容阅读
近年来,随着网络的大量普及以及各种技术的快速发展,互联网上的信息呈爆炸性增长。人们要在网上快速查找自己想要的资料越来越困难,搜索引擎的出现为解决这一难题提供了方便。
然而,独立搜索引擎所覆盖的信息面相对来说,还不够宽。随着网络的迅猛发展,独立搜索引擎越来越显得力不从心。为了改变这一状态,元搜索引擎伴随着人们的需要就产生了。元搜索引擎所覆盖的信息范围相对而言比较广,在一定范围内能提高了检索结果的查全率以及准确性。它吸引着人们的浓厚研究兴趣,成为信息检索研究的热点之一。而由于元搜索引擎所选取的各成员搜索引擎在检索方式、排序算法等方面采用不同的方法,这就造成了在对返回结果进行相关处理时比较困难,所以它也是信息检索研究的难点之一。本文在深入研究元搜索引擎的相关技术基础上,提出了基于用户偏好的摘要/位置的结果排序算法和基于网页正文主题和摘要的网页去重算法。
首先,简述了元搜索引擎的运作原理和分类,研究了元搜索引擎的核心技术,并阐述了它的不足以及未来发展趋势。
其次,在深入研究元搜索引擎返回结果常用排序算法的基础上,提出了一种改进的基于用户偏好的摘要/位置排序算法。该算法不仅能体现出查询词与主题、摘要的相关度,而且能体现出用户对成员搜索引擎的偏好。实验表明,该算法具有明显的优势,更能满足用户的个性需求。
再次,利用模糊匹配的思想,引入分词,提出一种基于网页正文主题和摘要的网页去重算法。该算法首先对各成员搜索引擎返回来的网页标题进行有关处理,提取出网页的主题信息,然后对主题、摘要进行分词,再分别计算主题、摘要的相似度。二者结合能更好地体现出文章摘要的内容,实现网页去重。实验表明,在网页去重方面,比起基于传统特征码的去重算法,该算法具有明显的优势,更接近人工统计结果。
最后,设计出整个元搜索引擎系统,验证算法的有效性。