论文部分内容阅读
随着Web的快速发展和Web信息的爆炸式增长,越来越多的Web用户使用搜索引擎来寻找想要的信息,搜索引擎也就扮演着越来越重要的角色。为了能将更好的搜索结果提供给用户,大部分搜索引擎都利用链接分析等方法来对网页进行排名。
链接分析算法基于以下假设:链接反映了网页作者对于所指向网页的认可,并且存在链接关系的网页很有可能是关于同一个主题。但是随着Web的发展,Web链接结构发生了很大的变化,Web页面中的链接数量越来越多,其中不相关链接的比例也越来越高,这就对链接分析的方法造成了很大的负面影响,大大降低了网页排名质量。
本文正是基于这样的问题,提出了一种基于文本词性与位置的链接过滤技术。首先,使用文本词性分析和位置分析技术,建立相关性计算模型,通过计算网页文本内容和链接所指向页面的文本相关性,过滤网页中的不相关链接,进而生成新的链接结构图。在这个链接结构图中,链接间的推荐关系更为真实有效。然后基于该链接结构图,利用链接分析算法对网页进行排名。
通过实验表明,本文提出的算法提高了链接排名效果,包括对质量较好的网页排名的提高、推荐站点数的增多、所含垃圾网站个数的减少等。另外,也通过实验对相关参数进行了讨论。本文还结合北京大学“天网”搜索引擎的架构模式,讨论了如何将所提出的链接过滤技术合理地应用于实际系统中,从而在保持良好的系统可扩展性的基础上,提高搜索引擎的排名质量。