论文部分内容阅读
随着互联网的飞速发展和广泛普及,人们网上活动日益频繁。资料显示,目前搜索引擎已经成为因特网的入口,成为人们在网络中获取信息的主要方式。搜索引擎通过分析用户提交的关键词,将之与索引库中已建立的网页进行对比,将相关性最高的网页返回给用户。由于搜索引擎一般索引了数以亿级的网页,而用户通常只关注前10~20条搜索结果,因而对返回结果页的排序成为搜索引擎的一个关键。而对网站建设者来说,获得更好地排名意味着巨大的利益,而建设与维护一个高质量的网站,往往需要花费大笔精力。于是,从搜索引擎诞生的那天开始,作弊也随之而生。作弊是指针对搜索引擎排序算法中存在的漏洞与不足,采取欺骗的手段,获得网站的不正当排名。目前,针对搜索引擎的排序原理,作弊一般分为内容作弊与链接作弊。作弊不仅增加搜索引擎的运行与维护成本,而且降低搜索效率,影响用户感受。因此,进行搜索引擎的反作弊研究,提出有效地反作弊技术对网络的健康发展与信息的迅速传播具有重要意义。本文在已有的链接反作弊技术的基础上,提出通过分析网站或网页的Rank时间序列值,挖掘出作弊页的序列特征。主要内容概括如下:1.首先对搜索引擎的原理,网络结构模型及基于链接的排名算法PageRank与HITS进行分析介绍,然后着重分析了目前针对基于链接的搜索引擎最为普遍的一种作弊方式:链接工厂及其联盟。最终,在分析了各种作弊与反作弊技术的基础上,我们提出可以结合现有反作弊技术,通过分析网页Rank的时间序列值检测作弊网页,并通过实验证实了这种方法的有效性与可行性。2.设计并实现了一个提取DR(Domain Rank)异常值序列的实验。实验利用了企业生产实践中数据比较新比较全的特点,结合链接作弊的特征,分析了DR值序列在作弊检测中的作用,并对实验中海量数据的处理方法进行了介绍。实验通过对比选取不同的统计特征得到的不同可疑作弊页,对实验结果进行了详细的分析,证实了DR值序列分析在反作弊研究中的合理性与有效性。同时,实验充分考虑了对异常值抽取策略的扩展性兼容,以便后续实验。最后,文章对以后还需要做的工作做了进行了总结展望。