随着互联网技术的飞速发展,网络正在成为人们进行信息交流和信息处理的有效平台,各种数字化的信息每天以极高的速度增长,网络上积累了海量的数据。面对如此巨大的信息量,如何发现自己所需信息,成了困扰网络用户的一大难题,即所谓的Rich Data Poor Information问题。 为了解决上述问题,Web挖掘技术应运而生,其中,面向Web服务器日志的Web日志挖掘技术尤其得到了众多研究人员的关注。利用Web日志挖掘技术可以发现用户访问站点的浏览模式。 在模式发现中,首先要解决的问题就是Web日志的数据预处理。传统的Web日志数据预处理过程没有消除Frame页面的影响,导致最终挖掘出来的模式的兴趣度偏低。为此,本文作者提出了Frame页面过滤算法,并把它应用到Web日志数据预处理过程中。 数据经过预处理后,就可以根据具体的需求来选择诸如聚类、分类、关联规则等数据挖掘技术了。本文要实现的目标是:根据用户的浏览行为,发现相似的用户群;根据Web页面被用户访问的情况,发现相关页面组。本文选择的是聚类技术。首先,对已有的聚类技术进行了简单介绍。然后,详细分析了一个典型的基于距离的聚类算法,发现该算法在空间和时间的复杂性有着难以克服的局限性,为此,文中提出了一种基于矩阵的快速聚类算法——标记传播算法,用于实现用户和页面的快速聚类。最后,结合一个具体的实例,对Frame页面过滤算法和标记传播算法的有效性进行了验证。