随着Internet的迅速发展和不断普及,Web日志资源越来越多,而如何利用这些海量数据来更好的为用户服务成为当今的研究热题。Web日志挖掘把传统的数据挖掘技术应用到Web日志中,获取网站使用情况的有价值模式,应用于个性化服务、网站设计和商业决策等方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用,其中本文提到的Web日志过滤技术属于数据预处理的一种。Web日志过滤技术是指对用户浏览网站所留下的访问记录,即Web日志进行过滤,其目的是要过滤掉那些不能体现用户兴趣的日志记录,如图片信息、网站主页导航页等,而留下那些可以体现用户兴趣的记录。为了实现Web日志过滤技术本文中提出了两种方法,一种是基于链接规则的日志过滤技术,另一种是基于网页内容的日志过滤技术。基于链接规则的过滤技术是在对日志记录进行详细分类基础上,人工校对每种链接是否包含用户兴趣,然后对那些包含用户兴趣的链接,根据链接特点生成过滤规则进行过滤。其特点是准确,速度快,但是缺点是统计日志记录以及人工校对效率低,且生成的规则随着网站结构变化易失效。基于网页内容的过滤技术是指对日志记录中URL对应的网页进行文本分类,来判断其是否包含用户兴趣,予以过滤,这是本文的主要内容。其主要包括网页结构信息的KNN分类和网页正文信息的SVM分类两个部分,最后根据两个分类器的结果进行判断。基于网页内容的日志过滤虽然在过滤阶段效率上不如基于链接规则的日志过滤,但是它可以解决基于规则过滤的人工校对效率低和易失效的缺点,并且拥有较高的准确率。