随着Internet信息量的飞速增长,数据挖掘技术的日益成熟及XML语言的崛起,Web数据挖掘技术迅速成为信息检索领域的研究热点。本文对Web数据挖掘技术、搜索引擎技术、XML语言、文本聚类技术作了系统的研究,介绍了其特点、原理、方法和研究现状。如今Internet已经成为了人们获取各种信息的主要来源,利用常用搜索引擎系统能够获得大量的相关信息,但是这些信息太多太乱,用户难以迅速找到真正感兴趣的网页。对此,本文深入研究了如何对搜索引擎返回的结果进行文本数据挖掘以获得用户感兴趣的搜索模式。 本文从Internet用户的兴趣度出发,提出了一种基于近似网页聚类算法的Web文本挖掘技术。该技术根据用户的兴趣程度形成词汇库;利用模糊聚类方法获得分词词典组;在用户利用常用搜索引擎系统进行信息检索时,采用MD5算法消除搜索引擎返回的重复页,采用近似网页聚类算法,对剩余页面进行聚类,返回给用户聚类后的网页簇,这样用户就可以选择浏览自己感兴趣的页面,从而大大提高了信息检索的查准率;为进一步满足用户的兴趣需要,最后提出了一种基于马尔可夫链的Web访问序列挖掘算法,对返回给用户的网页簇进行二次排序,以保证用户快速、准确地获得真正关心的信息。实验证明该算法在保证查全率和查准率的基础上大大提高了搜索效率。由于是针对小文本的数据挖掘,本文研究的算法时间和空间复杂度都不高,因此有望成为一种实用、有效的信息检索技术。 作者设计了一个基于上述思想的智能搜索系统,并用于一个办公自动化系统。该系统运行速度快,能够兼顾查全率和查准率,大大提高了搜索效率。实践证明本文所研究与开发的成果具有实用性和有效性。