随着Internet的飞速发展,庞大的Web资源日益演变为人们获得知识与信息的来源。与此同时,由于Web资源的迅速膨胀以及Web信息的分散性与异构性,用户很难通过易用的方式快速准确地从Web上获取所需的信息。因此,如何快速有效地对Web信息进行分类和索引以提供面向用户的快速检索访问成为一项重要的研究课题。本文研究的内容基于Web数据挖掘以及文本聚类索引的研究,通过具体实现整合的分布式Web挖掘、索引和搜索的SmartFILTER-3系统,重点讨论了当前流行的Web挖掘以及搜索引擎的核心技术,包括:分布式网络节点的体系结构:用于网络环境中服务节点的分布式部署和连接,本文讨论并提出了基于多种接口的“分布式自治域”设计。语言过滤分词、中文字词切分算法:考虑到拉丁语言与中文语言的差异,本文讨论了各自的语言分词算法,特别针对中文语言的特殊性,提出了基于字典的“词元”分词算法。海量索引的存储:面向Web的快速索引与搜索的服务中,海量数据索引快速存储的能力是关键性的,本文讨论并实现了基于BerkeleyDB的快速存储模型。分布式Web信息挖掘:对于Web的信息获取分析,本文讨论并设计实现了基于动态脚本控制的Web信息挖掘系统。基于全文索引的快速查询:依据已经索引的文档信息,全文索引查询提供使用者快速搜索文档中任何信息片段的能力,本文讨论并设计实现了具体的原型系统。