随着信息产业的迅速发展,信息检索技术也日益成熟并得到了越来越广泛的应用。另一方面由于缺乏有效的管理手段,导致互联网上不良信息泛滥。为此,本文的研究工作是对一个现有的信息检索系统――GONIA进行改造,使之能面向网络海量实时数据环境,从而为互联网信息管理提供有效的技术支持。GONIA是CERNET华东北地区网络中心早年开发的一个分布式信息检索原型系统,要将其应用到海量实时数据环境,要解决的关键问题集中在性能方面。本文通过排队论、数据挖掘等理论和双缓存、单链接、聚类等算法,对GONIA的内部算法进行了系统的分析和更新,并对数据分布存储策略进行了改良,使之可以适应于海量实时数据环境。本文第一章阐述了相关的工作背景。说明了论文研究工作的目的是为了利用信息检索技术来管理网络信息,从而使互联网能够更好、更健康地发展。第二章介绍了本文工作的基础-GONIA系统。GONIA系统的核心技术非常成熟,但不适合海量实时数据环境。在第三章主要讨论了对GONIA系统的改进。为了使得系统能够处理实时数据的搜集,系统引进了尺寸可调节的双缓存用来平滑系统入流量的随机性;为了使得系统能够处理海量数据的查询,本系统通过两段向量聚类算法构造的聚类树为查询模块提供索引,这也是本系统的核心思想;在实际中发现网络数据中垃圾邮件的比重比较大,因此本系统引入了一个重要的应用:群发邮件甄别模块,该模块和聚类模块相互合作、相互促进性能。第四章详细阐述了系统的实现。首先在GONIA的系统构架上作了新的数据分发和数据分布的策略,然后介绍了本系统的各个模块。本文工作主要集中在搜集模块和聚类模块中,因此本章着重阐述了这两个模块的实现。另外,为了进一步地提高系统的性能,本文又引入了无互斥的预处理队列内存管理机制。第五章对本系统的搜集性能、群发邮件甄别率进行了测试。最终证明了本系统基本适应海量实时数据环境。