信息检索(Information Retrieval),通常指文本信息检索,包括信息的存储、组织、表现、查询、存取等各个方面,其核心为文本信息的索引和检索技术。从历史上看,信息检索经历了手工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。 目前,信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的Web内容;信息检索的用户也由原来的情报专业人员扩展到包括商务人员、管理人员、教师学生、各专业人士等在内的普通大众,他们对信息检索的效率和准确性提出了更高、更多样化的要求。现有的信息检索工具(搜索引擎)的查全率和查准率不高,为了提高信息检索工具的查全率和查准率,人们提出了各种各样的技术和算法,旨在使信息检索工具更趋于智能化和人性化。 本文在研究传统信息检索技术实现的同时,结合现有的网页分类技术,对智能信息检索进行了较为系统的研究。在此基础上对基于分类的智能信息检索中的中文分词、网页索引、网页特征提取、网页分类、提出了一定的思考和见解。论文主要工作如下: (1)本文首先针对网页结构的特点,分析了网页中对分类过程有贡献的信息成分。使用了一种简单而又高效的词典存储方式,使其在切分速度上有了很大的提高,而所得到的切分结果也基本上满足网页分类中对中文分词的要求。采用了词串统计的方式,提高了未登录词的识别几率。 (2)传统的中英文分类的特征提取方式并没有考虑汉语词语之间的语义关联(反义词、近义词、同义词),在本文中,我除了考虑了语义关联,还提取了网页标题,一起参与特征词的提取,使特征词的提取较传统的方法更为合理,并对CHI公式做了一些改进,使之更符合中文Web的特征表示。 (3)研究了现有的网页分类方法,结合了网页的特点,在传统的特征加权公式的基础上,提出了一种网页分类的特征加权公式。 (4)对网页的索引及搜索进行了探讨,并这两项技术进行了编程实现。 (5)在上述理论的基础上构建了一个较为完整的分类检索系统,使用VC++6.0开发环境,在Windows操作系统上实现了一个分类检索系统,并对实验结果做出了评价。