论文部分内容阅读
近年来,随着互联网的不断发展和普及,各种各样的信息以爆炸般的速度产生。信息资源已经成为一种新的财富。但是,信息的日益增多带给人们诸多便利的同时也带来了诸如犯罪、色情、暴力、迷信以及邪教宣传等不良信息泛滥和信息过载等等很多问题。而且那些无用或者有害信息的信息量远远超过了我们所需要的信息量,这给人们带来了很多不便。如何准确地表达用户需求,进而在大规模的信息流中自动地筛选出满足用户需求的信息并过滤掉无用信息和不良信息,使人们更有效地利用信息资源,已经成为当前互联网研究和发展的一个重要问题。信息过滤便是在这种情况下产生的。信息过滤随着信息检索的发展而长期被人们研究。它是一个寻找符合人们兴趣的信息的处理过程,也就是从大量的动态信息中找出最大程度地满足用户真实需求并且滤除其它无用信息和非法信息的过程。信息过滤根据处理的信息内容可以分为文本信息过滤和非文本信息过滤。文本信息过滤,即文本过滤,就是根据用户的信息查询需求,从动态文本流中检索满足用户需求的文本的过程。TREC把文本过滤分为两种类型:一种是基于内容的文本过滤;另一种是基于合作模式的文本过滤。文本过滤作为信息过滤的一个研究分支,它涉及的知识范围非常广泛,综合了自然语言理解、人工智能以及知识论等领域的知识,其关键技术主要包括文本分词、文本特征向量降维、文本特征提取、用户模板和过滤阈值初始化以及机器学习等。本文研究的内容是文本过滤,主要是Internet上文本的过滤。论文的主要工作集中在自适应文本过滤系统的关键技术上,主要从以下几个方面进行了探讨:1.对当前广泛采用的一些文本过滤评价指标、文本特征项权重评估函数以及用户模板学习方法进行了总结。2.在分析研究期望交叉熵和互信息这两个文本特征项权重评估函数的基础上,基于两者对特征项权重评估的不同侧重功能,提出了将两者结合起来对文本特征项进行权重评估并在此基础上进行特征提取的方法。相关实验结果验证了该方法的可行性。3.提出了一种基于概念学习的过滤模板获取方法。该法结合处理文本特征项的需要改进了概念学习方法中的寻找极大特殊假设算法,并应用新的算法从给定的少量训练文本中提取用户过滤模板。实验结果表明,与直接使用主题描述作为过滤模板的方法相比,该法