论文部分内容阅读
随着全球信息化的迅速发展和互联网的普及,这种新的信息传播途径改变了人们的生活方式,但是互联网中的数据作为信息载体也呈现了爆炸式增长。对这些数据进行有效的组织和挖掘,以期望更加迅速、精确和全面找到用户所需要的信息是当今信息科学领域面临的一大挑战。为了应对这种挑战可以对这些数据进行挖掘,文本挖掘主要有文本分类、文本聚类、文档摘要等方法,由于文本分类是人们获取知识和认识事物的一种非常重要方法,并且其在自然语言处理、自然语言理解、机器学习和主题识别等领域都起着关键作用,所以基于文本内容的自动分类研究己成为备受关注的研究热点之一。文本分类是这样一个过程,为需要分类的文档集归到确定一个类别并且这些类别都是预先定义的。文本分类一般包括了文本的预处理、特征提取、分类器的选择、训练集训练、测试集测试、分类结果的评价等步骤。在这些步骤中,由于特征提取的好坏对分类结果影响比较大,对其研究就成为文本分类中当前的一个热点。特征提取是通过对原始特征进行降维,以达到去除特征集中对文本分类无意义的特征,进而提高分类效果的最终目的。传统的文本特征提取方法都是基于数理统计的,忽略了文本中词项之间的语义关系。本文试图通过引入语义信息与传统的特征提取方法结合,达到数理统计信息和语义信息全部融入分类算法的目的,以提高文本分类的效果。本文对文本分类相关技术、主题模型进行了介绍,并进行了以下研究工作:(1)分析了传统的CHI和MI特征提取方法的不足之处,针对问题提出一种基于两种方法的特征提取方法FSCM。FSCM通过对CHI和MI特征提取方法的不足之处进行相应的参数修改,然后对两种方法结果进行融合来实现。(2)通过分析传统引入语义信息方法的不足,利用了在LSI、pLSI模型上扩展出来的LDA模型来解决,这种方法可以在不引入外部知识库的情况下挖掘出文本隐藏的语义知识。基于这个特性,提出一种结合CHI和LDA模型的方法并应用于相应的分类算法进行文本分类。