万维网络信息的激增使得人们在面对海量的信息时很难进行选择,文本分类正是为了解决万维网信息检索杂乱无章的现象,作为一种信息组织和管理的技术被提出来的。然而与人工分类问题相比,自动文本分类面临许多问题,主要有:1)用于文本表示的向量空间的维数过大,在这种高维的向量上运用分类算法,很难有大的区分度以区分不同的类别;2)训练文本集必须要覆盖向量空间中的所有特征词,否则通过训练得出的分类器有可能出现偏差,然而对于一个高维的向量空间,要覆盖所有的特征词是很困难的。为了克服上述两个主要问题,特征向量空间降维的概念被提了出来,其方法在近年来得到广泛的关注和研究。本文在前人工作的基础上,着重对基于概念统计的降维方法进行了研究。本文首先对文本分类的基本概念和知识进行了归纳,分析了文本的向量空间模型的表示效力以及它对于分类效果的影响因素;讨论了对特征向量空间进行降维的必要性和基本思路;在对特征词局域性分析的基础上探讨了局部降维的优势;分析了已有的特征空间降维算法,并总结了它们各自的优缺点;讨论了特征词选择和析取的原则及其主要方法。在此基础上本文分析了词形统计的局限性并阐述了引入概念的优势;分析了概念间的层次结构关系;基于对现有的向量空间降维技术的剖析,融合概念分析的方法,提出了一个基于概念统计的向量空间降维方法;并根据在实验中发现的问题对算法进行了改进,使得算法更加完善,并分析了主要算法的时间复杂度。该方法首先对训练文本集中的每篇文本提取出原始的特征词,经过去除停用词、词义消歧的处理后,在类的内部利用概念间的层次关系(主要是上下位关系)用基于概念统计的方法对特征向量进行局部降维。得出的向量与降维前相比,低频特征词的数目大为减少,高频特征词数目增多,且高频特征词的频度得到加强,特征词总的数目减少,向量的维数降低,对于所属类别具有更强的关联性和较好的表示效力,特别是具有较低的冗余和噪音,很好地达到了降维的目的。在对所给算法进行详细说明的基础上,本文对该算法的有效性和可行性用实验进行了评估,分析了实验数据,对实验结果中特征词的频度分布的各种情况探讨了其产生的原因,并对将本文所给算法得出的特征向量运用于具体的文本分类时可能出现的结果进行了分析。另外,本文还对阀值的选取及其依据等降维处理时的取舍策略做了进一步的研究,实验结果也证明本文的阀值选取具有合理性。