近年来,由于互联网数据大规模增长而导致文本数据的高维稀疏性,为文本分类技术发展带来了严峻的挑战。因此,为应对爆炸式数据增长问题,数据特征降维算法成为国内外学术界日益研究的热点之一。特征降维,即从特征集合中挑选或抽取与类别相关性强、特征间冗余度小的特征子集,降低特征空间维度,对文本分类技术的优化具有不可忽视的作用。目前,特征降维主要分为三类,过滤式、封装式和嵌入式方法。过滤式方法计算效率高,特征评价模型简单,但只关注单个特征,忽略了不同特征之间结合可能带来更好效果的可能性。而封装式方法尽管能够产生对分类精度具有较高价值的特征集,但由于其较高的计算成本,而难以得到广泛的应用。因此,本文通过研究分析聚类有效性指标在文本分类中的应用,提出一种基于聚类有效性指标的特征降维算法(WB-Index Sequential Forward Selection WBI-SFS)。由于WBI-SFS算法不依赖特定的分类器评估特征子集,因此属于一种过滤式特征选择算法。WBI-SFS算法既有过滤式算法的短时间开销特点,又具有较高分类精度,两者兼备。WBI-SFS算法的主要创新点有两个:第一,利用高效、线性的聚类有效评价指标代替传统的过滤式评估函数或分类算法作为特征子集的评估度量方式。该算法代替了封装式方法中基于分类器的交叉验证过程,降低了计算成本。第二,结合序列前向搜索方法遍历全集,迭代生成候选特征子集。该遍历搜索方法理论简单,应用范围较广,具有很好的普适性。将WB-index指标与特定的搜索方法结合,解决了在数据高维稀疏问题中搜索最优特征子集和迭代评价特征子集的耗时长问题。本文通过在两种不同类型数据集上多次实验后,进一步证明了WBI-SFS算法无论在文本类数据集,亦或是非文本类数据集上,都具有较好的分类和效率性能。最后,本文以WBI-SFS算法为核心,设计并实现一套应用于网络流量分析、流量清洗,基于统一策略和应用规则的内容识别与过滤的网络内容识别原型系统,“净云”网络净化系统。该系统的核心功能旨在对包含不良信息的网页自动进行识别、分类、过滤与屏蔽,从而引导未成年人正确使用网络,抵御外来不良信息的入侵。