论文部分内容阅读
信息化的飞速发展使各种文本信息呈现爆炸式增长，这给人们的工作、学习和生活提供了极大便利，但淹没于大量无用、重复信息之中的有用信息很难通过人工的方法被全面准确地提取出来，文本分类作为处理和组织大量文本数据的关键技术，可以在较大程度上解决信息杂乱现象的问题，方便用户准确地定位所需的信息和分流信息，因此具有广泛的应用前景。支持向量机是在统计学习理论的基础上发展而来的一种新的机器学习方法，在求解小样本、非线性、高维空间等问题上，它己表现出很多优于已有方法(神经网络，遗传算法等)的性能。目前支持向量机已成为机器学习界的研究热点，并在很多领域都得到了成功的应用，如人脸识别、文本自动分类、生物信息处理等。本文对基于支持向量机的中文文本自动分类应用进行了研究，主要工作如下：1．首先对文本分类过程中的各项关键技术进行了研究，这其中主要包括中文分词、特征选择、权重计算以及各种文本分类算法。特别对几种不同的特征选择方法进行了研究，通过实验结果分析和比较了它们各自的优缺点。2．分类器是文本分类的另一个重要环节，本文使用支持向量机作为分类器，从机器学习的基本模型出发，对支持向量机的基本理论、工作原理以及各种不同的实现算法进行了全面的阐述，特别对线性可分问题、近似线性可分问题以及非线性问题等不同支持向量机模型的工作原理进行了介绍。比较了不同核函数以及相关核参数对文本分类效果的影响。3．针对支持向量机算法进行中文文本分类时参数选择困难的问题，本文使用进化支持向量机算法GA-SVM，结合遗传算法的智能搜索特性和支持向量机的优良分类性能，对中文文本分类进行了研究。本文对GA-SVM算法的思想、实现流程以及相关实现技术进行了介绍，实验表明该算法对于中文文本分类具有良好的学习能力和分类效果。4．结合各项中文文本分类技术，设计并实现了一个基于支持向量机的中文文本自动分类系统。实验表明该系统具有较好的分类效果，有一定的实用价值。