论文部分内容阅读
信息资源的爆炸性增长将文本挖掘技术推上热潮,越来越多的人希望能够快速从大量的信息资源中获取到有用的信息,文本聚类作为文本挖掘中的关键技术,对从大量的文本信息中找到有用的信息起到了至关重要的作用。研究文本聚类算法,发现算法中存在的问题,并针对性的进行改进,成为了近年来不少学者研究的重点。 文本聚类的算法中最经典的k-means算法因操作简单、收敛速度快等优点被广泛使用,但它也存在两个显著的缺点,即对聚类数目敏感和对初始中心点敏感。本文仔细研究了大量文献资料和相关的理论知识,在对现今国内外研究现状有一定了解的基础上,结合遗传算法较强寻优性的特点提出了基于双重遗传的k-means文本聚类算法,简称TCDGK算法。该算法的核心思想是利用外层遗传算法控制聚类数目,内层遗传算法控制初始中心点,实现对两个随机因素的双重优化。为增强算法可用性,先根据内外层控制参数的不同,分别对外层使用二进制编码,而对内层使用十进制编码,实现分层编码;再采用类间距离DBG和类内距离DIG来评价聚类结果的好坏,并提出H值的概念,将H值作为遗传算法的适应度函数。该算法的目标是在算法结束后能够同时求得最佳的聚类数目和初始中心点。 为证明TCDGK算法的性能,本文将UCI数据集中的Iris数据集和Glass数据集作为测试数据,将其运算结果与其余五种算法进行对比,并将准确率、召回率、F值和纯度作为评价指标。为了验证TCDGK算法在文本挖掘中的应用,本文将复旦大学中文语料库作为本次文本挖掘的实验数据,对它进行了文本分词、去停用词、特征提取等处理,对文本处理结果进行聚类运算,再将得到的结果与传统k-means算法结果进行对比,从而证明了TCDGK算法的有效性和可用性。最后,将本次的实验过程用可视化界面展示出来。