论文部分内容阅读
随着互联网的快速发展,大量的短文本数据出现在网络中。如何挖掘这些数据中有价值的信息,这是当前研究的一个新热点。短文本具有高维稀疏性的特点,并且数量庞大、更新速度快,由此带来的标注瓶颈和概念漂移等问题,使得在短文本分类中使用传统的文本算法的效果不太有效。因此,有必要研究一种适用于短文本的分类算法以及系统。半监督聚类可以结合少量有标签样本和大量的无标签样本进行学习,有效地发现样本的分布特征。本文通过结合半监督聚类来提高短文本分类的性能,在一定程度上弥补了有标签样本的不足并改善类别不平衡和概念漂移的问题。本文主要研究内容如下:首先,提出了一种结合半监督聚类的新型短文本分类算法。针对短文本的高维稀疏特点,本文首先提出一种改进的半监督Kmeans算法,从距离度量和质心迭代方面进行了相应的改进。然后设计了一种融合算法将半监督Kmeans的预测结果与SVM的预测结果进行融合以进一步提高预测的准确率。该方法可以实现半监督聚类和分类算法在短文本分类上的优势互补,充分利用了短文本数据集中大量的未标记样本,同时改善了类别不平衡问题。其次,提出了一种结合半监督Kmeans和SVM的新型协同训练框架(SCC-Co-training),该框架利用半监督聚类和分类的差异性来提高泛化能力。通过迭代训练,进一步实现半监督聚类算法与分类算法的优势互补。在SCC-Co-traini ng框架下,重新定义了两个学习模型的目标函数进行了算法改进,改善了短文本分类领域所遇到的标注瓶颈和概念漂移的问题。最后,基于上述算法设计并实现了一个中文短文本分类系统,包括四个模块:(1)预处理模块。针对原始的短文本数据进行了解析、分词、去停用词等一系列操作。(2)特征处理模块,实现了短文本数据集的特征表示及选择。(3)算法训练模块,基于处理好的短文本数据集并利用本文提出的算法进行模型的训练。(4)文本分类模块,实现了对测试文本的预测以及结果文件的保存。通过在11个短文本数据集上的实验结果与其他短文本分类算法的比较,证明了本文提出的算法的有效性,一定程度上解决了有标签样本不足的情况并改善了类别不平衡以及概念漂移的问题。