论文部分内容阅读
随着微博、微信等新媒介的迅速发展，中文短文本信息呈爆发式增长，如何高效的组织与管理文本信息，已成为亟需解决的问题。文本主题分类，能够改善文本信息杂乱的状况，可以减少查询时间，提高搜索质量，快速有效地获取文本信息。文本主题分类的任务是依据主题分类体系，判别待分类文本所属分类体系中的一个或多个类别。传统基于机器学习的文本分类算法，需要人工预定义分类类别，标识类别语料，面对大规模文档，人工人本过高，领域移植难，分类性能过度依赖人工。本文着眼于构建一套针对大规模文档的文本主题自动分类体系，能够自动实现对大规模文档的主题挖掘和分类体系构建，高效的实现对文本主题的自动分类。LDA主题模型是一种无监督文本主题挖掘模型，能够实现对文本主题的自动挖掘。LDA自动挖掘的结果Topic中存在部分噪声Topic，其高频词通常由随机词、通用词组成，不具备主题代表性。采用信息熵、表征词覆盖率、表征词方差、Topic独立性检测等算法，能有效实现对噪声Topic的自动过滤。由于语料本身的不平衡性以及分类类别数的影响，单个LDA模型并不能实现对文本主题的充分挖掘，不同分类粒度下LDA主题挖掘结果Topic之间具备主题互补性。应用多个不同分类粒度LDA模型能够实现对文本主题的完整挖掘，采用AP聚类算法对所有模型优质Topic进行聚类，结合IGP指标、BWP指标能够自动确定最佳聚类类别数，从而实现多模型完备主题分类体系的构建。依据多模型完备主题分类体系，采用多模型并发投票决策机制，有效扩展了文本主题、提升了分类准确率和稳定性。实验结果表明，基于多模型LDA文本主题分类技术，能够高效的实现文本分类体系的自动构建，体系主题覆盖全。采用多模型投票决策的分类机制，提升了分类准确率与稳定性。在对微信公众账号数据测试结果中，最佳F-值为0.89，高于单模型LDA的最佳F-值0.77，SVM对应最佳F-值为0.72。