论文部分内容阅读
随着微博、微信等新媒介的迅速发展,中文短文本信息呈爆发式增长,如何高效的组织与管理文本信息,已成为亟需解决的问题。文本主题分类,能够改善文本信息杂乱的状况,可以减少查询时间,提高搜索质量,快速有效地获取文本信息。文本主题分类的任务是依据主题分类体系,判别待分类文本所属分类体系中的一个或多个类别。传统基于机器学习的文本分类算法,需要人工预定义分类类别,标识类别语料,面对大规模文档,人工人本过高,领域移植难,分类性能过度依赖人工。本文着眼于构建一套针对大规模文档的文本主题自动分类体系,能够自动实现对大规模文档的主题挖掘和分类体系构建,高效的实现对文本主题的自动分类。LDA主题模型是一种无监督文本主题挖掘模型,能够实现对文本主题的自动挖掘。LDA自动挖掘的结果Topic中存在部分噪声Topic,其高频词通常由随机词、通用词组成,不具备主题代表性。采用信息熵、表征词覆盖率、表征词方差、Topic独立性检测等算法,能有效实现对噪声Topic的自动过滤。由于语料本身的不平衡性以及分类类别数的影响,单个LDA模型并不能实现对文本主题的充分挖掘,不同分类粒度下LDA主题挖掘结果Topic之间具备主题互补性。应用多个不同分类粒度LDA模型能够实现对文本主题的完整挖掘,采用AP聚类算法对所有模型优质Topic进行聚类,结合IGP指标、BWP指标能够自动确定最佳聚类类别数,从而实现多模型完备主题分类体系的构建。依据多模型完备主题分类体系,采用多模型并发投票决策机制,有效扩展了文本主题、提升了分类准确率和稳定性。实验结果表明,基于多模型LDA文本主题分类技术,能够高效的实现文本分类体系的自动构建,体系主题覆盖全。采用多模型投票决策的分类机制,提升了分类准确率与稳定性。在对微信公众账号数据测试结果中,最佳F-值为0.89,高于单模型LDA的最佳F-值0.77,SVM对应最佳F-值为0.72。