论文部分内容阅读
移动宽带网络的高速发展,给人们的生活带来了便利,每时每刻都会有大量的数据上传至网络,据统计至2020年数据量将增长近10倍,随之而来的是网络上文本数量高速增长。在大数据背景下,如何发现包罗万象的文本数据中最具价值部分显得至关重要。为此,作为信息检索、文本挖掘的根基,文本分类一直受到广泛关注。一方面,对于中文文本的分类需首先进行中文分词操作,然而中文常用词汇多达几十万个,大规模的文本集由全部分词构成的特征词库会有很大维度。因此,特征选择与提取是非常必要的。另一方面,传统的集中式系统框架不能满足大数据分析处理的要求。Google提出的并行编程模型MapReduce,为处理海量文本数据的分类创造了条件。在设计思想借鉴Google公司MapReduce的基础上,开源的Hadoop分布式系统实现了并行编程模型的框架MapReduce。本文选择基于Java设计开发的Hadoop开源MapReduce并行计算框架和系统,主要做了如下工作：(1)研究了文本分类的流程以及与之相关的一些技术,对特征选择、文本分类算法等重要内容做了比较详细的介绍。对于正逐步成为大数据处理有力工具的Hadoop平台,本文主要对其中的MapReduce并行化编程模型和分布式文件系统HDFS做了较为深入的研究。(2)考虑到中文文本分类的预处理需要进行分词与去除停用词操作,在比较了两种并行化分词的方案之后,选择更加高效的方案设计了一套基于MapReduce且集成了去除停用词的并行化分词框架。大规模文本集输入时,预处理之后往往会产生庞大的特征空间,此时需要经过特征选择,提取出最具有区分能力的若干特征项,降低特征空间的维度。在分析了传统的互信息特征选择算法的不足,以及研究了他人对于该算法改进的基础上,提出了一种基于类间差异的特征选择方法CDMT,同时为其并行化实现设计了一套基于MapReduce的CDMT特征选择框架。(3)将MapReduce框架应用到文本分类领域,在分析了朴素贝叶斯分类算法的基础上,设计了一套基于MapReduce的并行化朴素贝叶斯分类框架,并搭建了一个Hadoop实验环境,结合特征选择方法进行测试,实验结果表明采用CDMT提取特征项后提高了分类性能。