随着互联网和信息技术的不断发展,文本形式的非结构化数据正在不断的增加。文本分类技术能够有效地对文本数据进行组织和处理,广泛地应用在各个领域。文本分类的预处理、特征选择、文本向量化以及文本分类器的生成都需要较大的时间和空间的开销,当面对大规模的文本数据时,传统的技术并不能满足该需求。大数据技术的出现为大规模数据的处理提供了有效的解决方案,然而Hadoop采用的MapReduce并行编程模型具有一定的局限性,它是基于磁盘的,不能高效地利用计算产生的中间结果,而Spark是一种基于内存的,能非常高效地利用中间结果,并且具有较高的处理速度。本文基于Spark对文本分类的各个过程进行并行化提高文本分类效率。本文先对文本分类和Spark计算框架分别进行了分析研究,然后完成了文本分类的各个过程在Spark平台下的并行化设计,提高文本分类各个过程的处理效率。在特征选择阶段采用χ2统计方法进行特征降维,对该方法进行分析,并针对其中的不足,引入词频因子、类内分散程度以及类间集中程度三种因子对其进行改进。在构造文本分类器时,采用朴素贝叶斯分类算法对文本进行分类,通过对朴素贝叶斯分类算法分析得知该算法中最为关键的是计算特征项在类别属性条件下的概率,将一种改进的TF-IDF算法用于计算特征词在类别条件下的概率。最后,通过实验对比,对本文提出的改进方案的有效性进行了验证,实验结果表明本文提出的改进方案提高了文本分类的准确率,基于Spark计算框架的并行化提高了文本分类各个过程的处理效率,减少了文本分类的时间开销,并且具有可扩展性。在Spark计算平台下对文本分类的预处理、特征选择、文本表示、文本分类器的训练以及对待分类文本进行分类的并行化,提高了文本分类的效率,实现了对大规模文本数据的处理。