随着互联网技术的发展和云计算技术的流行,提供网络服务的互联网公司每天生成和需要处理的数据呈爆炸式增长,海量数据已经逐渐将我们包围。数据的不断增长给人们带来了巨大价值,同时也给人们带来了巨大的挑战。如何分析和挖掘这些数据背后隐藏的有价值的信息,已经成为很多大型企业所关注的焦点。大规模文档信息资源的自动化处理是海量数据处理中较受关注的一个领域,企业通过对文本数据进行分类,不仅可以对数字资源进行有效的整理,而且保证数字资源被全面检索和充分利用,满足用户对信息咨询服务的需求。但同时互联网企业产生的文本数据又具有海量,复杂等特点,面对现在飞速增长的文本数据,传统采用单机来处理的方式已经逐渐满足不了人们的需求,如何高效率的对海量文本进行分类整理并且挖掘出有价值的信息,这是本文的一个关注的问题。Hadoop是目前最流行的用于处理海量数据的开源分布式框架。Hadoop主要的组件包括HDFS和MapReduce。HDFS是Hadoop集群提供的分布式文件系统,而MapReduce是一种分布式框架,通过这两者的结合,可以对海量的文本数据进行有效的处理。本文研究了Hadoop进行分布式处理的步骤和原理,在其基础上实现了文本分类流程中各个部分的并行化,并且通过并行统计计算朴素贝叶斯算法的条件概率和先验概率的方式以及对样本进行分组训练的方式分别实现了基于朴素贝叶斯和支持向量机两种分类算法的分布式文本分类系统,通过与单机系统处理结果的对比,论证了Hadoop系统在进行文本分类时的效率要高于单机,并且取得良好的分类效果。