论文部分内容阅读
随着互联网技术的快速发展以及互联网的普及,网络上的信息数据呈指数幂级增长。在这些海量数据中,类似于Web文本结构化或半结构化的数据居多,因此如何快速的在网络上查找定位用户需要的有效信息成为一项迫切需要解决的问题。为了提高用户查找效率和准确率,对这些结构化或半结构化文本数据有效的整理分类是至关重要的。虽然分类技术已经发展到一定成熟阶段,但是面对海量数据时,由于计算机硬件发展速度永远赶不上客户需求的速度,面临着如何在现在有的硬件基础上实现海量数据高并发处理,以及快速响应的挑战。因此本文的研究目的在于设计和实现了一种大规模文本自动分类系统。在面临海量数据呈指数幂级增长和分类需求迫切,以及云计算兴起和分类技术相对成熟的背景下,提出了一种基于Hadoop文本自动分类设计与实现的方法。首先,对Hadoop系统框架进行研究,包括其子项目MapReduce和Hadoop分布式文件系统(HDFS)的研究,然后建立配置Hadoop集群系统。其次,对当前成熟的分类技术和算法,文本向量化,文本预处理,特征词选择进行研究,并制定文本分类模型。最后,基于Hadoop系统集群下,采用Linux脚本对文本分词、去停用词和词根还原等处理,采用MapReduce编程模型对特征词选择过程,文本向量化过程、训练学习过程和检验测试过程等处理。该文本自动分类系统降低了对硬件的要求,节约成本,满足了海量数据高并发处理的需求,提高了数据处理速度和效率,具有较大的实际应用价值。