论文部分内容阅读
在信息化时代,数据已经成为一种宝贵的资产。如何高效准确地从这些数据中挖掘出有价值的信息和知识,一直备受学术界和工业界的关注。贝叶斯分类方法是机器学习和数据挖掘研究领域的重要数据处理方法之一。朴素贝叶斯分类方法具有简单、高效、分类效果稳定的优点,同时还具有坚实的理论基础,因此在实际应用中得到广泛的重视。另一方面,朴素贝叶斯为了简化分类模型,而假定分类数据各个属性间是相互独立的,这在实际应用中通常很难完全满足,如此就使得朴素贝叶斯方法在处理复杂问题时受到一定的限制。为此很多研究人员通过放宽属性独立性假设这个条件来提高朴素贝叶斯分类方法的分类性能。近年来,属性加权的方法受到越来越多的重视。随着信息化的高速发展,信息量呈指数级增长,其中蕴含着非常丰富的商业价值,海量数据处理和海量计算是数据挖掘领域的一个常见问题,数据挖掘最初只是用于处理少量的、有着良好结构的数据,而随着数据规模增大,传统数据挖掘算法已很难胜任。云计算技术的出现,为处理大规模数据提供了一种有效地解决方案。而要运用云计算技术解决大规模数据挖掘问题,一个重要问题是如何将传统的数据挖掘算法并行化,并行之有效地部署到云计算平台上去。本论文首先介绍了朴素贝叶斯分类的相关理论,并分析了当前一些学者对朴素贝叶斯分类算法的一些改进方法,然后重点讨论了属性加权对朴素贝叶斯最终分类结果的影响。据此,本文提出了基于差分进化算法的属性加权朴素贝叶斯分类算法,采用差分进化算法优化属性权值,实验证明该算法能够提高分类的准确率。随后本文针对海量数据问题,介绍了Hadoop云计算平台和MapReduce编程模型,并详细分析了朴素贝叶斯分类算法的并行化过程,据此,提出并实现了基于Hadoop平台的并行高斯分布朴素贝叶斯分类算法来处理大规模连续型数据,实验证明该算法不仅能够提高分类准确率,而且能够加快处理速度。