论文部分内容阅读
在信息化时代的今天,电子邮件成为了我们日常生活中最重要的交流手段之一,与其相伴而来的垃圾邮件也在日益增长,影响着人们的生活。传统的垃圾邮件过滤技术,如“黑白名单”、“关键字过滤”等方法在一定程度上实现垃圾邮件的过滤,然而,面对邮件用户群体的膨胀,邮件数量急剧增长,邮件种类也日益庞杂,传统的邮件过滤技术已经捉襟见肘、后继乏力。云数据挖掘是将数据挖掘技术与新兴的云计算技术相结合。借助云平台对大数据的并行计算能力实现对海量数据的处理,很好的解决了在海量数据处理时存在的计算与存储瓶颈。本文利用云数据挖掘技术对垃圾邮件进行过滤。本文选取贝叶斯邮件过滤算法作为研究对象,在深入研究了Hadoop平台在海量数据处理方面的核心技术之后,针对传统分布式贝叶斯算法实现中存在效率低、误判率高、前期训练消耗资源大等缺点,对贝叶斯邮件过滤算法进行了优化,决策规则是根据待过滤邮件被判定的结果集,由决策表产生规则,然后根据相应的规则与贝叶斯算法结合对邮件进行过滤,使邮件误判率大大降低。再根据一种基于Hadoop开源云架构的MapReduce模型,在处理大量邮件时对其进行并行化处理,这样在提高邮件过滤准确率的前提下提高垃圾邮件过滤的效率。实验结果表明,贝叶斯邮件过滤的MapReduce模型,在召回率、查准率和判对率等指标方面都有良好的表现,同时也提高了过滤的执行效率。