论文部分内容阅读
随着Internet的迅速普及,电子邮件已经成为人们进行信息交流的重要手段之一,它极大地方便了人们的工作、学习和生活。但近年来,垃圾邮件的泛滥愈演愈烈,对Internet的良性发展造成了很大危害,如何有效地抑制垃圾邮件的传播已经成为相关领域的重要研究课题。本文从国内垃圾邮件泛滥的现状出发,以垃圾邮件过滤中的关键技术为研究内容,重点对中文邮件特征项的构造、基于支持向量机邮件分类算法和基于P2P网络的垃圾邮件样本共享策略进行了研究:1.为了解决中文垃圾邮件过滤中分词这一瓶颈问题,本文提出一种交叉N元组特征项构造策略,可以避免中文分词不准确对过滤器性能的影响,同时在一定程度上克服了传统特征项提取中特征项独立性假设与实际情况不符的缺陷。为了验证该策略的有效性,使用朴素贝叶斯分类器在开放中文邮件语料库上进行实验,实验证明该策略具有较强的抗干扰性,可以在一定场景下识别通过文字处理进行伪装的垃圾邮件。2.在统计学习理论和支持向量机分类算法的研究基础上,通过翔实的实验,验证了支持向量机在垃圾邮件分类中的有效性,通过分析各种核函数、训练样本分布对分类性能的影响,根据中文邮件分类的特殊要求,提出一种代价敏感支持向量机,通过调整学习机参数可以有效降低垃圾邮件过滤假阳性率,使支持向量分类算法更加符合垃圾邮件过滤这一特定应用需求。通过分析支持向量机在垃圾邮件分类时错误分类样本的分布特性,提出一种将分类结果划分为正常邮件、垃圾邮件和可疑邮件3个类别的改进分类算法,可以使支持向量机进行垃圾邮件过滤时进一步降低对正常邮件的误判,提高分类器的实用性。3.为了保证垃圾邮件过滤技术在实际应用中的有效性,过滤器必须及时跟踪垃圾邮件语义特征的变化,且目前对图片格式垃圾邮件的过滤仍以相似图片检测为基础,这两个问题都需要以相对完备的垃圾邮件样本为基础,因此必须实现垃圾邮件样本的共享。在深入研究全分布式结构化P2P技术以及各种分布式哈希表路由算法基础上,针对结构化P2P无法实现资源的模糊查询的缺点,结合相似文本检测技术、相似图像检测技术,提出一种扩展路由策略。该策略通过扩展DHT路由策略,基于Chord路由算法实现了相似文本和相似图像在结构化P2P网络中的聚集存储,满足分布式存储中负载均衡的要求,并在此基础上实现了结构化P2P网络中垃圾邮件样本的高效共享。最后,针对单点、单种反垃圾邮件技术过滤能力有限的情况,结合上述关键技术的研究,提出一种多层次组合、多点协作的过滤系统体系,以期达到对各种垃圾邮件更加有效地进行过滤。