论文部分内容阅读
随着互联网的普及,电子邮件以其快捷、方便的优点逐渐发展成为人们工作和生活的重要通信工具之一。然而,随之而来的垃圾邮件问题也日益严峻,它不仅传播有害信息,而且耗费大量的公共资源,侵害电子邮件用户和企业的合法权益。尽管目前已经存在许多的垃圾邮件过滤方法,但是垃圾邮件不降反升的局面表明,已有的垃圾邮件过滤方法并未取得理想的过滤效果。所以,研究新型高效的邮件过滤系统仍具有特别重要的现实意义。支持向量机(SVM)是在统计学习理论的基础上发展而来的一种新的模式识别方法,在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势。它不仅考虑了对推广能力的要求,而且追求在有限信息的条件下得到最优结果。因此,本文将支持向量机应用于邮件过滤。但是,该技术通常仅仅被应用到基于内容的垃圾邮件过滤中,而很少在邮件标题中讨论到。短小的邮件,包括邮件内容为空的,仅通过分析邮件内容很难被断定为垃圾邮件。如果辨别时考虑邮件标题的特征,结果可能会更加客观和准确。另外,由于垃圾邮件本身的一些伪装方法比较好或者合法邮件的一些关键字和符合垃圾邮件的关键字匹配,每个邮件样本对划分的影响是不同的。一个邮件样本不能明确地归为某一类,而以一定概率或一定隶属度属于某一类,则会提高准确率。因此,仅用邮件分类输出y∈{-1,+1}表示类别信息并不恰当。从上述两个问题出发,本文提出分别根据邮件信头和邮件信体的特征,应用SVM的概率分类邮件,并在邮件的识别框架中加入“不确定邮件”,即在邮件预处理时,分别对邮件头的关键字段和邮件正文进行提取,构成邮件头特征库和邮件体特征库,然后用SVM分类器分别训练,应用SVM的概率分类邮件,分别计算出信头和信体属于垃圾邮件、合法邮件和不确定邮件这三个类别的概率。D-S(Dempster Shafer)证据理论是一套基于“证据”和“组合”来处理不确定性推理问题的数学方法,采用D-S理论能有效地提高目标的识别能力,通过D-S证据合成,目标识别的不确定性下降。于是,本文提出利用D-S理论的合成规则合并信头和信体的概率分配,得到邮件属于三类的概率分配,然后根据D-S理论的决策规则来判断邮件所属类别,降低了邮件识别的不确定性,有效提高了垃圾邮件辨别的准确率。总之,本文提出基于SVM和D-S理论的垃圾邮件识别模型,它根据邮件标题和内容的特征应用SVM概率筛选邮件,最后应用D-S理论识别垃圾邮件,有效提高了垃圾邮件过滤器的准确率。