基于贝叶斯分类的中文垃圾邮件过滤方法研究和改进

被引量 : 0次 | 上传用户:jin1067061730
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,电子邮件已经成为人们信息获取和信息交流的一个越来越重要的渠道,电子邮件已经成为互联网上最重要的应用之一。与此同时垃圾邮件成为作为互联网上的一个日益严重的全球性安全问题,越来越得到社会大众和研究人员的重视和关注。本论文对中文垃圾邮件的特点进行了比较系统的分析和研究,将贝叶斯学习分类方法做了一些适应中文语言的特点的改进,应用到中文垃圾邮件过滤这一领域。我们着重研究并定量比较了几种不同的token获取方法,包括基于词典的中文分词、N-gram方法和人工中文分词对于贝叶斯学习分类方法最终准确性和效率的影响。我们发现,和传统直观上基于词典的中文分词方法获得token相比,基于N-gram的token获得方法不但没有降低垃圾邮件分类的准确性,而且大大提高了其学习和分类算法的效率,获得了比原有方法快几倍的学习和分类速度。而且我们还发现N-gram方法对贝叶斯方法的性能的影响很大程度上依赖于我们选取的token的长度,最优的长度值介于2和3之间,这也是中文语言特性的一种反映。本文作者采用中国教育科研网(CERNET)收集并维护的大量中文垃圾邮件和正常邮件样本的标准数据集,对本文研究的方法进行了大量测试,准确率和误判率分别达到了97.2%和1.2%,结果表明本文的方法是十分有效的,而且由于不用切词,效率大大提高。本文的工作为贝叶斯学习分类方法在中文垃圾邮件过滤中的应用提供了一些理论分析和实验上的指导。本文也将我们修正的贝叶斯学习分类方法应用于在当前另一个新问题——垃圾短信中。我们发现,在中文垃圾邮件过滤领域取得很好效果的贝叶斯学习分类方法在垃圾短信过滤领域并没有取得预期的效果。说明对于垃圾短信需要针对具体问题具体分析,研究开发相应的适合特定问题的具体方法。在硕士论文的研究过程中,基于本文的方法,作者开发了客户端基于Windows操作系统数据包截取的中文垃圾邮件过滤系统。
其他文献
受环境介质及地下水环境的多种因素等复杂作用影响,地下水污染物运移具有较强的空间变异性。在地下水环境质量评价、风险评价及污染物运移模型研究中,往往需要掌握污染物详细
<正>纪检体制、监察体制和纪检监察机构"三项改革"一体推进,对基层纪检监察工作理念方法程序提出了新挑战,尤其对案件审理工作要求更高,不仅要围绕做到"两个维护",练就政治慧
作为数学教师,我们应该正视学生在学习过程中出现的错误,立足于学生,和学生一起去探索、学习数学知识,真正发挥学生学习主体作用,数学教师要善于变“错”为宝,正确对待学生在
<正>山西晋城无烟煤矿业集团有限责任公司(简称"晋城煤业集团")是国家规划的13个大型煤炭基地中晋东煤炭基地的重要组成部分,是全国19个首批煤炭资源国家规划矿区之一,是全国
目的探讨急性淋巴细胞白血病患者治疗过程中出现脾梗死等血栓栓塞疾病的临床表现及治疗。方法对1例急性淋巴细胞白血病患者治疗过程中出现脾梗死、全身多器官功能衰竭的临床
道教科仪对音乐的直接影响首先体现于道人对“道”的感悟,道教之“道”是通过道教科演而实现的,并贯穿于科仪的整体序进中。道教科仪音乐除具有其它音乐所共有的一般性功能外
本文以上市公司金字塔股权结构的形成原因为研究起点,以国有企业的发展方向为研究脉络,通过对“五粮液”与“草原兴发”两个案例的分析,探讨金字塔股权结构在我国资本市场中发挥
任访秋的《中国现代文学史》以其鲜明的学术特色在现代文学史编纂史上占有非常重要的地位。其学术特色和价值集中体现在以下几个方面:对近代文学与现代文学渊源关系的考察与
在美声唱法训练中,声乐技巧一直被摆在首要的地位甚至被视为全部的训练内容。笔者认为除了声乐技巧训练,还有几项"非技巧"的要素应纳入到日常教学的要求中去,就此,笔者在本文
本文首先介绍了开关磁阻电机调速系统在国际国内的发展概况与主要研究方向。然后着重分析了开关磁阻电机的结构特点,开关磁阻电机调速系统组成,及本系统所采用的控制策略:低速定