基于改进Winnow算法的中文反垃圾邮件系统的研究与实现

被引量 : 0次 | 上传用户:kingwill
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的广泛应用,电子邮件已经是人们日常生活网络交流的重要途径。然而垃圾邮件作为商业广告、病毒程序或敏感内容的载体,已经对系统安全形成威胁,并且给人们的生活带来不便。反垃圾邮件问题已成为全球性的具有重大现实意义的课题。本文深入研究了垃圾邮件内容过滤技术,结合中文垃圾邮件的特点,设计并实现了一种基于自动分类技术的中文反垃圾邮件过滤引擎。该引擎分成预处理、训练、分类和反馈四个部分。在预处理方面,本文分别研究了邮件解码、中文分词、特征提取以及邮件的向量表示等子模块。对于中文分词,本引擎采用了中科院的汉语词法分析系统ICTCLAS;对于特征提取,采用了互信息值的方法。训练及分类是本文研究的重点。首先,对基本Winnow算法的指数形式和因子形式进行了统一,并由此推导出了Balanced Winnow算法的指数形式;其次,鉴于基本Winnow算法的抖动现象,提出了一种改进Winnow的反垃圾邮件过滤算法——Review Winnow,该算法不仅有效地缓减了抖动现象,而且所选用的损失函数能更真实地描述分类错误邮件的内在损失;再次,通过去除邮件样本集中存在的野点和利用改良的Boosting算法,提升了Winnow分类器的性能,并由此构建了ADOR-Winnow邮件分类器;最后实验证明,Balanced R-Winnow算法有效地缓减了抖动现象,ADOR-Winnow邮件分类器极大地提高了分类器性能。在反馈方面,本文提出了一种基于网格的反馈学习模型。该模型通过用户分类,将反馈级别从一般的两级延伸到系统级、域级、用户级三级。这种改进不仅有利于组间的协同过滤及集中式的反馈学习,而且有利于提高邮件分类器的过滤性能。
其他文献
SiC作为一种宽禁带半导体材料,其禁带宽度大、临界击穿电场高、饱和漂移速度高、热导率高、内部Si-C键能大、抗环境腐蚀能力强、抗辐射性能优异。绝缘栅双极型晶体管(IGBT)是
随着媒体之间竞争态势不断加强,媒介运营模式越来越关系到媒体的生存和发展。作为高校信息传播互动的平台和思想交流共享的园地,校园媒体既有大众传播媒介的共性,又有面向校
新时期随着我国经济的快速发展,我国卫生事业也取得了飞速发展,由于长期受到市场经济的体制和旧的管理机制的影响,医疗卫生经济管理工作中存在着一些严重的不足,主要体现在预
介绍了低Cr油套管开发的工程背景。综述了低Cr油套管的耐CO2/H2S腐蚀性能,详述了多种因素(如Cr含量、温度、p H值、流速等)对低Cr油套管在含甜性气体(仅含CO2)环境中的腐蚀行为和
<正> 近年来,我国史学界对抗日战争的时间,争议激烈,有的主张“抗战十四年”,有的坚持“八年抗战论”。半个多世纪以来,“八年抗战论”,充斥着国内外许多书刊、报纸、文集、
目的探讨护理干预在维持性血液透析患者动静脉内瘘中的应用。方法选择血液透析动静脉瘘患者98例,随机分为观察组和对照组各49例,观察组实施动静脉内瘘综合护理干预,加强健康
作为降低和控制车辆排气噪声的一种有效手段,消声器在发动机排气系统中得到了广泛的应用。当前消声器的设计理论,一般都是基于平面波假设,并忽略了气流再生噪声的影响。实际
该文通过对济南市急救中心2013年1月—2015年12月完成的216次大型活动院前急救医疗保障任务的讨论与分析,总结实际工作中的经验和教训,以便今后工作中制定出更加科学合理的工
概述了玻璃钢的特性,介绍了玻璃钢/复合材料在建筑结构中的应用情况。随着我国建筑节能标准的不断提高,玻璃钢/复合材料在建筑领域将会有更广阔的发展应用前景。
伴随着Internet的发展和信息时代的到来,电子商务将成为21世纪主流的商业模式。网上书店是随着这些网络技术的发展而出现的一种新型图书销售渠道。它通过人与电子通信方式的