面向海量邮件日志的异常信息发现与挖掘

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:wqh4975156
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
电子邮件因为其方便、快捷、低成本的特点成为了人们生活中和工作中不可或缺的信息传递媒介,也因此导致垃圾邮件泛滥成灾。特别是在高校,这种问题尤其严重。杜绝垃圾邮件的传播,有效地对邮件系统进行垃圾邮件的过滤,是学校,乃至企业网络中心十分关注的核心焦点。现如今已存在许多相关研究,比如常用的贝叶斯、支持向量机过滤算法,也获得了很多成果,但是大部分都是基于邮件内容的过滤算法。在现实中,往往因为隐私问题无法获取邮件的文本内容,并且基于内容的过滤也耗费了大量的处理时间。因此,必须寻求新的方法和算法。本文以某高校的邮件系统为例,提出了一种基于ELK对邮件日志的信息处理架构,能够实时处理大量日志流数据,在现实中,高校邮件系统每天产生可达上亿数量级的邮件日志,该框架对上亿的吞吐量仍然表现良好。然后利用正则表达式进行日志分析,提取日志中实验所需的信息,如发件人、收件人、发送时间、接受时间等元素,并定义了邮件事件的概念将所得元素组合进行建模,存入图数据库。然后引入用户基本行为模式单元(简称模式单元)的概念,改进了用户行为模式挖掘算法,提取用户行为特征,通过分析快照中的特征,发现邮件信息的异常。实验证明,该方案能实现对大规模量数据的实时处理与建模存储,满足邮件系统的需求。本文的主要工作在于提供了一个新的工具组合ELK+Neo4j处理邮件日志,利用ELK实现邮件日志的实时搜索。采用正则表达式的方法提取邮件日志中零零散散的信息,将零碎的信息组合建模,提出邮件事件的概念,将事件存入图数据库Neo4j中。引入模式单元的概念,改进了用户行为模式算法来检测用户异常信息,发现垃圾邮件。
其他文献
目的观察高压氧联合康复锻炼对颅脑损伤后肢体偏瘫的治疗效果。方法对72例颅脑损伤患者采用高压氧结合康复训练治疗,治疗前后,用Brunnstrom六级评定法评定肢体运动功能、Bart
<正>结合普通高等学校实验教学改革与创业的新局面的情况下,对高校学生创新实验教学平台的设计与探索,结合目前实际情况提出了创建与创新的实验教学平台的建设理念的模式中,
一、形成立体交通联盟经营势在必行联盟在现代市场营销学中叫企业战略联盟,目的足为了共同拥有市场、实现资源优势互补。世界巨型公司,如IBM公司、西门子公司、飞利浦公司,部很
即使安装有杀毒软件的用户在使用时也会遇到一些疑问。比如有的时候提示某个文件是病毒,但是这个文件正好又是非常急需使用的,这样就会让用户非常为难。其实利用VirusTotal这
对病毒木马进行查杀,只是万里长征第一步,接下来,我们还有太多的康复工作要做。1防止死灰复燃,斩尽一切鬼魅病毒木马被查杀后,许多文件会残留在系统文件和磁盘引导区中,如果
脉红螺是我国重要的经济贝类,主要分布在黄海、渤海与东海,其具有繁殖率高、生长速度快、营养价值高等特点。人们对脉红螺的需求越来越高,它已经成为我国渔业重要的养殖捕捞
随着水运行业的迅速发展,水上交通安全越发受到重视。船舶碰撞事故作为水上交通事故中发生最频繁、造成损失最严重的事故类型之一,其发生往往会造成较为严重的后果。识别船舶
微信收费 绝对不合理不管是电信三巨头直接向腾讯收费,还是变相从消费者那里直接收费,在广大消费者限里,这都是不合理的。调查数据中,高达7成以上的读者认为包括微信在内的即时通
目的:探讨胰腺神经内分泌肿瘤(pancreatic neuroendocrine tumours,pNETs)的临床诊断、外科治疗以及预后因素。方法:回顾性分析我院2006年3月至2015年7月收治的30例pNETs患者
我们于1998年9月至2000年12月将收治的100例脑梗死患者,分别采用葛根素和川芎嗪进行治疗,现将疗效对比观察结果总结如下.