基于层次聚类的日志分析技术研究

被引量 : 0次 | 上传用户:cx77287728cx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的普及和迅速发展的宽带通信业务,把人们带入了一个信息极大丰富的时代。然而在给人们带来较多便利的同时,伴随而来的信息安全事件也越来越多,造成了巨大的经济损失,预防和阻止安全事件的发生变得尤其重要。日志用于记录系统日常运行的状态,检查错误发生,发现入侵时留下的线索,可以实时防止和杜绝信息安全事件的发生,因此,应用日志来进行网络安全分析已经成为一个热门的研究领域。本文重点研究了层次聚类算法Chameleon及其改进算法,在分析其存在的不足后通过引入共享近邻加权图对算法进行改进,然后将改进的算法应用到日志分析中,并结合Hadoop中的分布式存储系统(HDFS)和MapReduce机制设计了在线日志分析系统,最后,将改进的具有消息链接恢复的签密方案(Message Linkage Recovery Based on Elliptic Curve,ECMLR)对分析得到的数据及用户指定的重要日志进行保护。主要研究内容包括:1.深入研究了计算机系统日志及日志分析常用方法首先简单阐述了日志的概念、特点、作用及Windows日志的组成,然后总结了日志分析常用的方法及这些方法的优缺点,列举了部分现有日志分析工具,最后指出现有日志分析技术存在的问题。2.提出了引入共享近邻加权图的Chameleon算法在学习了Chameleon算法的原理及各种改进方法后,发现其仍存在相似性度量不准确,最小二分困难,人工指定阈值等问题,因此,提出引入共享近邻加权图的Chameleon算法,其中以数据对象间的共享近邻数来衡量相似度,进一步构造共享近邻加权图(WeightedShared nearest neighbors Graph, WSnnG),利用网络模块性评价函数指导最小二分,以结构等价相似度作为合并的依据,通过引入内聚度度量函数解决合并后不能撤销的问题。在UCI的Wine数据集、Pen-Based recognition of Handwritten Digies Dataset(Pendigits)数据集及四个二维人造数据集上对改进后算法的准确性及有效性进行验证,最后结合日志的具体特点,将改进的算法应用于日志分析。3.设计了基于Hadoop的在线日志分析系统的模型按照层次化、模块化、分布式的思路设计了基于Hadoop的在线日志分析系统,主要将其划分为数据采集层,日志分析层及界面展示层,并将改进的Chameleon算法移植到Hadoop中进行日志分析。在日志分析层设计了接口,用户可根据具体的任务编写相关的日志分析代码,通过接口导入系统中,实现日志分析算法的可扩展性及灵活性;在界面展示层用户可以对已存在的日志分析程序进行参数的设定,并制定日志分析结果的呈现方式。4.改进具有消息链接恢复的签密方案(Message Linkage Recovery Based on EllipticCurve, ECMLR),然后采用改进的签密方案进行数据保护从椭圆曲线密码系统中运算量大的问题出发,以签名方程为切入点,对基于椭圆曲线的具有消息链接恢复的签密方案(ECMLR)进行改进,并对其进行了正确性验证。安全性分析和效率分析表明,改进后的方案满足数字签名方案的安全性要求,并且在签名过程中减少了一次数乘运算,降低了验证过程中的点乘运算次数。之后,将改进的ECMLR运用到日志保护当中,提出了一种新的日志保护方案,该方案具有能够直接从签名中恢复出原始消息的特性。
其他文献
本人从内部审计职能的发展现状进行探讨,内部审计的职能更多是内部审计随着组织之力的要求的不断提高,而逐渐产生和拓展出来的。内部审计的咨询性功能其实是将内部审计在工作
鲁迅并不以诗鸣,但其旧诗的脍炙人口在今日甚至远超当初民国吟坛耆老,这里当然有鲁迅本身作为文化巨匠的因素。其实,鲁迅旧诗中名章迥句的凝练出色,时代精神的张扬凸显才是其
无线传感器网络作为“新一代宽带无线移动通信网络”的有机补充和末梢网络,是近年来在无线自组织网络技术的基础上提出的一种新型分布式信息获取系统。将其应用于电磁频谱监
论述了赛博空间电子战相关的主要概念、文献、事件及其发展历程,介绍了美军在赛博空间的发展现状,其一系列举措表明,赛博空间是关系国家安全的重要作战域,将会对电子对抗、信
《鲁豫有约》是一档在国内颇具影响力的谈话节目,最初为凤凰卫视的主打谈话节目,于2002年创办,曾以其独有的人文精神和厚重的历史感在谈话节目日渐兴起时创下了良好的口碑。2
<正>苹果有iPhone,谷歌有Nexus,微软你有啥?微软虽有大批手机,可是对用户来说无足轻重。倒不是说微软的Windows Phone前进的方向有误,而是说它其实不知道往哪个方向前进。微
随着经济全球化,竞争国际化,在波及全球金融危机的冲击下,企业面临着竞争激烈和复杂多变的市场状况,存在着各种难以预测和无法控制的因素。以至于企业发生财务风险,从而导致
应用可视喉镜进行气管插管在国内大型医院已成为常规,实习医师和规培医师应用普通喉镜进行气管插管的机会越来越少。为了评价可视喉镜插管教学能否取代普通喉镜气管插管教学,
进入21世纪以来,随着我国经济飞速发展,企业体制进行改革以及全球化进程的进一步推进,我国的企业组织集团化、经营多元化的趋势日趋明显。随之而来的是更加复杂的生存环境以及激
随着信息技术的普及和发展,实行会计电算化的企业越来越多,对会计电算化的依赖程度也越来越高。但会计电算化跟传统手工会计在核算方式、流程及信息管理上都存在重大差异,给