系统日志的异常检测及分析研究

来源 :中国民航大学 | 被引量 : 0次 | 上传用户:oldearth
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
系统日志数据对系统管理员管理系统和诊断系统问题起到了关键作用。随着数据的爆炸性增长,人工分析系统日志不仅耗费人力资源而且其分析速度已远远落后于日志生成的速度。使用基于机器学习方法的自动检测技术已成为目前解决系统日志异常检测问题的发展趋势。但是,基于传统机器学习方法在面对变化数据与类重叠数据时的效果并不稳定。随着系统的不断运行,日志反映了当前系统的状态,也产生了新的知识。因此,相对于以往的系统日志数据,当前日志数据发生了变化。为了适应不断变化的日志数据,本文提出了一种基于一致性预测算法的系统日志异常检测模型。将统计学习与机器学习的方法相结合,将一致性预测框架引入系统日志异常检测的问题中。相比于基于静态阈值的检测方法,一致性度量的统计学习方法可以动态适应不断变化的日志数据。并且针对一致性度量的统计学习方法计算效率低下的问题进行了改进。从而使得基于一致性预测算法的系统日志异常检测模型可以快速准确的检测系统日志的异常情况。由于系统日志数据的属性值过于相似,以致于无法准确划分决策边界,产生了类重叠现象。针对出现类重叠现象的日志数据,本文提出了一种基于集成学习的类重叠异常检测模型。首先计算了样本数据和不同类别隶属度之间的关系,并且利用模糊度将类重叠区域的数据提取出来,减小非类重叠部分数据对实验的影响。使用集成学习AdaBoost检测类重叠区域的日志数据。相比于传统的机器学习算法,AdaBoost通过迭代基础算法可以更好的对类重叠区域的日志数据进行分类,从而达到对系统日志的异常检测目的。
其他文献
【沉鱼落雁,闭月羞花,这是国人对女性姿色的最高评价。追根溯源,"闭月、羞花、沉鱼、落雁"是由精彩故事组成的历史典故:"沉鱼"讲的是西施浣纱时的故事;"落雁"指的就是昭君出塞的故事
社会化商务是在Web2.0技术的支持下,利用用户之间的链接和交互产生商业价值的一种新型的电子商务模式。已有的一些研究已经通过实证的研究认识到社会化商务的巨大价值潜力,但
21世纪以来,我国社会发展已然进入了转型期,随着科技不断进步,各阶级利益分化严重,新的利益类型不断出现,新的犯罪行为也层出不穷。因此,刑法也站在了解决社会矛盾的最前线,其价值导向由事后制裁转变为事前的风险管控,民众希望由国家出面来解决日常生活出现的纠纷、争议的要求愈发突出。随着劳动教养制度的废除,以及刑法修正案八和九的出台,轻微刑案入刑扩大了刑事案件的范围。因此,将刑事速裁程序写进刑诉法中,是司法
显示器作为飞行员飞行信息的重要视觉来源,一直以来在飞机驾驶舱人为因素研究中都作为重要研究对象。平视显示器(HUD)作为新显示技术的应用平台,在飞行任务中与下视显示器的
<正>基层是关心下一代工作的重点。这些年,我省认真贯彻落实中央、省委领导同志对关心下一代工作的讲话、批示和全国关心下一代工作会议精神,围绕抓基层、打基础、建队伍,不
会议
1病因1.1细菌感染沙门氏菌、产气夹膜梭菌等感染可刺激、损伤鸡肠道黏膜,引发炎症,并使鸡肠蠕动加快,消化液分泌增多而消化不良。1.2病毒感染感染病毒也是引起鸡肠毒综合征的