基于复合事件的分布系统异常识别与预警技术研究及实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:qqsskk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化的不断发展,分布计算系统越来越复杂。系统运行中出现的各种异常,如网络通信系统中的病毒攻击、交通监控系统中的车辆阻塞、金融电子交易系统中隐藏的恶意洗钱等,必然会反映到系统信息状态的一系列异常变化。系统关注的信息状态变化便是事件。这就是说,系统异常与一系列事件之间存在必然联系。另一方面,在一系列事件内部,即事件与事件之间也肯定存在着某些逻辑的和时序的关系。若把涉及某种系统异常的一系列事件按其逻辑的和时序的关系组合起来,便产生了复合事件的概念。如何通过复合事件的识别及时发现和定位系统异常,是当前分布计算领域的热点研究课题。本文在分析国内外相关最新成果的基础上,围绕复合事件的描述语言、识别算法、实例筛选策略以及系统异常的主动预警技术展开深入研究,主要贡献包括:1、基于事件代数设计了复合事件的形式化描述语言CREWLan。该语言定义了事件结构,包含时序、逻辑运算的操作子,以及由操作子连接的复合事件递归生成法则。事件结构包含事件类型、发生时间和其它事件属性,其中事件发生时间由间隔时间戳表示。操作子基于事件结构和时间模型,规定了由其作用的事件在递归生成复合事件时具有的时序和逻辑关系。描述语言能清晰地表示系统异常所引起的一系列事件的结构和相互关系,具有很强的表达能力。本文给出了描述语言的BNF范式,并利用元语言工具ANTLR编译所得的语法解析器,可以为使用CREWLan描述的每个复合事件自动生成一棵代表该类系统异常的识别树。识别树中叶节点为来自外部环境的原子事件。多类系统异常对应的多棵识别树则可以构成一个森林。2、提出基于匹配限时策略的复合事件识别方法,并设计了相应的识别引擎。在网络环境下先发生的原子事件可能比后发生的原子事件晚到达系统,这就是所谓的乱序传输问题。匹配限时策略就是允许先期到达系统的原子事件等待某个时限后再进行时序匹配,可在一定程度上解决乱序传输的问题。进而,在多个复合事件识别树构成的森林中,由于多个识别树中往往存在若干语法相同,或语法不同但语义等价的节点,这些节点显然可以共享同一匹配过程。找到语法相同的共享节点已有现成算法,本文给出了基于代数等价性质的共享节点查找算法,从而有效降低了识别森林中的匹配时间。实验结果表明,在对多个复合事件进行识别的场景下,本文的识别引擎与其它类似系统相比,延迟要低25%,吞吐率要高40%。3、设计了基于最新留用原则的实例筛选策略及其实现算法,有效避免了复合事件识别过程中产生的实例数可能存在组合爆炸的问题。该策略按照最新留用原则,在复合事件识别过程中存在多个匹配实例时,只选择开始时间最新、结束时间相同的一个实例作为中间输出而归入下一步匹配实例中。代数性质的理论推理证明,该策略具有可递归应用到子复合事件的良好代数性质,其时空复杂性仅与识别树的深度D相关,为O(D2)。实验结果验证了该筛选策略的有效性。4、在忽略时序的弱复合事件中,设计了基于Top-k的系统异常主动预警方法。出于预警的需要,把复合事件仅看作一段时间内发生的无时序关系的事件集合。该方法将各种系统异常所对应的复合事件的重要性、发生概率等信息存储在数据库中并构建相应的索引,并基于Top-k,对滑动窗口内的原子事件连续计算此时复合事件的发生概率与重要性的综合值,把综合值最大的k个复合事件作为结果输出,而不必等待与复合事件相关的原子事件全部到达就可进行预警。该方法使用排序的访问阶段进行预处理,减少计算中占主要开销的随机访问次数。实验结果表明,该方法实现了快速的Top-k连续预测,且滑动窗口大小等因素对计算性能影响不明显。5、基于上述研究,设计并实现了一个基于复合事件的异常识别与预警原型系统CREW,并讨论了相关的应用问题。
其他文献
失语症听理解的影响因素汪洁1失语症患者常表现出不同程度、不同类型的听理解障碍,同时对各种刺激,表现出不同的反应。对失语症患者进行听理解治疗,应了解影响听理解的诸多因素。
微信的狂飙突进的路上,是跟它同类型的移动APP的衰相和尸骸,它见证并佐证了'一家独大''赢家通吃'的移动互联网江湖的残酷性。微信的'伤害史'微信引
要跟老板谈判涨薪水?那么你有必要了解谈判神话的另外一个定义,那就是谎言。开口前,你必须分清什么是事实什么是谎言。
分布式系统具有用户投资风险小、结构可扩展性好、用户可继承原有的软硬件资源、构造简单等特点,其应用领域越来越广泛。包括大规模科学计算系统、天气预报系统、分时电话系统
如果刘易斯拐点的到来将宣告人口红利的终结,那么房地产泡沫的破灭及拆迁保障政策的施行也将宣告土地红利落幕。
介绍了慧鱼创意组合模型模拟机床设计及控制的思想,并且通过制作自动立式钻铣床的具体实例阐明了设计过程。经实践,该机床模型功能完善,动作可靠,可以满足教学及科研需要。
双语现象在我国是一个长期存在的社会现象,而双语教学又是民族教育中的一个重要环节。因此,恰当地认识和解决这个问题,具有很重要的现实意义。本文从黑龙江省的双语现象和双
20世纪08年金融危机后,全球经济历经两年多的时间缓慢复苏、回暖。中国在这次复苏中保持了较高的经济增长速度,伴随而来的是新一轮长时期的通货膨胀。通胀产生的原因有货币超
3月19日,沃尔沃汽牟宣布华裔球星林书豪成为品牌代言人,中国区董事长沈晖将之定义为“沃尔沃汽乍全球晶牌复兴战略中的标志性事件”;
利用所学大学知识介绍了复数在解析几何中的应用.通过一些例题说明复数在求极值问题中的应用。