运维监控系统告警收敛的算法研究与应用

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zhangfuliangez
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化的高速发展,当网络、服务或设备发生异常时,运维监控系统会产生大量告警信息,这不仅给短信网关造成了巨大压力,还极大地增加了网站可靠性工程师(Site Reliability Engineer,SRE)的监控负担。在运维监控系统中,告警收敛是指对告警信息进行分析、合并和丢弃,以此来降低告警信息的规模,其对降低网络运维的压力意义重大。可将告警收敛分为三个子任务,即大规模告警检测、时序相关告警信息合并以及粒度相关告警信息合并。对大规模告警检测问题,本文提出了告警趋势预测算法,根据历史告警数据分布,建立统计模型,通过极大似然估计求解当下告警阈值,若实际告警量高于该阈值,则预测发生了大规模告警,本方法适应性地对模型系数进行了补偿优化,还增加了分位点方法来降低常态下告警噪声的干扰;对时序相关告警信息合并问题,本文采用了Apriori时序关联规则数据挖掘算法,提出了新的适应运维场景的置信度公式,克服了在出现长时间告警项时置信度误差较大的缺陷,实验表明该方法优于采用传统置信度公式的Apriori算法;对粒度相关告警信息合并问题,本文设计了规则化的策略关联规则挖掘算法,每条告警信息均绑定了策略名信息,如所属单元、host和namespace等,本文根据信息粒度的不同,计算策略名间的相似度,对相同或相似粒度的告警信息进行合并,进一步降低了告警信息的规模。基于上述算法框架,本文按数据预处理、模型训练、模型测试和结果分析的流程,设计并实现了告警收敛数据挖掘装置。同时,考虑到工程师可视化分析告警信息的需求,本文最后设计并实现了告警收敛数据可视化系统,极大地提升了信息分析与处理的效率。本文综合告警趋势预测算法、优化后的Apriori时序关联规则挖掘算法以及规则化的策略关联规则挖掘算法,分阶段完成了告警收敛任务,同时实现了告警收敛数据挖掘装置和可视化系统,对互联网运维告警收敛领域的学术研究和工业应用均具有一定的启发意义。
其他文献
5月5日,江西省赣州市无线电管理局接到江西省工信厅无线电监督检查处转发的《工业和信息化部无线电管理局无线电干扰投诉排查任务单》。国际电联无线电通信局来函,称全球卫星
公文发展到北宋,始于后汉并一度盛兴不绝的浮靡文风经由北宋文人政治家的努力,得到了彻底的改革。儒家思想在北宋的复兴造就了一批批以天下为己任的文人政治家.他们怀着极大的热
音乐源于生活,反映生活。音乐具有多种功能,伴随着社会发展,充分反映出一个社会的历史演变发展过程,并深刻地影响着当代社会生活。
初中数学是一门具有严密的逻辑推理的系统性、知识性、实用性、趣味性的学科,也是一门承前启后的连接学科,它是初中理科中的母学科,它直接影响着初中物理、化学的学习,所以提高初
文章简要叙述了人为因素在飞机维修中的影响,着重分析了航空维修人为差错的基本特征和理论模型,并提出了预防人为差错的方法和措施。 The article briefly describes the im
采用羰基二咪唑法,将半抗原金霉素(AM)分别与牛血清白蛋白(BSA)和卵清蛋白(OVA)偶联制备金霉素免疫抗原AM-BSA和检测抗原AM-OVA,通过紫外光谱扫描检测偶联产物。采用细胞杂交瘤技术,制
目的:优化推拿■法行气活血效应的动力学参数。方法:按照L27(313)正交表,对 法动力学参数--力量、频率、时间进行三因素三水平的正交试验;■法施术于健康男性 左下肢腓肠肌处
越来越多的图书馆开始引进并使用RFID技术提升服务水平,但现有应用过程中暴露出很多问题:标准缺失、RFID技术本身存在缺陷、厂商的技术垄断等。因此图书馆必须开辟新思路,开
【正】 西方人常称知识分子为“社会的良心”。他们是人类的基本价值(如理性、自由、公平等)的维护者;知识分子一方面依据这些基本价值来批判社会上一切不合理的现象,另一方
一、委婉、亲切的语言1.最佳对象:逆反心理强的学生。逆反心理强的学生,大多吃软不吃硬,个性倔犟。如果课堂上他发起犟来,你忤逆他,课就上不下去,损失太大;置之不理,会助长他
期刊