论文部分内容阅读
随着信息化的高速发展,当网络、服务或设备发生异常时,运维监控系统会产生大量告警信息,这不仅给短信网关造成了巨大压力,还极大地增加了网站可靠性工程师(Site Reliability Engineer,SRE)的监控负担。在运维监控系统中,告警收敛是指对告警信息进行分析、合并和丢弃,以此来降低告警信息的规模,其对降低网络运维的压力意义重大。可将告警收敛分为三个子任务,即大规模告警检测、时序相关告警信息合并以及粒度相关告警信息合并。对大规模告警检测问题,本文提出了告警趋势预测算法,根据历史告警数据分布,建立统计模型,通过极大似然估计求解当下告警阈值,若实际告警量高于该阈值,则预测发生了大规模告警,本方法适应性地对模型系数进行了补偿优化,还增加了分位点方法来降低常态下告警噪声的干扰;对时序相关告警信息合并问题,本文采用了Apriori时序关联规则数据挖掘算法,提出了新的适应运维场景的置信度公式,克服了在出现长时间告警项时置信度误差较大的缺陷,实验表明该方法优于采用传统置信度公式的Apriori算法;对粒度相关告警信息合并问题,本文设计了规则化的策略关联规则挖掘算法,每条告警信息均绑定了策略名信息,如所属单元、host和namespace等,本文根据信息粒度的不同,计算策略名间的相似度,对相同或相似粒度的告警信息进行合并,进一步降低了告警信息的规模。基于上述算法框架,本文按数据预处理、模型训练、模型测试和结果分析的流程,设计并实现了告警收敛数据挖掘装置。同时,考虑到工程师可视化分析告警信息的需求,本文最后设计并实现了告警收敛数据可视化系统,极大地提升了信息分析与处理的效率。本文综合告警趋势预测算法、优化后的Apriori时序关联规则挖掘算法以及规则化的策略关联规则挖掘算法,分阶段完成了告警收敛任务,同时实现了告警收敛数据挖掘装置和可视化系统,对互联网运维告警收敛领域的学术研究和工业应用均具有一定的启发意义。