论文部分内容阅读
在数据量爆炸的大数据时代,为了解决传统运维中存在的集群规模更大,监控可视化与智能化更复杂等诸多难题,智能运维应运而生。在智能运维领域中,多维监测指标的异常定位是一个非常重要的问题。一个好的异常定位方法能够快速、准确的检测到异常发生的时刻,并分析出导致该时刻异常的具体维度,在一定程度上减少因异常发生带来的损失。因此,本文以智能运维中多维监测指标的异常定位为重点研究内容,根据异常定位的流程,对其中的异常检测和根因分析两部分做了深入研究。首先,介绍了本文算法设计与优化所涉及的相关理论与技术,主要包括三个方面:1.对循环神经网络和长短期记忆网络进行了介绍;2.研究了深度生成模型中的变分自编码器及其在异常检测中的应用,并分析了使用重构概率来进行异常检测的优势;3.介绍了博弈决策中的上置信界算法并对该算法中的参数进行了仿真分析,研究了用于巨大搜索空间中的蒙特卡洛树搜索算法。其次,在异常检测方面,本文设计了一种以变分循环神经网络为基础模型,采用半监督学习方式的时间序列异常检测算法。该算法将变分自编码器与长短期记忆网络相结合,有效的解决了基于变分自编码器异常检测算法在时间序列异常检测方面的局限性以及实际运维场景中标签获取困难的问题。然后,本文对多维监测指标的根因分析进行了具体的符号定义,针对已有算法中存在的不足,提出了一种新的衡量指标,该指标同时考虑了根因贡献度和异常相似度两个方面,能够很好的衡量出各维度下的元素集合对总的监测指标的影响。并使用这种新的衡量指标,对蒙特卡洛树搜索算法进行了优化。此外,借鉴数据挖掘中的一种频繁项集算法,本文提出了一种分层剪枝策略,进一步减小了搜索空间。最后,本文使用实际运维场景中的数据集,对本文提出的异常检测算法和根因分析算法进行了实验分析。在异常检测方面,本文算法在三种数据集上的准确率与召回率均超过了0.8,证明了本文所提出的异常检测算法在实际运维场景下的可行性。在根因分析方面,相比于当前的根因分析算法,本文算法在20种不同类型的异常根因中,均获得了更高的F-score,在效果和稳健性方面取得了很大的进步,并且将根因分析的时间从人工定位的1小时以上缩短到不到60秒。