基于机器学习的云数据中心服务器KPI异常检测研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:christopherq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云数据中心系统架构庞大,用户群体复杂多样,运维人员需要对KPI(Key Performance Indicator)数据进行异常检测来保证云环境下各系统与业务的可靠与稳定。但由于云数据中心监控的KPI数据众多,在异常检测时对KPI进行标记、异常检测模型选择、模型训练和参数调优等过程会消耗大量的人力成本。针对这一问题,本文基于聚类算法和无监督异常检测算法构建了智能化的KPI异常检测策略。(1)由于同一监控指标的KPI具有很强的相关性,将相同指标的KPI进行聚类后,集群的质心KPI近似于该集群中其他KPI的正常模式,此时只需对质心KPI进行模型训练和参数调优,同一集群中的KPI可以共享异常检测模型,从而减少异常检测工作量。因此,本文提出了基于AKRNN-DBSCAN的KPI聚类算法,该算法通过KPI数据的反向k NN来判断邻域密度,不需手动输入参数,自动寻找集群个数稳定的k值区间,并将集群个数首次达到稳定时的最小k值设定为最优解,此时未被识别的KPI比例最小。实验结果表明,AKRNN-DBSCAN算法能够对CPU利用率等五种监控指标均进行有效聚类,F-score在0.78~0.90之间,且识别大部分的KPI,未识别比例仅在5%~17%之间;同时,聚类效果优于传统的K-means和DBSCAN算法。(2)针对有监督学习的异常检测算法需要耗费人力及时间对KPI数据进行标记的问题,本文提出了基于时间序列特征提取的LSTM自编码器的无监督异常检测算法,从统计特性、形态特性和熵特性三个方面丰富KPI时间序列特征,捕捉KPI时间序列中不同维度的变化,丰富了原始KPI时间序列的特征空间;LSTM用来捕获KPI时间序列之间的依赖关系;自编码器将输入数据进行降维,利用小特征空间获得输入数据最具代表性的特征,并根据该代表性特征重构输入数据,通过原始输入数据与重构数据之间的误差来判断异常。实验结果表明,使用基于时间序列特征提取的LSTM自编码器对CPU利用率等五种监控指标进行异常检测均取得了较好效果,F-score在0.93~0.97之间,且该算法优于使用原始时间序列的异常检测算法。(3)针对大规模KPI数据的异常检测,为了提高运维效率,减少异常检测的成本消耗,本文结合以上两种算法,首先经过AKRNN-DBSCAN聚类之后找到每个集群的质心KPI,然后使用基于时间序列特征提取的LSTM自编码器异常检测算法对质心KPI进行异常检测模型训练,集群其他KPI共用此模型。实验结果表明,对于CPU利用率等五种监控指标,本方法相较于以往对全部KPI进行异常检测的方法,时间上缩短了84%~93%,F-score仅降低了13%~16%。
其他文献
犬新孢子虫(Neospora caninum,N.caninum)是一种胞内寄生性原虫,属于顶复门原虫。新孢子虫病呈全球性分布,给养牛业造成巨大的经济损失,世界范围内针对新孢子虫病尚无特效药
采用主成分分析方法,以白石水库为例,构建大型水库水体水质影响因素识别技术,结合污染因子识别其主要来源,重点分析其变化趋势及产生原因。分析表明:白石水库农业种植源的贡
考察了不同提取方法对从酵母中提取谷胱甘肽(GSH)的影响,热水抽提由于其提取收率高(90%)、耗时短(10min)、经济性强而明显优于其它提取方法。对732阳离子交换树脂纯化GSH进行了初步研
随着新兴电动汽车和可移动便携式仪器的市场需求,以及化石燃料等不可再生能源的过度消耗导致的环境污染严重等一系列的问题,急切要求人类开发出无毒无害、高能量密度以及价格
随着中国经济实力不断增强,人民生活水平的不断提高,农产品质量安全问题经媒体曝光后引起了广大群众的恐慌,产生的社会影响非常恶劣,农业产品的安全问题渐渐受到关注。因此加强农产品过程追溯体系的建设、促进农产品的追溯系统发展的首要任务。目前,已经有很多国家进行了关于农产品生产过程追溯系统研究及相关制度的探索,并取得一定的成果。国内也在积极推进蔬菜生产过程追溯系统的研究与推广应用,将农业生产过程中各个环节进
当下,北京区域写字楼租赁市场处于低位运行状态。如何应对市场形势变化,拓展办公楼宇租赁市场,是房地产企业亟待解决的问题,本文主要围绕目前北京市写字楼租赁市场开展相关研
随着人行玻璃悬索桥的快速兴起,人们对此新型桥梁静动力研究及抗震性能的数据积累不足,以上内容在现阶段的研究主要集中在常规悬索桥。本文针对某景区人行玻璃悬索桥,通过Midas/Civil 2015建立全桥模型,首先对全桥进行静力和动力特性研究,同时对结构参数进行分析以优化设计。其次,针对桥址地区的地震强度进行桥梁抗震研究。主要工作如下:(1)模型建立:将既有方案利用Midas/Civil 2015进行
目的:通过制取富自体浓缩生长因子纤维蛋白(concentrated growth factors,CGF)提取液,观察其对MC3T3-E1成骨细胞增殖、分化的影响,为临床应用CGF提供相应的实验依据。方法:(1
目的:报道国内第二例齿突加冠综合征。方法:男性,68岁,因突发颈部酸痛9天来诊,无其他不适。外院MR提示颈椎后纵韧带串珠样改变。外院CT提示C3/4后纵韧带钙化。考虑颈椎病,予
斜拉桥是一种高次超静定的复杂体系结构,尤其是异形桥塔斜拉桥,空间受力更加复杂,施工中结构内力及变形与成桥后结构状态两者至关重要且密不可分,因此对施工中及成桥后的结构内力及变形进行分析尤为重要,根据施工流程对结构的线形及内力状态进行监控,以此来减少或消除由施工带来的偏差。本文以太子城互通式立交主线左幅1#桥施工过程为工程背景,对该类型的斜拉桥进行施工控制分析。采用Midas/Civil建立有限元模型