分布式计算环境中的性能异常预测监控

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:chao_huang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近十几年来,分布式系统环境得到了广泛的关注和研究。分布式计算将需要庞大计算资源的问题分割成若干子问题,这些子问题再由系统中的多个计算机分别进行处理,各个计算机处理的结果集中整合到一起成为一个最终的结果,由于一个巨大的问题需要多个计算机合作进行解决,因此计算的可靠性和有效性成了人们的关注目标。为了提高分布式环境的可靠性,传统的方法是通过使用基于冗余部件的高可用性(HA)技术来保证持续的服务,在出现节点失效的情况下,将该节点上的应用立即迁移到冗余节点上。但是,如果使用预测机制在节点失效之前及时地发现系统中的异常,根据异常的级别和相关的维护机制,可以有效地避免节点意外中止,因此可以更大程度地高分布式环境的可靠性。在实际情况中,性能异常预测可以应用到多方领域中减少不要的损失,根据需要达成特定的监控目的。机器的性能主要可以反映为 CPU负载、内存使用率、磁盘使用率等,因此,本文主要研究这些数据所形成的时间序列异常预测的技术。  目前,在异常研究领域,尽管已经有不少有关性能异常探测技术,但性能异常预测却尚未得到广泛研究。异常探测只能在异常已经发生之后对其进行检测分析,而异常预测技术才是真正避免异常发生的关键所在。  针对这些问题,本文提出了两类异常预测模型——单变量的异常预测算法和多变量的异常预测算法。其中,单变量的异常预测算法采用单个性能度量作为预测对象,通过寻找最相似模式与机器学习结合的方法,对异常的预兆进行判断。多变量的异常预测算法则同时观察系统的多个度量,综合考虑多方面因素,通过改进的基于KNN的方法对异常进行预测。除此以外,对每一种算法本文都设计了一系列实验,从多角度来检验各算法的准确性,在各实验中,本文将算法结果与前人的算法实验结果想对比,比较各自算法的长处和不足。  在本文的最后,介绍了名为“基于语义事件的分布式监控系统”的分布式监控模型,该系统是一种全新的监控系统,它用语义的形式来发布监控信息,而语义事件可由用户自行定义,这样使得该系统更加灵活并且易于扩展。此外,我们还将以上两类异常监控模型整合到该系统中,对系统单个或多个性能度量进行异常预测。实验结果表明,本文中所提出的基于语义事件的分布式监控系统在机器性能监控以及性能异常预测两个方面都有很好的表现。
其他文献
随着互联网技术的不断推进和服务计算的深入发展,跨地域、跨机构和跨平台的业务协作成为可能。网格服务作为一种新型的网络应用模式,由于其具有高度的互操作性、跨平台性和松散
该文主要研究以Linda为基础的Klaim语言和XML技术的结合,设计一种新型语言--XML-Klaim.其主要内容包括以下几个部分:1. 对以Linda模型为基础的分布式语言进行了介绍、比较,并
该文中讨论了数字图象处理技术在数字化图书馆建设中的图书数字化方面的实际应用,该文中采用的方法较好的弥补了数码相机拍摄的缺陷,清晰的还原了图象并进行了二值化.该文中
对扫描输入的彩色地图进行消噪和自动分割是纸质地图电子化的关键技术.论文研究了扫描输入彩色半调图像中存在的莫尔纹噪声的产生原因和消噪的方法,提出了针对不同颜色通道在
本文分析比较了目前主流的Web开发技术,系统研究了基于Web的分布式信息系统理论,重点研究了COM组件、XML等理论及其应用开发技术。通过对COM组件技术和XML技术的分析以及中间层
该文在语音信号处理和汉语韵律的基础上,对语音合成方法及其应用进行深入的研究,主要工作如下:(1)在基音同步叠加算法(PSOLA)的研究基础上,提出了一种基于动态规划和相关函数
随着网络的飞速发展和信息交互量的不断增长,信息安全的问题受到了越来越多的关注。为了维护网络环境的安全,构建正确的安全协议是必要的。然而,如何保证安全协议的安全性,如
该文对数据清理方面的知识进行了比较全面、详细的描述.介绍了数据清理的概念、意义和国内外的研究现状.并对数据清理的原理、方法、流程、实现方式等进行了分析和总结.其中,
有限元方法作为一种有效的数值分析工具,在织物结构力学问题的研究中发挥了重要的作用,可以用来对变形织物进行建模和仿真.它不但能反映织物的外部特征,而且能对织物的内部结
该文通过在对多种常用的文本特征项的权重计算方法的分析后,归纳分析得出决定权重的若干因子,并据此假设出一种方法,并应用了文本分类的技术.对此权重计算方法中涉及到的各个