基于CDH对HDFS监控预警系统设计与实现

来源 :内蒙古大学 | 被引量 : 2次 | 上传用户:weirguo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
HDFS监控预警系统是一种新型云监控系统。它对云平台中的分布式文件系统HDFS的各项云资源数据进行实时监控,并根据获取到的监控资源信息对HDFS的状态做出预警提示。云资源监控预警系统是当前云计算发展的一个重要方向。该系统可以为企业、科研机构、政府机构等提供准确的云资源监控信息,并分析云资源监控信息得出云资源预警信息,进而有效降低管理成本和运营成本。论文设计的监控预警系统以CDH平台为基础,进行单位时间内多粒度监控,并实时汇总节点和集群的监控数据,从而解决传统监控预警系统的监控指标单一,处理速度缓慢等不足,使HDFS运行更加稳定,安全性更高。论文完成如下工作:(1)ETL数据处理设计与实现:研究和对比当前的云资源监控预警系统,分析监控数据处理情况,并结合当前大数据变化特点,设计出基于CDH平台的专有ETL数据处理过程。(2)监控模型设计与实现:分析当前各类监控系统的优缺点,设计并实现一种新型的“主动+被动”的监控模型,有效地解决了监控过程中出现的资源浪费与连接活性保持的问题。(3)预警模型设计与实现:通过对监控数据的分析处理,在此基础上构建了贝叶斯预警模型,并根据设计思路和模型完成了基于CDH对HDFS监控预警系统的实现以及测试工作。
其他文献
近年来,随着风力发电并网容量增加,电力电子技术被广泛使用,从而引发了新型次同步振荡问题。为应对该问题,提出了一种基于谐波阻抗特性的风电次同步振荡分析方法。通过IEEE第
本文中的城建公辅设施是指除房屋与亭、台、楼、阁以外的各种公用建设项目,而且是可用铝材制造的,如灯杆、各种路灯、站牌、护栏、座椅、垃圾桶、天桥等等。中国有数以千计的
外辐射源雷达模糊函数副峰可能会导致检测虚警及弱小目标遮蔽.为抑制模糊函数副峰,提出了一种基于广义旁瓣对消结构的接收机滤波器设计方法,得到了广义旁瓣对消滤波器的闭式
目的探讨六月青多糖对S180肉瘤细胞增殖的影响及其作用机制。方法取SPF级昆明种小鼠48只,腹腔注射S180肉瘤细胞株,注射第8天时抽取腹水,分离细胞接种到96孔培养板;随机分为对
如今,硅铝合金在汽车工业中的应用越来越广泛,特别是在汽车轮毂的制造中更是如此。此类合金在汽车零部件中的广泛利用,使得铁含量对所制得的铝合金结构及其特性的关系应该更
半固态加工或半固态成形技术(Semi-Solid Metal Forming),简称SSM,是将处于固液两态的金属混合浆料用铸造或其它的加工方法实现成形的新方法,是21世纪最有前途的金属材料加工技术
造血干细胞(hematopoietic stem cells, HSCs)是一类多能干细胞,位于特殊的造血微环境,主要存在于骨髓中。其能自我更新和多向分化为各种功能的血细胞,维持血液系统的建立和
容量电价是调控电源投资和建设的一种宏观手段,还会对市场成员的竞价行为及电力市场交易产生影响。该文从激励的角度分析容量电价对市场成员竞价行为的影响,并利用基于报价中
我国植物提取物行业在最近20年逐渐发展,饲料用植物提取物在近些年来呈现出强劲的发展势头,中国真正意义上利用植物提取物开始于20世纪80年代改革开放以后。据不完全统计,目