Hadoop集群监控系统的研究与应用

被引量 : 0次 | 上传用户:leave2009418
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化建设的高速发展,传统的基础设施也在不断的向云平台迁移,而云计算也在2013年成为政府未来几年信息化建设的一个主流方向。其中基于Hadoop所搭建的云计算平台是目前最为主流热门的应用,被世界各大IT业巨头广泛的使用和发展。随着Hadoop云计算平台搭建成功和使用过程中的不断扩容,Hadoop其自带的监控系统已经无法胜任对集群全面了解和掌握的任务,这也为平台的管理和监控带来了难题。这时候一个功能全面,能够让管理人员随时随地及时掌握平台各种信息的监控系统就显得尤为重要。而当前,对资源的监控研究主要集中在网格计算,很少有谈及对Hadoop平台的监控,而对网格计算的监控并不能快速的反应Hadoop平台的状态,远远低于Hadoop平台的监控需求。本文首先对现有的一些主流监控系统进行分析与对比,并以江西电信的Hadoop云计算平台为背景,针对该平台的网络结构、信息安全的要求、业务需求、功能需求等方面,通过分析与规划,采用Nagios和Ganglia这两套开源的监控工具。根据这两套软件的优缺点,进行优势互补,并根据现有Hadoop集群的实际情况,开发和设计出一套监控系统,能够完全和实时的监控Hadoop平台。该监控系统能够对Hadoop平台进行监控,对集群各个节点性能指标进行监控,针对信息安全考虑采用分布式构架,各种监控指标和信息能够以Web页面图表方式直观的展示,管理员更加轻松的集群管理和全面了解掌握集群信息。监控系统能够在集群出现故障时,以多种方式快速的告警通知管理人员,提高集群的运行速率,针对现有Ganglia监控系统不能完整的存储监控信息,实现了HBase对Ganglia监控数据的持久化存储与查询,为集群的健康诊断和今后的扩容提出依据,最后进行了相关系统的功能测试和性能测试。
其他文献
新时期,国内经济发展速度加快,各地区特别是县域发展与过去相比较,在数量以及质量上都获得了极大提升.伴随这些变革,整体经济来到了模式转换的关键期,对于发展模式的探究选择
灵活应用CAN通信控制器,可以有效地提升电源监控系统的功能优势,解决现阶段系统存在的时效性较差、数字化程度低以及可靠性低问题。本文从嵌入式设备电源控制系统的硬件结构
老年退行性心脏瓣膜病钙化的发病机制目前认为与瓣膜异位钙化有关 ,细胞凋亡、基质小泡、碱性磷酸酶、脂质以及炎性细胞均参与了钙化过程 ,本文就近年国内外报道作一综述。
“亲其师,信其道”一语道出了教师对学生学习的重要性,师生之间只有建立良好的师生关系,才能使学生更积极地参与到教师的课堂教学中去,并能积极地完成教师布置的学习任务。良好师生关系的建立既需要教师在课后对学生的关怀,也需要教师在课堂教学中与学生之间的交流互动,课堂问答就是师生课堂互动中的一种重要形式。教师可以通过课堂提问来了解学生的学习状态,并且通过理答来化解学生的困惑,但教师的理答过程并不仅仅是一个向
以上海中心大厦工程为背景,介绍了自主创新的筒架支撑式液压爬升整体钢平台模架的设计及安装工艺流程。在施工过程中,针对主楼核心筒结构特点以及施工实际情况,采用整体吊装
声光可调谐滤光器(Acousto-Optic Tunable Filter, AOTF)是一种新型分光器件,它基于声光原理,可以通过改变射频驱动信号的频率来调整输出衍射光的波长。和传统分光器件相比,AOTF具
桥梁结构日益复杂,我国桥梁的数量在过去的几十年间也有了几何式的增长。近些年间由于设计、建造、运营、养护方面的问题导致许多桥梁发生老化,桥梁在运营中存在着极大的隐患。
空对地导弹在打击地面低速运动目标的过程中,雷达需要在背景杂波中检测出目标并进行跟踪,同时,为了判别目标的类型,雷达还必须对目标进行分类、识别。因为毫米波具有天线口径小、
如何提高农村经济发展水平,一直是我国政府关注的重点问题。农村土地制度是制约农村地区经济发展的核心问题。《中共中央关于推进农村改革发展若干重大问题的决定》出台后,农村
我国作为世界上染料生产和消费的大国,染料废水的处理研究一直备受关注。而染料废水因具有水质复杂,毒性大、色度高、可生化降解性较差等特点,一直是工业废水治理的难点。光催化