Hadoop集群监控系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:liuleismx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来云计算飞速发展,分布式集群系统也被广泛应用,发展云计算技术已经成为国家抢占经济和科技发展制高点的核心战略选择,研究和发展云计算技术、将原有信息化建设基础设施向云计算平台迁移,是未来十年政府信息化建设的主流方向,Hadoop集群成为IT界众多大公司的应用热点之一。由于Hadoop集群是由众多计算机组成的集群这一特点,对于该计算机集群的监控、管理就成为了一大难点。为了能及时发现集群中的问题,较短的时间内采取相应的措施,Hadoop集群管理员需要不停地采集性能数据,分析各个节点的状态,并准确发现节点上出了什么问题,这就需要Hadoop集群监控系统来进行辅助。而Hadoop集群如此大的数据量,监控数据的存储也会成为一大问题,这就需要对分布式系统和非关系型数据库进行研究和结合,来处理这个问题。本文主要设计并完成开发Hadoop集群监控系统,该监控系统对Hadoop集群系统中节点进行性能监控、分布式文件系统监控以及作业任务监控,为了方便Hadoop集群管理员对集群中的节点进行实时管理,系统将会在web页面上实时展现相关监控信息。监控系统将运用Cacti开源集群监控工具对节点性能进行采集。现有的Hadoop监控系统都不能完整的储存监控数据信息,针对这一点,本文对数据库的选择进行了研究,论证了非关系数据库是Hadoop分布式系统储存监控数据的最佳选择。并最终实现了用MongoDB对Hadoop监控数据的储存和历史查询功能,进行了相关的系统功能和性能测试。
其他文献
黄老之学是兴起于战国中前期的一种思想,属于道家学派的一个分支,特点是继承老子关于“道”的思想并予以发扬,同时又提倡道法结合和阴阳刑德等一系列的“君人南面之术”。它使老
作为农村公共产品的低保制度及配套政策,其"兜底功能"在再分配领域中所发挥的作用越来越显著。中国农村地区在初次分配领域中,存在区域间苦乐不均的状况,在再分配领域中是否
英语是世界上使用最为广泛的语言之一,并且是国与国之间政治、经济、科技、文化的交流的重要工具。我国十分重视英语教学的规划和发展,学校的英语教学也从初中提前至小学三年级
随着中国农村经济结构的调整,设施栽培正走向规模化和产业化,但在利益的驱动下局限于栽培经济效益高的单一作物,引发了大面积的连作障碍,限制了农业可持续发展,为此针对中国
<正> 长期以来,我国民法学理论沿袭苏联民法的观点,认为违约金既是承担违约责任的形式,又是担保债务履行的方式。我国《经济合同法》及随后颁布的一系列与之配套的合同条例按
目的建立黔产蒲公英中熊果酸含量的高效液相色谱测定方法。方法采用DikmaC18柱(250mm×4.6mm,5μm),流动相为甲醇-乙腈-0.5%醋酸铵(16:65:20),柱温25℃,流速1.0mL·min-1,检
随着中国民航业快速发展,航空公司对飞机需求的不断增加。根据Boeing公司预测,未来二十年中国约1,500亿美元的飞机是通过租赁方式引进,航空租赁市场潜力巨大。《金融租赁公司管理
随着工程技术的发展,社会物质文明的进步,我国城市化进程的加快,建筑结构的形式朝着更新、更复杂的方向发展。城市中的高层建筑结构的平均高度每年都在提升,由此带来的结构安全问
<正> 黄陂历史悠久,文物甚丰。近年,黄陂文化馆征集到众多古代铜镜,使我们获得一批宝岛的历史文化遗产,兹选十余面汉代、六朝以及唐宋时朝的铜镜介绍于下; 一、汉代铜镜。三
设计了一种将汽车原地升降并横向移动的装置,介绍了该装置的总体设计方案和工作过程。针对汽车横移装置的功能要求,对装置的相关部件进行了计算分析。分析结果表明该装置达到