论文部分内容阅读
近年来,随着互联网的快速发展,特别是移动互联网的到来,上网的人群越来越多,随之而来的是产生大量的数据。同时,数据的增长速度十分迅速,对海量数据进行存储与计算将变得非常的困难。Hadoop是一个能够对大量数据进行分布式处理的软件框架,通过Hadoop能够帮助很多企业解决海量数据的存储与计算问题。Hadoop作为一个开源的分布式框架,以一种可靠、高效、可伸缩的方式进行数据处理,受到很多公司的青睐,很多大公司的Hadoop集群的规模已经非常庞大。所以,对Hadoop集群进行有效的运维,可以极大地提升运维人员工作的效率,避免重复繁杂的运维工作。Hadoop自动化运维管理系统是公司实际的Hadoop运维项目,严格按照标准软件系统建设流程进行。项目从数据流上可划分成两大部分,基于Ansible的Hadoop自动化运维平台和基于J2EE (Java 2 Platform Enterprise Edition, Java2平台企业版)的Hadoop管理平台。其中,Hadoo P自动化运维平台主要是通过Ansible对Hadoop集群进行自动化运维,Hadoop管理平台主要是对Hadoop集群的信息进行管理,给用户提供工单服务,给运维人员提供一个基于Web的可视化图形操作界面,对接Ansible。本人独立完成Hadoop管理平台的设计与实现,主要包括五个模块,分别是资产管理模块、权限管理模块、工单模块、运维模块、用户中心模块。资产管理主要负责登记管理集群信息、网格信息、服务器信息、客户机信息和项目信息。权限管理丰要负责对用户的操作权限进行划分。工单模块主要负责为公司员工提供公司业务需求解决通道,例如,申请hdfs空间扩容。运维模块主要负责为hadoop运维人员提供便捷运维通道。用户中心主要负责管理用户基本信息,工单处理记录,待审批工单及待处理工单等操作入口。整个项目采用MVC设计模式,由SpringMVC, Spring, Hibernate三大Web开发框架整合而成,其中工单模块基于Activiti流程引擎实现,运维模块通过Jenkins对接Ansile,使用MySQL数据库。本文论述了Hadoop自动化运维管理系统的设计与实现过程,包括需求分析、系统概要设计、系统详细设计与实现、系统测试等步骤。该项目已经结束,五个模块已经全部完成并运行正常,已经通过测试,效果良好。目前,整个系统已经投入使用,获得了一致好评。