本人实习期间所在的公司和部门是曙光信息产业股份有限公司(北京)大数据研发部,参与了基于Web的Hadoop集群监管与计费系统的开发工作。该系统能够统一、科学地监测和管理Hadoop集群,简化技术人员的部署和维护工作,实现Hadoop环境安装配置的可视化,并且提供了计费功能,便于企业对外提供计算服务。本人的工作可概括如下：(1)在系统需求分析阶段,参与了对系统需求的讨论分析,充分了解系统的功能性需求和非功能性需求。(2)在系统设计与实现阶段,完成了如下七个功能模块的设计和实现工作：1)Hadoop组件信息采集模块：针对不同的组件角色,通过不同的方式,周期性地采集Hadoop各个组件信息,支持Hadoop组件信息报警。2)集群状态信息采集模块：周期性采集集群各节点的硬件资源信息,并支持集群状态信息报警。3)作业信息采集模块：周期性地采集作业日志文件进行解析,并获取作业信息；4)作业统计分析模块：对作业信息进行统计和费用计算,运用MapReduce方法对用户作业进行分析；5) Hadoop组件安装部署模块：根据用户的个性化需求,通过执行一系列Linux命令完成Hadoop环境的部署和组件的启动与停止；6) Hadoop组件参数配置模块：从Web界面获取用户的参数配置信息,更改XML文件相应参数配置项；7)用户信息管理模块：管理用户的基本信息,角色信息和费用信息。(3)在系统测试阶段,本人利用公司的服务器搭建了测试环境,编写核心模块的测试用例,参与了功能测试工作。最后,基于Web的Hadoop集群监管与计费系统能够完整高效地采集作业信息,科学地进行作业的统计分析和费用计算,实现了集群部署与监管的可视化,统一全面地监控Hadoop各个组件和集群各个节点的状态信息,实现了Hadoop集群的监管和计费功能。