论文部分内容阅读
近年来随分布式计算理论的发展成熟和大数据技术的落地,在技术潮流和国家政策导向的双重推动下,分布式集群系统的应用正日渐广泛。集群监控需要对集群环境和节点的硬件与服务进行便捷地监控并及时察觉和处理异常状况。目前的Hadoop集群监控系统通常采用电子邮件和SMS短消息进行异常告警,运维人员在接到告警后需置身现场或通过PC接入目标VPN (Virtual Private Network,虚拟专用网络)网络方能查看集群状况并组织人员排查解决异常,这在一定程度上影响运维人员对集群异常的响应速度,工作效率受到限制。为解决上述问题,需要开发基于通用移动智能设备的Hadoop集群监控系统。论文选题来源于实际工程应用,从大数据分析处理生产现场运维人员的实际需求出发,提出了一种基于Hybrid-App(混合模式移动应用)的移动Hadoop集群监控系统解决方案,满足以通用移动端智能设备监控Hadoop集群的需求。系统具体的功能包括节点状态监控、Hadoop服务监控、告警推送和配置管理等功能。核心监控系统采用C/S架构,系统Server端集成了Ganglia和Nagios作为指标采集器和告警引擎,以RESTful风格的API为查询Hadoop集群状态和执行运维任务提供接口,通过内置基于Jersey的反向代理模块为移动端提供Ganglia或Nagios的Web-App,同时提供移动端接口和Agent端接口,用来同移动端应用和系统Agent端通信;系统Agent端部署于被监控节点,通过心跳连接向系统Server端上报自身及节点部分状态信息,同时拉取系统Server端缓存的指令队列,进而在本地依次执行队列中的指令;移动端集群监控交互界面由Web-App的形式加载,以此简化跨平台开发过程,并很大程度上解决了Android平台的碎片化问题。考虑到系统的数据安全,论文参考SSL (Secure Socket Layer,安全套接层)协议为移动端与服务端设计和实现了一种轻量级安全信道。作者参与了该系统需求分析及设计研发全过程,重点完成对系统服务器端安全模块、系统服务器端的移动端接口模块、系统Agent端的指令队列模块和指令执行器模块、安全信道协议包以及移动端Android平台应用的设计与实现。此外也参与了系统其它组件的开发与测试工作,并在生产环境对该系统初代版本进行了集成部署。论文设计完成的基于通用移动端智能设备的Hadoop集群监控系统目前处于内部测试阶段,运维人员可通过移动端平台接收Nagios告警,也可在任何移动智能设备上开启集群监控的交互界面,大大提高了对集群异常的响应速度和工作效率。