移动Hadoop集群监控系统的设计与实现

被引量 : 6次 | 上传用户:itbbs123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随分布式计算理论的发展成熟和大数据技术的落地,在技术潮流和国家政策导向的双重推动下,分布式集群系统的应用正日渐广泛。集群监控需要对集群环境和节点的硬件与服务进行便捷地监控并及时察觉和处理异常状况。目前的Hadoop集群监控系统通常采用电子邮件和SMS短消息进行异常告警,运维人员在接到告警后需置身现场或通过PC接入目标VPN (Virtual Private Network,虚拟专用网络)网络方能查看集群状况并组织人员排查解决异常,这在一定程度上影响运维人员对集群异常的响应速度,工作效率受到限制。为解决上述问题,需要开发基于通用移动智能设备的Hadoop集群监控系统。论文选题来源于实际工程应用,从大数据分析处理生产现场运维人员的实际需求出发,提出了一种基于Hybrid-App(混合模式移动应用)的移动Hadoop集群监控系统解决方案,满足以通用移动端智能设备监控Hadoop集群的需求。系统具体的功能包括节点状态监控、Hadoop服务监控、告警推送和配置管理等功能。核心监控系统采用C/S架构,系统Server端集成了Ganglia和Nagios作为指标采集器和告警引擎,以RESTful风格的API为查询Hadoop集群状态和执行运维任务提供接口,通过内置基于Jersey的反向代理模块为移动端提供Ganglia或Nagios的Web-App,同时提供移动端接口和Agent端接口,用来同移动端应用和系统Agent端通信;系统Agent端部署于被监控节点,通过心跳连接向系统Server端上报自身及节点部分状态信息,同时拉取系统Server端缓存的指令队列,进而在本地依次执行队列中的指令;移动端集群监控交互界面由Web-App的形式加载,以此简化跨平台开发过程,并很大程度上解决了Android平台的碎片化问题。考虑到系统的数据安全,论文参考SSL (Secure Socket Layer,安全套接层)协议为移动端与服务端设计和实现了一种轻量级安全信道。作者参与了该系统需求分析及设计研发全过程,重点完成对系统服务器端安全模块、系统服务器端的移动端接口模块、系统Agent端的指令队列模块和指令执行器模块、安全信道协议包以及移动端Android平台应用的设计与实现。此外也参与了系统其它组件的开发与测试工作,并在生产环境对该系统初代版本进行了集成部署。论文设计完成的基于通用移动端智能设备的Hadoop集群监控系统目前处于内部测试阶段,运维人员可通过移动端平台接收Nagios告警,也可在任何移动智能设备上开启集群监控的交互界面,大大提高了对集群异常的响应速度和工作效率。
其他文献
本文就平潭传统海岛聚落的独特性与地域文化特征进行了价值分析,探讨了其在现代化进程中发展与存续的矛盾与困境,为平潭传统聚落的保护与更新提供一些启发和思考。
背景:肌萎缩侧索硬化(Amyotrophic lateral sclerosis,ALS)是一种进行性发展的、主要累及上、下运动神经元的神经系统变性疾病,病因尚不清楚,目前国内外的研究认为ALS的发病
白色污染已经成为破坏城市和农村生态环境并且威胁农业生产的一大公害,在回顾当前中国"白色污染"现状的基础上分析了其危害性,接着对形成白色污染的成因进行了详细的分析,最
以黄河鲤幼鱼为实验动物,研究氨氮暴露对鲤鱼红细胞微核、核异常的影响。结果表明:氨氮可引起鲤鱼红细胞微核及核异常率发生明显变化,随着氨氮暴露浓度的增加,鲤鱼红细胞微核
目的探讨太极拳运动联合音乐疗法对高血压脑出血患者肢体运动功能、心理状态及生活质量的影响。方法本研究选取2016年3月-2017年6月河南省某医院收治的74例高血压脑出血患者
H.K.Juang,C.AltstetterCorrosion,46(11)881(1990) 采用恒拉伸速率试验和恒载下的亚临界裂纹扩展试验法研究了亚稳定1301型和稳定1310S型奥氏体不锈钢在25℃ H_2SO_4/NaCl
针对高校生态位高度重叠的现状,借用生态位原理,在阐明高校生态位内涵的基础上,剖析了高校因盲目扩容逐渐失去核心竞争力的原因及高校管理中存在的问题,并就所提出的生源、教师、
本人实习期间所在的公司和部门是曙光信息产业股份有限公司(北京)大数据研发部,参与了基于Web的Hadoop集群监管与计费系统的开发工作。该系统能够统一、科学地监测和管理Hado
从如今世界环境问题日益突出并加重的背景下来看,环境会计从过去起源于一支新兴的学术思潮,到现在已然成为会计学的一个新领域,并且按照这个势头的发展,环境会计将来必将成为
当前激烈的竞争市场和复杂多变的市场需求使企业面临缩短交货期、提高质量、降低成本和改进服务的多重压力,迫使制造商选取更有竞争力的全球采购模式。作为全球经济一体化高