Hadoop应用快速开发平台的设计与实现

被引量 : 10次 | 上传用户:uj_mosquito11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,Hadoop已被广泛的应用于分布式系统的实现。我们可以通过hadoop系统搭建出很多高质量的分布式系统平台。hadoop系统包含了很多的子项目,也有很多对它功能进行扩充的相关项目,比如ZooKeeper, Hive, Hbase等。使用hadoop的时候用户会遇到种种问题:比如需要学习hadoop专用的语言,需要学习调用hadoop的api, hadoop集群配置相对繁琐;再比如要去学习编写mapreduce的task,这些都是用户使用hadoop时候的难点。所以需要一个能够支持hadoop应用快速开发的平台。本文提出了一个hadoop应用快速开发平台,其研究目的在于将hadoop的并行计算能力以模板化可重用的方式提供给用户。该系统应用了目前主流的云计算技术,有很强的的扩展性、可靠性。根据不同用户对hadoop程序的不同需求,定制不同的hadoop模板,以后可以多次重用。对于hadoop用户来说,支持用户浏览过去执行结果的历史记录,而不是每次执行相同的重复的程序。本系统简化了hadoop程序编译部署的过程:无需手动打包和手动拷贝,用户只需要选择固定的模板并进行配置,之后指定数据源,模板程序就可以建立成功。后面包括程序的打包和上传,数据的上传,hadoop运行指令的执行,计算结果以可视化的形式展现等等一系列操作全部都由hadoop应用快速开发平台完成。论文首先介绍了hadoop、并行计算等概念,介绍了hadoop的发展情况,以及hadoop应用快速开发平台的背景与意义;接下来对hadoop应用快速开发平台开发中涉及的技术进行了详细介绍;接着,针对几个关键技术场景,通过比较给出解决方案;解决了关键技术问题之后,本文详细介绍了系统中各功能模块的交互以及消息数据处理流程,着重阐述了各个功能模块的实现。本文最后对hadoop并行计算框架系统的功能测试与性能数据分析进行了介绍,提出了改善方案以及未来的工作。
其他文献
按照国家相关标准的测量方法对某烟厂某型卷包机组进行了噪声测量,并对实验数据进行分析,评价了卷包机组的噪声影响,在其影响范围内做了环境噪声的评价,并提出了整改方案。
低佛氏数水跃常存在低水头水利工程中,其特点是没有明显的波状水跃,消能效率比较低,不仅影响了水利工程的正常运行,而且对河床侵蚀比较严重。因此如何优化消能工的消能型式是低水
由于开采或进口的原油的酸值以及硫含量越来越高,使得炼油厂常减压装置受到严重的腐蚀,不仅影响炼油厂的经济效益,更加危害人们生命安全。炼油厂常减压装置的低温腐蚀主要是指小
<正>翻开中国历史画卷,探寻苏联解体和东欧社会主义巨变的原因,得出的是同样一个结论:执政基础最容易因腐败而削弱;执政能力最容易因腐败而降低;执政地位最容易因腐败而动摇
随着全球镍硫化物矿储量的不断下降,镍红土矿已经成为重要的镍资源。褐铁矿型镍红土矿位于典型镍红土矿矿床的上部,是重要的镍钴资源,其铁含量高,主要矿物为含有镍钴的针铁矿
选择同一瓶型不同原料、不同瓶型相同原料的包装容器样品展开耐环境应力开裂测试并对数据进行分析比较。从未通过测试样品的开裂位置、截面区壁厚分布、瓶型曲率分析中看出包
建立知识产权正当的法律选择制度是在国际私法与知识产权法领域内必然面对的问题。审视知识产权与法律选择之间的内在逻辑关系是制定合理的知识产权法律选择规则的第一步。分
目的分析对早中期糖尿病肾病患者行以优质低蛋白饮食的效果。方法从人民医院内分泌科择取43例早中期糖尿病肾病患者,所选患者均行以为期3个月的优质低蛋白饮食,对照分析饮食
人格权保护为法律的基本任务。在民法典中如何规定人格权,是一个人权保障的一个重要课题。本文从人格与人格权的关系、一般人格权以及人格权请求权三个视角就中国未来的人格
在当前政治经济改革进入深水区的大背景下,市场在经济运行中的作用进一步强化,这也意味着政府进一步退出微观经济的治理,社会自治组织将在今后的社会治理中发挥重要作用,而行业协