论文部分内容阅读
近年来,Hadoop已被广泛的应用于分布式系统的实现。我们可以通过hadoop系统搭建出很多高质量的分布式系统平台。hadoop系统包含了很多的子项目,也有很多对它功能进行扩充的相关项目,比如ZooKeeper, Hive, Hbase等。使用hadoop的时候用户会遇到种种问题:比如需要学习hadoop专用的语言,需要学习调用hadoop的api, hadoop集群配置相对繁琐;再比如要去学习编写mapreduce的task,这些都是用户使用hadoop时候的难点。所以需要一个能够支持hadoop应用快速开发的平台。本文提出了一个hadoop应用快速开发平台,其研究目的在于将hadoop的并行计算能力以模板化可重用的方式提供给用户。该系统应用了目前主流的云计算技术,有很强的的扩展性、可靠性。根据不同用户对hadoop程序的不同需求,定制不同的hadoop模板,以后可以多次重用。对于hadoop用户来说,支持用户浏览过去执行结果的历史记录,而不是每次执行相同的重复的程序。本系统简化了hadoop程序编译部署的过程:无需手动打包和手动拷贝,用户只需要选择固定的模板并进行配置,之后指定数据源,模板程序就可以建立成功。后面包括程序的打包和上传,数据的上传,hadoop运行指令的执行,计算结果以可视化的形式展现等等一系列操作全部都由hadoop应用快速开发平台完成。论文首先介绍了hadoop、并行计算等概念,介绍了hadoop的发展情况,以及hadoop应用快速开发平台的背景与意义;接下来对hadoop应用快速开发平台开发中涉及的技术进行了详细介绍;接着,针对几个关键技术场景,通过比较给出解决方案;解决了关键技术问题之后,本文详细介绍了系统中各功能模块的交互以及消息数据处理流程,着重阐述了各个功能模块的实现。本文最后对hadoop并行计算框架系统的功能测试与性能数据分析进行了介绍,提出了改善方案以及未来的工作。