论文部分内容阅读
计算型云平台是一种以资源整合为主，利用虚拟化核心技术，通过一系列的云计算资源管理方案为用户提供各种需求的服务性平台。计算型云平台具有覆盖范围广、使用效率高以及依据用户需要分配资源等优点，这为建立高效的大数据处理场景提供了更多的可能性。 由于现代信息技术的飞速发展，建立在物理服务器上的大数据处理环境，已经不能满足高性能计算规模的不断扩大以及应用复杂性的增加。而虚拟集群技术是解决这类难题的一种重要工具，其已被广泛地应用到多种并行计算环境，许多大数据信息问题在虚拟集群环境中得到了很好的处理。因此，为了解决传统大数据处理环境的诸多局限性问题，在计算型云平台上创建虚拟集群环境有着非常重要的意义。 本论文重点设计了一种在OpenStack云平台上的 Hadoop集群环境。首先介绍了OpenStack云平台与Hadoop集群系统，继而研究了基于OpenStack API接口的使用方法，用来完成虚拟集群环境与集群管理系统之间的良好通信；然后设计了一个 Web应用型集群环境管理系统；最后，在以上研究基础上实现了计算型云平台上的虚拟集群环境。 (1)云平台与Hadoop集群环境的实现。首先利用OpenStack开源项目搭建了云计算平台，对该平台的体系结构和部署方案进行了详细的研究。然后对Hadoop集群系统进行了简单介绍，同时研究了Hadoop集群系统的框架结构和部署方案，为虚拟集群系统的创建打下良好基础。 (2) OpenStack API使用方法。这里说明了OpenStack API的四种请求方式，研究了OpenStack API应用开发的设计思路以及如何用API接口实现外界用户对云平台上多种数据信息的访问与更改。通过OpenStack提供的API接口来完成虚拟集群系统与集群管理系统之间的数据通信。同时解析了OpenStack API四种请求方式的具体使用方式。它们是管理系统与云平台之间交互的关键。 (3)虚拟集群管理系统的设计与实现。作为虚拟集群的管理系统，它是用户对云平台上虚拟集群资源进行使用和需求设置的重要方式。这里通过 Web应用的形式展示了虚拟集群管理系统的基本设计思路，并对虚拟集群管理系统的整体框架做了进一步的描述。利用已有的基本设计思路和整体框架，同时借助计算机编程工具，完成了该管理系统的设计和实现过程。 (4)基于云平台虚拟集群的实现。在以上三部分内容顺利实现的基础之上，通过它们之间的关联关系，将它们逐个的联系起来，实现了基于开源OpenStack云计算平台的虚拟集群系统。同时，对基于云计算平台虚拟集群的功能进行了测试，证明了该虚拟集群良好的可用性。