论文部分内容阅读
云计算中的资源管理关键技术根据用户的需求并通过监控系统的各项参数指标对系统资源进行动态规划、调度与调整,是影响云计算系统性能的核心要素之一。但是当前云计算特别是基于Hadoop架构的云计算系统在该方面仍然存在着一些不足。首先是存储资源调度缺乏灵活性的问题。由于用户对不同数据的需求也不尽相同,这样一来会使得某些数据文件成为“热点”。因此在云计算存储资源调度过程中对这些数据文件一视同仁是不合理的,需要一种区分不同数据需求的动态存储资源调度机制。第二,元数据管理在云存储中是一个关键问题。当前元数据管理机制多为单中心节点的主从架构,仅有的一些多节点元数据管理方式在元数据划分、持久化以及故障恢复等方面均存在不足。第三由于云计算环境提供的资源规格与用户所需要的资源规格不一致,因此可能产生一定量的碎片资源,如果能够对它们采取相应的组合及调度机制,系统资源利用率将能够得到进一步提高。根据以上不足之处本文有如下三方面的创新:针对由于请求激增导致当前文件副本数目难以满足需求的文件热点问题,提出了一种基于Hadoop分布式文件系统的云计算存储资源副本动态调度机制,包括副本数量动态调整机制和动态副本选择算法两部分,以提高系统的稳定性和文件访问吞吐率。实验结果显示,在一定的存储资源、网络负载的开销下,该改进方案明显降低了系统响应用户请求的时延。针对元数据管理方面的问题,本文提出了一种分布式的管理机制。该机制能够根据不同名字节点的处理能力将元数据分布到它们之中,并提供一种高效的元数据查询方法,从而为系统提供了良好的可靠性和可用性。此外该机制还采用基于组的日志副本机制及负载均衡策略来保证系统容错性和伸缩性。实验结果显示,采用该元数据管理机制的多名字节点系统在处理元数据操作请求时性能较原生系统有很大的提升针对系统碎片资源问题,本文基于资源之间的耦合强度以及业务类型对碎片资源组合的需求,提出了一种云计算环境下基于Chord查询改进算法、具有QoS保障的资源调度机制。仿真结果显示该机制能够有效地提高系统碎片资源利用率。