论文部分内容阅读
云存储是云计算的核心基础组件,云存储的高可靠、高可用和高性能是云计算能够支撑各类云端业务的重要保证。基于多数据中心的云存储采用广域网分布式架构,通过遍布全球的数据中心实现数据的异地多副本存储,保证数据的高可靠和高可用;通过就近访问和数据并行下载,保证数据服务的高性能。云存储多数据中心在QoS保障与资源调度方面,和单数据中心有较大不同。目前业界尚无标准和规范,学术界也缺乏系统性研究。如何通过多数据中心之间相互协作进行资源分配,保障不同QoS级别业务并提高系统资源利用率,是当前云存储领域的研究重点。本文以实现云存储多数据中心QoS保障,提高云存储系统整体资源利用率为目标,深入研究了如何通过优化云存储多数据中心资源调度,实现QoS保障的问题。论文结合云存储多数据中心特点,将云存储服务分解为4个主要子服务(负载均衡、存储分层、存储网关、网络传输),针对不同的子服务采用特定手段实现QoS保障与系统资源优化的双重目标。本文的主要成果和创新点包括以下5点:(1)系统分析了云存储多数据中心资源管理的技术原理,总结了在多数据中心架构下,云存储在QoS保障和资源调度方面的研究现状和存在问题。本文对云存储在系统架构、负载均衡管理、存储分层管理、云存储网关管理、数据中心网络管理等方面的QOS保障机制和原理进行了综合分析,归纳出各自的工作思想和优缺点,指出了云存储多数据中心管理面临的挑战,并设计了一个云存储资源优化仿真平台。这是开展云存储多数据中心QoS保障和资源调度研究工作的理论和实验基础。(2)提出QoS全局最优的云存储多数据中心负载均衡调度模型,并提出一种基于商空间的层次式负载均衡调度算法(QBHLBSA)。本文分析了云存储负载均衡机制和云存储多数据中心在负载均衡方面存在的问题,提出了一种QoS全局最优的云存储多数据中心负载均衡调度模型。模型的优化目标是保证不同QoS级别业务的性能需求,并使各个数据中心资源利用率最大化。本文结合云存储多数据中心层次化管理特点,提出了一种基于商空间的层次式负载衡调度算法。该算法可以在不同粒度上由粗至细地对云存储负载进行调度,具有更快的收敛速度、避免了传统算法极易陷入局部最优值问题。仿真结果表明,本算法可以提升云存储的系统整体资源利用率和吞吐率,并且保障高QoS优先级业务的读写性能要求。(3)提出面向应用层QoS保障的对象分层存储系统模型,并提出一种基于定价策略的自动分层调度算法(PBACST)。为了保障云存储中高QoS优先级业务对存储性能的要求,本文建立了面向应用层QOS保障的对象分层存储系统模型。模型的优化目标是在充分考虑不同业务QoS需求、存储容量和吞吐率约束条件下最大化云存储高速缓存资源池的利用率。本文结合云存储多数据中心特点,提出了一种基于定价策略的自动分层调度算法。该算法具有分布式决策的特点,各组件相互协作地完成数据对象分层调度。仿真结果表明,本算法可以提升云存储中高速缓存资源池的利用率,并且保障高QoS优先级业务的读写性能要求。(4)提出支持QOS的云存储多数据中心任务调度模型,并提出一种基于动态带宽分配的实时任务调度算法(DBABRTSA)。本文分析了云存储中不同QoS级别业务竞争有限的带宽资源时产生的拥塞问题,提出了一种支持QoS的多数据中心任务调度模型。模型的优化目标是保证高QoS级别实时业务的性能需求,并提升云存储系统整体吞吐性能。本文结合云存储多数据中心层次化管理特点,提出了一种基于动态带宽分配的实时任务调度算法。该算法可以按照业务类型优先级从高到低,动态分配任务流量带宽。仿真结果表明,本算法可以保障高QoS级别实时业务的读写性能要求,同时保证其它各级QoS业务对带宽使用的比例公平性,并能提升系统整体的吞吐率。(5)提出面向QOS的数据中心间网络流量调度模型,并提出一种基于双层多粒子群的网络流量调度算法(BLMSPSOSA)。本文分析了云存储多数据中心间网络链路带宽利用不均衡的问题,提出了一种面向QOS的多数据中心间网络流量调度模型。模型的优化目标是保证不同QoS级别数据传输的性能需求,并使数据中心间网络链路带宽资源利用率最大化。本文结合云存储多数据中心层次化管理特点,提出了一种基于双层多粒子群的网络流量调度算法。该算法具有更快的收敛速度、避免了传统算法极易陷入局部最优值问题。仿真结果表明,本算法可以提升云存储多数据中心间网络链路带宽的利用率,并且保障高QoS优先级数据的传输需求。综上所述,本文通过对不同子服务的资源优化调度实现了云存储多数据中心QoS保障,并有效提升了云存储整体资源利用率和吞吐率。