论文部分内容阅读
伴随着云服务在全球范围内的不断发展,云数据规模也迅速从TB级增长至PB级。为了满足全球用户对云数据的动态访问需求并保证云数据的高可靠性,大规模云数据拥有多个副本并被分散存储于全球各地的数据中心。为了满足云数据的分发需求和数据副本间的一致性需求,云数据往往周期性地在全球各地的数据中心间进行迁移和备份操作。但由于云数据具有数据量大和分布范围广的特点,导致跨数据中心的大规模云数据传输和迁移操作占用了大量网络资源,迫使云服务提供商租用更多网络资源以满足传输需求,最终增加了其网络传输成本。针对上述问题,本文研究发现在跨数据中心的大规模云数据环境下,网络拓扑、链路带宽利用率以及带宽资源计费策略这些网络信息在云数据的部署和传输过程中扮演着极其重要的作用。而现有云服务提供商在对数据进行部署和传输调度时,仅从自身云服务提供的需求层面进行考虑,忽略了底层网络状态信息,导致其难以对数据部署和传输策略进行整体优化。基于上述分析,本文结合网络拓扑、链路带宽利用率以及带宽资源计费策略等信息,研究面向大规模云数据的跨数据中心部署和传输技术,并取得了如下成果:·提出了网络感知的大规模云数据的跨数据中心优化部署算法。从分析云数据间的关联关系入手,结合网络拓扑信息,在满足数据访问需求和数据中心存储能力约束条件的前提下,研究云数据优化部署技术,使得数据之间关联密切程度和网络距离保持一致,最小化云数据部署后的网络传输资源开销。仿真实验数据表明本算法可有效节省网络资源开销,并且降低跨数据中心数据传输时间。·提出了动态网络资源环境下的跨数据中心高效用传输调度算法。从利用大规模云数据传输的非实时特性入手,结合动态空闲网络带宽资源的变化规律,在满足云数据传输请求和网络链路资源容量约束的前提下,研究高效用的云数据多传输请求调度算法,充分利用动态空闲资源完成大规模云数据传输,最大化网络资源的效用。在时域维度,采用存储-转发方式利用空闲带宽资源传输数据。在空间维度,采用字典序优化技术对全网链路拥塞进行优化。仿真实验数据表明本算法可有效均衡网络流量负载并降低网络拥塞。·提出了云数据部署和路由联合优化的低成本传输调度算法。从数据部署和路由调度的联合优化角度入手,通过添加虚拟节点和链路的方式将部署问题和传输调度问题统一建模,结合混合传输模式下网络传输和邮寄硬盘传输的多种计费策略,在满足云数据传输请求和网络链路资源容量约束的前提下,研究低成本云数据传输组合方式和策略。仿真实验数据表明,与单纯通过优化数据部署或传输路径的调度算法相比较,本算法可有效降低网络传输成本开销。