云计算应用中的任务调度与资源分配的协同优化

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:wanchh520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着业务的发展,越来越多的企业或组织开始采用基于多数据中心的云环境甚至多云环境为用户提供服务。多数据中心或多云可以为不同地理位置的用户提供时延更短、带宽更高、成本更低的服务,同时多数据中心间可构建互为容灾备份机制,从而提供高可靠的服务。多数据中心在提供更好的服务性能的同时,也增加了云应用管理的复杂性和挑战性。一方面,多数据中心环境将出现大规模的用户到数据中心(U2D)和数据中心到数据中心(D2D)的任务,这些任务通常包含大量待处理数据,有较高的计算、存储、网络等多维资源的需求。另一方面,多数据中心或多云环境存在大量不同类型、不同粒度的异构资源,这些资源的配置、性能、费用模型都不尽相同。随着基础设施地资源规模和异构性地增加,越来越多的企业将基础设施的管理和应用开发分离,使得应用开发人员可以敏捷开发,从而快速地应对用户需求和市场变化。这必将导致任务调度和资源分配分离,会带来一定程度的资源浪费和应用性能下降。现有的调度策略也未能充分考虑多数据中心环境的资源异构性以及云任务的特性,难以做到针对性的优化。因此,研究多数据中心云环境下的任务调度和资源分配的协同优化具有重要的理论和现实意义。针对多数据中心环境下云任务调度的问题,本文从U2D和D2D云任务的特征出发,围绕其在多数据中心环境下的调度机制和资源分配方式展开研究。本文的主要工作包括以下三个方面:·首先,本文研究了多数据中心环境下的U2D任务调度问题。为了更好地应对资源异构性,这里选取了较为复杂的混合云环境进行研究。首先针对不同区域的用户请求和多数据中心环境进行建模,设计了基于混合云的U2D任务服务模型和效益最大化优化模型。然后,分别针对静态和动态场景做具体分析,并设计相应的分布式调度算法实现各区域的任务调度、私有云和公有云数据中心上的任务调度和资源分配。该算法分层分布式地实现了混合云中的任务调度和异构资源分配,可以应对大规模的U2D任务请求。仿真结果表明,该算法能够保证任务时延需求,相对于基于提前预知的T-slot算法可以实现较高的服务效益,并显著降低算法运行时间。·其次,本文研究了多数据中心环境下的D2D任务调度问题。数据中心间网络(Inter-DC)存在大量的数据同步或备份任务,这些任务通常具有任播特性,并且可以通过存储-转发机制实现数据传输。本研究首先结合上述这两个特性,提出GlobalAMny传输机制,动态地全局选择任播目的数据中心。然后,本文设计了效益最大化模型,并利用BackPressure算法提出了逐跳的GlobalAny传输算法。为了降低传输时延,本文还综合逐跳传输和直接传输的特点,设计了数据传输的加速算法GlobalAny_Ext。仿真结果表明,GlobalAny算法提高了平均服务效益,降低了算法运行时间,而传输加速方案GlobalAny_Ext则显著降低了任务的时延。·最后,本文研究了多层Inter-DC光网络(ML-IDCON)中的DoT任务调度问题。区别于普通IP网络,光网络拥有较大带宽,但需要提前建立光路,并且资源分配粒度较大,因此ML-IDCON成为大型云服务商的选择。针对ML-IDCON中的DoT调度问题,本研究首先尝试利用IP层剩余的带宽资源实现数据传输,即通过时间扩展网络(TEN)方法将多数据中心环境中动态的网络、计算、存储资源分配问题转化为静态的网络流问题,并采用最小费用最大流算法来降低任务调度成本。若IP层资源不足,本研究将利用宽度优先搜索方法,迭代地在传输路径上找到成本最低的光路建立方案,并实现DoT调度和处理。仿真结果表明,对于DoT调度,灵活栅格ML-IDCON在阻塞概率,收发器的能量消耗和DC存储使用均优于固定栅格ML-IDCON。该算法在略微增加能耗的基础上,显著地降低了请求阻塞率、数据存储需求以及算法运行时间。
其他文献
改革开放以来,企业厂长(经理)的经济责任审计适应了我国经济体制改革的需要,强化了国家对企业的经济监督,在客观公正地考核和评价企业法人代表经营业绩、保护国家财产、严肃财经
互联网信息科技时代的来临,给党建信息化建设带来了机遇与挑战。"互联网+党建"模式不仅能促使基层党建工作信息化,并且能为党建工作奠定强有力的信息平台,确保我国党建工作的
干燥是谷物收获后加工储藏的一个重要环节,干燥过程对谷物品质有很大的影响。配置合理的干燥工艺和参数、智能化的控制技术是提高谷物干燥后品质的重要手段。本文的研究工作
在日本国际合作署伊塞克湖区发展纲要研究小组于吉尔吉斯斯坦乔蓬阿塔市举办的国际会议上,吉尔吉斯斯坦、哈萨克斯坦、土库曼斯坦、乌兹别克斯坦、塔吉克斯坦等国的国家及私
分析"互联网+"时代下,微课模式在人力资源管理课程中的应用优势和意义,对微课教学在应用中存在的问题及解决方法进行探讨,提出人力资源课程微课教学设计模式,以期更好地满足
单晶半导体材料是一种透明的材料,但易受热分解。首先在这种单晶半导体材料制成的扁平基体的一个表面上蒸上一层可以防止基体分解的透明的抗反射材料,然后在能引起基体材料分
期刊
本文主要就井下作业中的大修施工相关技术进行探讨分析,对其应用现状进行总结,并对其所体现的价值进行研究,以期为推动石油行业深入发展作出贡献。
为明确不确定环境下合作成本、学习能力、惩罚机制、合作收益等因素对高技术虚拟企业中各类合作伙伴合作行为的影响,将合作伙伴分成投资占优和学习能力占优两类,并结合交易成
受冶金部人教司委托,中国冶金教育学会于1997年10月组织了冶金高等职业教育发展研讨会。冶金系统的高等专科学校、高等职业学校、管理干部学院、职工大学、试办高职班的重点中
不分行技术和低损伤摘穗技术是玉米收获机械化的关键技术。长期以来,不分行收获问题一直被视为玉米收获机发展的瓶颈,相当一部分人员呼吁统一玉米种植行距,要求种植农艺适应