云数据中心环境下并行应用与并行负载调度算法研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:worthylifelv
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算在资源模式上的弹性、灵活和高效吸引着越来越多的科学应用迁移到云数据中心执行。尽管资源按需获取、按使用量计费和广域网互连等独特优势有利于实现科学合作和高性价比科学计算,但科学计算同时也面临大数据、资源虚拟化、类型多样化和周期计费问题。资源获取与任务调度是科学应用获得高效执行的关键。针对现有研究工作在多数据中心协同调度、满足多方面QoS需求以及应对波动负载模式等方面存在的不足,本文对云数据中心环境下并行应用与并行负载调度算法开展了相关研究,主要工作包括:(1)提出了基于加权K均值聚类的科学工作流数据与任务协同调度算法。该算法基于加权的数据与任务依赖关系构建依赖关系矩阵,利用K均值聚类算法和矩阵分割树在满足存储均衡约束下将依赖度高的数据与任务放置在一起,通过重调整、任务复制和数据预导入进一步优化跨数据中心的数据传输;(2)提出了基于K割的多层图剖分科学工作流数据与任务协同调度算法。该算法通过固定节点融合生成图K割算法所需的端点,利用多层粗粒度化技术压缩工作流图规模,采用图K割算法直接对粗粒度图进行剖分,利用多层细粒度化技术逐层调整剖分结果并对计算任务均衡约束进行处理;(3)提出了基于生物地理学优化的DAG(Directed Acyclic Graph)调度算法。该算法以最近提出的生物地理学优化技术为基础,利用单结构部分编码方式缩小问题求解的搜索空间,通过引入比较函数间接计算适应度来提高算法框架的灵活性,并通过将启发式调度算法作为基准算法来提高求解质量,基于DAG最大并行度初始化资源池以应对按需获取下资源类型和数量不确定的情况;(4)提出了基于算法组合优化的并行负载调度方法。该方法通过在调度器中包含大量不同类型的调度算法来应对波动的负载模式,通过合理的效用函数设计来折衷并行负载执行性能和费用,利用在线仿真调度对组成算法进行性能评估和选择,使用基于算法性能动态分类的时间约束仿真来提高算法选择的质量。综上所述,本文针对当前云数据中心环境下并行应用与并行负载调度中亟待解决的几个关键问题给出了解决方案,并通过标准的并行应用与并行负载验证了提出算法的有效性。本文的工作对于推进并行调度算法研究和推动科学计算发展具有较高的理论意义和应用价值。
其他文献
塔式起重机基础的力学状态及形式的研究冷连富,李斌对于固定式上回转塔式起重机,下部基础是保证其安全可靠工作的重要条件。基础的可靠性主要取决于两个方面,一是能够低御塔机的
流行音乐有着独特的艺术魅力和社会功能,是反映社会发展的重要表征,是声乐教学与时俱进的鲜明体现,对声乐教学起着画龙点睛的作用,只有将流行音乐融入声乐教学的过程中,才能
声带白斑是由刺激因素长期作用于声带黏膜,导致声带黏膜上皮生长异常或成熟异常及过度角化而引起的一种白色斑块样疾病。"白斑"一词,仅为一临床描述性名词,用于描述黏膜上不
谁在借风声  与人间的眼睛交流  它如此隐晦  我没有看到它的身体  只看到它的嘴巴  它这样说……  树叶问:听见了吗?树叶反复询问  波纹问:聽见了吗?波纹追着  我的耳朵  我知道有些人不便站出来  它们担心一旦显形  会吓着另外一些人  有时,它们还化作水声  化作乌云  化作草,甚至大胆一些的月亮,星星
21世纪以来,随着信息技术的迅猛发展,数据量呈指数级增长,大数据时代已经到来并给人们的生活带来了全方位的改变。图像数据和流数据是大数据中两种最主要的数据形式。这些海
中国古典园林的审美要求调动人的眼、耳、鼻、舌、身等各方面的感官功能,离不开人的主动性参与,并力求达到交感融合式体验,这是一种典型的"参与审美"模式。
采用典型样地法,以四川新津县普兴镇桉树(Eucalyptus robusta)人工林为研究对象,设置5种不同林分密度(A.625株·hm-2;B.750株·hm-2;C.875株·hm-2;D.1 000株·hm-2;E.1 125株
电容层析成像(Electrical Capacitance Tomogyraphy)主要用于两相流和多相流的可视化测量。该技术根据测量得到的电容数据来重建被测物场中的介质分布。因具有非侵入、无辐射