异构分布式系统的调度优化研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:songweiwc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式系统由于具备高吞吐信息服务和海量数据处理能力,在科学计算和金融等领域需求迅猛增长。但随着机器的更新换代及为了满足应用的不同计算需求,分布式集群面临两大挑战,即下层硬件趋向异构化与上层应用趋向复杂化。分布式系统下层硬件趋向于异构化的原因主要包括:1、集群规模的不断扩大或机器的损坏导致的重新采购,如Amazon的EC2在5-7年时间就有了2-3个服务器版本;2、随着ARM、GPU、FPGA等硬件的发展,为了满足不同的计算需求,分布式系统下层硬件逐渐趋向于异构化。同时依据负载分析显示,分布式集群所服务的上层应用也逐渐趋向于复杂化,如Hadoop1.0仅支持MapReduce,而Hadoop2.0可同时支持MapReduce[1]、Spark[2]、Tez[3]、Storm[4]等多种计算框架。  传统的分布式处理框架主要为同构集群所设计和优化,不能处理异构集群调度中的复杂选择问题,所以在异构集群下表现较差。这不仅导致浪费各具特点的异构资源,并且不能满足任务执行的时间空间需求,降低了用户满意度。影响系统效能高低的主要因素为部署在体系架构上的资源管理系统,而任务调度又是资源管理的核心,所以为了优化分布式系统的执行效率,应从调度的角度对其进行优化。然而,异构环境下分布式系统的调度问题,由于环境的多样性、选择的复杂性、调度目标的高维多目标性,成为了一个亟待解决的问题。  本文针对异构分布式系统的调度优化展开研究,主要的研究成果包括:  1、下层硬件逐渐趋向异构化,使得大规模异构集群成为分布式集群的一大趋势。本文通过实验分析发现,传统调度器在异构环境下执行效率低下的根本原因是,不能依据异构节点的执行能力进行合理的任务分配。为了解决该问题,本文提出了基于整数优化的全局调度器MrHeter。MrHeter将MapReduce的执行过程分为Map-Shuffle阶段及Reduce阶段,并依据各阶段的特点及异构节点的执行能力进行合理的任务分配。实验结果显示,MrHeter相对于传统的MapReduce处理框架有30%-70%的性能提升,尤其在负载超重及异构节点执行能力差异大时表现优异。  2、上层应用逐渐趋向复杂化,使得服务于混合负载成为分布式集群的一大趋势。本文通过对于大量负载,如Google、Facebook等的分析发现,异构平台所运行的负载逐渐趋向复杂化,并且具有资源偏好特性,即任务在异构节点运行会有不同的性能表现。传统的调度器对于混合负载的资源偏好处理方式是“无约束”或“强制约束”,而“无约束”不能利用异构资源性能优势,“强制约束”因调度策略不灵活而浪费其他空闲可执行资源。所以本文提出了一种高效的折衷表达方案,即“或约束”。“或约束”能集中传统方案的优势,尽量满足任务的资源偏好,同时在偏好节点忙碌时,灵活负载均衡,充分利用其他空闲可执行资源进行任务执行。  3、为了应对分布式系统的两大挑战-下层硬件异构化、上层应用复杂化,提高混合负载在异构环境下的执行效率,本文提出了基于“或约束”机制的全局调度器MixHeter。MixHeter可衡量异构节点的执行能力,合理高效的利用异构资源,并使用效益函数的方法实现“或约束”机制,达到满足混合负载资源偏好的目标。实验结果显示,MixHeter相对比于依据“无约束”及“强制约束的”的传统调度器,有20%-70%的性能提升,尤其在资源偏好型任务异构资源表现差异大且比例高时表现优异。
其他文献
本文以高校艺术类考生面试为例,介绍了面试的流程和其中存在的问题,提出了建立网络评分管理系统的必要性和系统建设的目标、系统的主要功能及系统采用的关键技术。 针对本系
随着软件产业的不断发展,软件应用的日益广泛,软件开发面临着越来越多的挑战,软件危机也随而生。软件复用在这种背景下发展起来,它是解决软件危机的有效途径。作为软件复用核心技
由于在满足企业级系统安全需求方面显示了极大的优势,基于角色的访问控制(RBAC)近年来成为访问控制领域的研究热点。研究人员已经提出若干基于角色的访问控制模型,其中包括著名
本文主要讨论了数据挖掘的一些基本概念、模式、算法及其在税务系统中的应用,并围绕数据挖掘讨论了解决目前在税务系统中存在的问题的一个解决方案。 首先,本文说明了什么是
多元变参数振动钻削是一种为适应新型材料的出现而进行的优化切削过程,在切削过程中为提高孔加工质量而提出的最优化加工方法。该方法在钻削过程的不同区段,要求采用该区段的最
本文所研究的数字签名就是一种常用的信息安全技术,而其中的多重数字签名正受到人们越来越多的关注.可是,已有的椭圆曲线多重数字签名方案只适合进行广播多重签名,不适合进行
本文针对支持向量机目前存在的若干关键问题展开深入的研究,涉及支持向量机的训练、分类、模型选择和多分类器构造等方面,并将研究成果应用于人脸识别问题中。取得的创新性成果
本论文的目的是利用GIS技术和相关的无线电波传播预测模型来研究无线电波的传播现象。预测的结果以直观的方式输出,这将有助于专业人员建立和优化移动通信系统。  本论文对
数据中心运行着多种类型的应用,例如社交网络、大数据分析、企业应用。这些应用对存储系统的要求(持久性、一致性和性能等)各有不同。随着存储技术的发展,存储层次结构的深度不断
数据挖掘,又称数据库中的知识发现,作为一门新兴的研究领域,主要目的是从数据集合中发现隐含的、事先未知的、对决策有潜在价值的用户感兴趣的知识,数据挖掘是当前数据库领域中最