机群作业调度系统设计

来源 :南京大学 | 被引量 : 0次 | 上传用户:xiaodaoluan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机群系统已经成为当今高性能计算的主流,与传统工作站和PC机不高的资源利用率相比,机群系统需要最大化系统的资源利用率,满足用户多样化的需求,增强其可用性,以充分利用其昂贵的资源。为了实现这些目标,设计和使用机群系统时,必须考虑的一个重要问题就是作业管理和调度。作业调度系统负责实现系统的作业调度和资源分配策略,作业调度策略决定了用户作业的执行次序,资源分配策略决定资源如何使用,作业调度机制的实现直接影响系统的资源利用率、负载的平衡、作业吞吐量和用户满意度。 本文对当前的作业调度系统进行了深入调查,在总结前人工作的基础上,设计和实现了一个通用有效的调度方案:基于作业分类的层次式优先级调度,有效的解决了用户多样化的需求,同时尽可能的最大化系统的资源利用率和吞吐量。该方案实现了四类作业调度算法:普通作业调度、交互式调度、延期调度和实时调度;支持回填调度技术;可以方便的设定顺序作业的调度策略和FCFS调度策略;解决了饿死问题;支持系统(部门)级、队列(集)级、用户(组)级资源使用控制;提供六种资源分配策略,支持集中和分散两种负载平衡策略。 目前大多数作业管理系统都属于批调度系统,例如PBS、LSF等(包括本文设计的系统)都主要实现了批调度技术,且FCFS和EASY Backfilling[4]是目前应用最广泛的算法。但它们都存在问题,FCFS策略的资源利用率不高,EASY克服了FCFS缺点,有效的提高了的系统资源的利用率,但EASY算法也存在两大缺陷,一个是要求用户估计作业运行时间,增加用户负担;另一个是偏爱小作业。为了解决这些问题,本文提出把抢占式调度应用在机群调度领域。虽然机群技术已经发展了二十多年,但抢占式调度在高性能计算领域一直没有得到广泛应用,主要是因为技术水平的限制,并行进程冻结和迁移技术开销大,网络互连技术瓶颈问题。由于这些原因,抢占式调度在高性能计算领域一直被当作不可行的技术。但近几年来,高性能通信技术有了飞速发展,例如,InfiniBand网络的数据传输速率最高可达到20Gbps,并行程序检查点技术也不断提高,例如,SafetyNet[21]每秒钟可以进行10,000次检查点操作,而且越来越多的机群作业管理系统开始支持作业冻结和迁移技术。抢占式调度应用于机群调度的可行性需要重新进行评估。假设可抢占式调度可以有效的提高将系统的资源利用率,大幅度提高用户的满意度,可以预测可抢占式调度将成为机群作业管理系统新的发展方向。为此本文实现了一种可抢占式调度算法,并采用实际的应用环境进行了模拟实验,从性能和公平性两个角度与当前最流行的EASY Backfilling算法进行了对比,验证了可抢占式调度算法的有效性。
其他文献
由于人类对天体的认识还很有限,在稀少的天体光谱数据中,提取出天体光谱特征与其物理化学性状之间的相关性,从而寻找出稀少的天文规律是目前需要研究的重要内容之一。本文以国家
电机作为当今工业生产中的主要动力设备,也是当今工矿企业及日常生活中耗电量最多的一种电气设备。据国家计委的统计资料,2005年度我国电机的总装机容量已达5亿多千瓦,年耗电量
如何在应用的开发和演化过程中适应新的需求和发展,是提高软件开发效率、保证系统稳定性的一个关键问题。领域工程针对变化性的研究范围横跨问题域至解空间,体现于软件的业务需
随着云计算时代的来临,基于基础设施服务的云计算管理平台受到了广泛的关注,而开源云平台OpenStack的产生与快速发展也正是得益于此。从最初的Austin版本到现在的最新版本Kil
随着网络技术的发展和存储技术的增强,数据传输量越来越大,人们对通信带宽的要求也越来越高,数据带宽已经成为限制系统整体性能的一个重要瓶颈.在数据的传输过程中,串行和并
伴随着企业信息化建设的不断推进以及信息化程度的不断提高,各种应用系统集成的需求越来越大。应用集成首先要面对的问题就是数据集成。如何有效地实现数据共享与集成,直接关系
当今,互联网已经成为一个事实上的信息基础设施,人们的工作、生活、娱乐等都离不开网络,这使得网络及其上层服务的性能成为人们日益关注的问题.性能评析可以帮助了解网络及应
基于J2EE的中国人寿审计管理系统内部管理子系统,是充分利用了J2EE体系结构的优点,实现了多层次、模块化、可扩展、易移植和平台独立性强的审计系统应用。 本文介绍了分布式
随着计算机网络的发展,软件工程师在构建、维护和增强高质量的分布式应用软件面临着严峻的挑战,开发者必须对许多复杂问题有深入了解,比如服务的初始化和分布、并发控制、流控制
人类长期以来一直梦想造出像人一样的机器,能够代替人去从事各种工作,成为人们日常生活中的亲密伙伴,甚至人们可以将其作为人类社会的一部分,能够像与人一样的与其进行交流。随着