云计算下计算能力调度算法的研究与改进

来源 :太原理工大学 | 被引量 : 11次 | 上传用户:second5201314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算作为一种新的高性能计算模式成为广大研究学者的研究热点,各大公司也纷纷推出自己的云平台,如加利福尼亚大学研究的Eucalyptus, Apache基金会的Hadoop平台、以及10gen的MongoDB等。其中Hadoop平台是开源的,现在已被广泛使用,它具有分布性、效率高、成本低、可靠性强等优点,而其中它的一项重要技术作业调度是影响到平台整体性能与资源利用率的一个关键。作业调度技术是要将进入系统的作业进行合理的分配与处理,它的目标既要使整个系统能够有序的运行,又要充分有效的利用资源,还要使用户满意度尽可能高。但是随着用户需求的不断增多和作业种类、作业规模的不断增大,目前的调度算法越来越难满足用户的需求,因此研究一种新的作业调度算法,既能满足上述要求,又能结合实际应用具有重大的意义。目前应用广泛的作业调度算法有先进先出(FIFO)算法,这种算法简单明了,成本低,只适合满足单作业或少量作业的需求;公平调度算法(Fair Scheduling algorithm),它支持多用户公平地享用资源,能够满足大量作业进入系统,但这样极易造成资源的浪费;计算能力调度算法(Capacity Scheduling algorithm),它吸取了公平算法的不足,根据作业的性能分配资源,但这种分配策略过于简单,容易陷入局部最优;国内一些学者分别从系统资源、系统配置、作业等方面下手深入地研究,试图提出一些改进算法。本文针对系统的配置,从作业的总运行时间、平均运行时间与等待时间着手,利用模拟退火算法在组合优化问题上能够避免局部最优的优势,结合计算能力调度算法,提出了一种基于模拟退火的计算能力调度算法,构建了模拟退火调度算法的数学模型,选择计算能力调度算法的默认搜索策略作为初始解,提出一个新的目标函数,计算出作业的解空间,并选择对数函数作为退火策略。该目标函数综合考虑了作业的总运行时间和作业等待时间,旨在提高作业运行效率的同时减少作业的等待时间。为了提高学习速度对模拟退火作业调度算法进行了改进,在算法中加入了记忆功能,可以大大减少迭代次数,提高搜索速度和算法的收敛速度。本文在最后详细描述了如何在Hadoop平台下实现该算法,其中包括平台的内部配置已经四种调度算法的配置。将改进的算法与前三种算法分别放入平台中运行,得出了作业的总运行时间与等待时间。最后对实验结果进行比较与分析,证明了改进算法的有效性。
其他文献
物联网的发展为智能家居带来了新的机遇。随着国内人民生活水平的提高,智能家居不仅仅是别墅、高档小区的独有之物,越来越多的中低档户型对智能家居的需求日益增加。本文通过对
随着科学技术与生产的发展,自动化系统规模的不断扩大,对设备生产使用的要求越来越高,提高设备的使用效率和工作强度成为设备研究专家的关注领域。然而,设备的功能完善的同时,各部
随着社交网络和数字媒体技术的飞速发展,各种信息量每年以惊人的速度递增,文本、图形、图像、声音、视频等不同模态组成的多媒体文档,逐渐取代普通文档成为人们日常接受的信息呈
在软件开发过程中会产生各种软件过程产品,例如,需求文档、设计文档、程序源代码和测试文档等。这些软件过程产品并不是孤立存在的,它们之间存在着关联关系,获得软件产品之间的关
随着WSN在各个领域的飞速发展与广泛应用,当前大多数网络协议已不能满足很多领域对节点低能耗及网络安全性的要求。因此如何提高传感器节点能效和网络安全性,成为当前亟待需要
变频电动机是变频调速系统的核心,它的安全稳定运行对整个调速系统起着至关重要的作用。在变频电动机中,最容易出现故障的位置是其内部绕组,由变频漆包线组成的绕组经常出现被击穿的现象。由于变频电动机对漆包线的要求更高,不仅要求漆包线具有常规的电性能,还必须具备较强的耐电晕能力,目前国内对变频漆包线耐电晕性能的检测还未形成统一的标准,为此,设计和实现一种能够检测变频漆包线耐电晕性能的仪器是极其必要的。在深入
随着互联网的不断发展,现有网络日益暴露出控制手段薄弱以及信任缺失等缺点,构建一种具备可控性以及可信性的下一代网络成为研究者的共识。作为互联网的基石,路由机制承担着在多
图像数据作为互联网数据中重要的组成部分,随着互联网信息时代的快速发展以及拍照智能手机的大范围普及,在以惊人的速度不断地积累。相比文本数据,图像数据的优势在于提供了
NPR(非真实感绘制)是把绘画艺术和计算机技术相结合研究的领域,它专注于抽象与加工真实的场景,使人们能够获得更深刻、更重要、更直观的印象,因此已在教育、艺术等领域有了广泛
随着社会发展,环境保护刻不容缓。环境保护智能化、网络化是未来环境保护工作的重点。环保信息化势在必行,而物联网的迅速发展,为环境保护提供了新技术、新方法和新思路。基于物