Hadoop平台作业调度算法研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:vcnewer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的迅速发展,在各个领域都出现了云计算应用系统。而且大多数的云计算系统都选择Hadoop平台进行开发和测试。Hadoop是一个开源的代码框架,它实现了对大型数据的并行处理,它的容量较高但是成本低,成为对海量数据进行处理的有力工具。Hadoop能够并行对成千上万的作业进行调度,作业调度技术对作业执行的顺序以及计算资源的分配进行控制。所以选择合适的作业调度算法,对Hadoop的发展有重大影响。  本文主要研究Hadoop平台下的作业调度算法。首先深入分析了Hadoop现有作业调度算法FIFO、计算能力调度算法、公平调度算法的算法思想,以及各调度算法的优缺点。然后在此基础上提出了一种基于作业优先级和大小的作业调度算法。基于作业优先级和大小的调度算法采用的是两重约束策略,来决定集群中作业的调度。第一重判断是先按照作业的优先级,将正在执行的作业和作业队列中的作业的优先级进行比较,如果队列中作业的优先级高于正在执行的作业的优先级,则该作业可以被调度执行在第二重判断中我们讨论,在什么情况下不分配资源。如果队列中的作业的优先级不比正在执行的作业的优先级高,则该作业不被调动执行在第二重判断中我们考虑在什么情况下调度该作业。第二重判断是先根据第一重判断中作业优先级比较的结果,然后利用两作业之间作业优先级和大小之间的关系式,决定是由作业优先级还是作业的大小来决定作业调度。该调度算法大大提高了短作业的响应时间,而对于其他类型的作业没有产生明显的消极影响。最后通过构建Hadoop集群实验环境,将新提出的作业调度算法和集群中现有的几种作业调度算法进行实验比较。实验结果表明我们的算法成功地实现了预期的目标,并且在性能测试中表现良好。
其他文献
随着信息技术的高速发展,人类社会在过去几十年已经积累了大量的电子数据,当下电子商务、社交网络、科学研究等领域产生的数据呈爆炸式增长,未来的无线传感信息也将成为一个巨大
从20世纪90年代开始,伴随着电子通信、半导体技术、计算机网络等技术的发展,由具备感知和数据处理的传感器节点组成的无线传感器网络(Wireless Sensor Network,WSN)的技术及
随着科技的发展,各个行业都产生了大量的数据,为了解决在海量数据中获取有用的信息的问题,数据挖掘技术应运而生。机器学习是当前人工智能领域的热点研究方向之一,它本身也是一门
在图像处理技术用于虫卵图像处理时,受到诸多因素的影响。人工分辨缺乏客观性、稳定性和精确性,处理能力完全取决于研究人员的经验,并且得到的标本、数据和结果不便于存储、再现
近年来,随着网络技术的发展和社会信息化程度的提高,人们享受了网络所带来的便捷服务,但各种网络攻击的迅速扩展给社会造成了相当大的损失。DoS攻击是一种典型的网络攻击方式,它
无线传感器网络作为目前IT领域中研究的热点之一,具有巨大的发展潜力,其发展和应用,将会给人类的生产和生活的各个领域带来深远的影响。无线传感器网络通过各类集成化的微型传感
随着时代的进步和经济的快速发展,人们对家居生活水平的要求也在不断提高,智能家居概念在此背景下应运而生,而信息技术发展的日新月异为其快速发展提供了有力支撑。为了适应智能
虚拟现实(VirtualReality,VR)技术,作为20世纪末兴起的一门综合性信息技术,融合了计算机图形学、图像处理、传感器、网络、并行处理技术以及多媒体技术等多个信息技术分支。实
随着Internet和网络技术的快速发展,各种类型的网络应用迅速增加并且变得日益复杂。对网络应用系统进行分析和研究以保证系统的稳定性和可靠性具有重要的意义。模拟网络系统的
随着互联网技术的不断深入发展,信息技术在社会各领域中不断普及应用,许多传统、经典的信息技术科学方法在新领域中的应用遇到了新的问题与挑战。传统的HTML语言在数据表示、交