Hadoop平台下作业调度方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:q158166828
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算在网页搜索、数据挖掘等大规模数据处理方面正变得越来越重要,Hadoop作为一个开源的云计算平台也得到了广泛的应用。作业调度算法是Hadoop平台的核心,良好的作业调度算法能够提高计算的速度与对计算资源的利用率。论文首先对Hadoop平台的原理与结构进行了详细的分析;然后介绍了Hadoop平台自带的两个调度算法,FIFO调度算法和公平调度算法;为了对调度算法进行定量的比较,设计了集群均衡性以及作业执行公平性的定量计算方法;最后根据提出的方法,通过实验比较了FIFO调度算法以及公平调度算法在异构集群中的实际表现,并分析了两种调度算法的不足。结合异构集群的特点与公平调度算法良好的作业公平性,论文中设计了基于集群状态的实时作业调度算法。该算法保证作业按照大小及优先级获得计算资源,且能够根据每个节点负载的变化动态调整该节点的资源数量,以适应异构集群的执行环境。论文中给出了应用该算法后的实验结果,与FIFO调度算法以及公平调度算法的对比实验结果表明,基于集群状态的实时作业调度算法在兼顾作业的执行速度与公平性的前提下,显著提高了集群的负载均衡性。
其他文献
在现有的彩色图像压缩编码技术的研究文献中,几乎都是采用将RGB原色彩空间转换成YUV,YIQ或YCbCr等其他色彩空间,然后在这些色彩空间中,依据对三个色彩分量重要程度的经验判断
在飞行器研制过程中,气动外形设计与气动数据分析产生并积累了大量的数据。这些数据是在不同的气动研制单位与试验环境下产生并保存的,具有很强的异构性。因此,就造成了气动
随着嵌入式技术与网络技术的飞速发展,人类即将进入后PC机时代,嵌入式系统的网络化已经成为必然趋势。专家预测,未来将有70%的信息来自小型嵌入式设备,嵌入式Internet即将成
我国拥有巨大的TV终端用户群,网络的普及率也比较高,将网络与TV相结合的IPTV技术在我国具有良好的发展前景。目前IPTV主要是以流媒体的方式将节目内容提供给用户。流媒体节目
近年来以Gnutella和KaZaA为代表的无结构P2P文件共享系统已经成为当前Internet中最重要的应用之一。在无结构P2P文件共享系统中,当用户对流行文件进行查询时,系统能够以较短的
随着21世纪经济全球化的迅猛发展,企业需要面临诸多新的机遇和新的挑战,如:产品的更新速度不断加快、顾客的需求越来越多样化与个性化、研制开发的难度不断加大、产品生命周期越来越短。在这种复杂的环境下,企业要想赢得生存,除了积极地迎合顾客需求外,还要提高运作效率、降低成本。对于多数的企业而言,仅依靠单个企业自身的努力获得生存竞争力是很困难的,这是由于目前企业自身内部的管理和协作已经很完善了,想要在其内部
频域光学相干层析视网膜图像SDOCT(Spectral Domain Optical CoherenceTomography)在现代医学中起到了重要的作用。视网膜层的精确分割是对视网膜医学图像分析的基础,本文在三
随着IT技术的迅速发展与网络技术应用的日益普及,当今的社会对IT技术的依赖性和重视程度越来越高。IT技术为各个单位的业务操作提供了一种崭新的选择,它大大提高了单位的办公
近年来,随着互联网和多媒体技术的快速发展,各种形式的多媒体作品得以通过网络向外发布或下载,这给人们的工作和生活带来了极大的方便,但同时也带来了负面影响,使得对原始作
长期以来,由于客观条件限制及经济利益驱使,铁路货车超载(或欠载)、偏载现象严重,造成车辆设备损伤,大大降低使用寿命,甚至危及行车安全。在运行中及时发现和防止设备故障的发生或扩大,并采取相应的措施,成为目前保证列车运行安全急需解决的问题。因此,采用新技术、新装备、新方法,对货车超偏载情况进行准确测量,才能确保客车安全运行和旅客人身安全。为此,我所成立课题组研制了智能型铁道车辆轮重测定仪。轮重测定仪是