基于人工鱼群算法的Hadoop调度算法研究

来源 :北京林业大学 | 被引量 : 0次 | 上传用户:seryhugjkghj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是计算机时代的一个进步,其有效地整合了计算机的计算能力,并将计算能力商品化,按需付费使用。Hadoop“移动计算而非移动数据”的设计思想,很大程度上符合大规模数据处理的特点,深受各大互联网厂商的青睐,进而Hadoop成为云计算近几年主流的开源的实现平台。云计算是将众多普通计算机组成一个庞大的计算机集群,基于Hadoop的技术实现屏蔽了底层物理链接等繁琐问题,并容易构建高容错的系统集群。作业调度算法作为管理Hadoop资源和分配任务的中枢,其性能的优劣往往影响着整个集群的性能,尤其是在节点性能、网络带宽相差较大的异构环境下,这无疑给作业调度算法带来了很大的挑战。本文工作是对作业调度算法进行改进。首先,在探索现有作业调度算法工作原理的基础上,分析其存在的不足,进而寻求改进方法。然后,通过对群智能算法,尤其是人工鱼群算法的调研,分析并总结人工鱼群算法工作机理,归纳其在TSP组合优化问题上的应用,引入跳跃行为和吞食行为对算法本身进行改进。最后,将人工鱼群算法与作业调度算法进行结合,提出了基于改进人工鱼群算法的作业调度算法,该算法采用随机键的方式对待分配任务进行编码,以任务总时间为启发函数,并引入吞食行为和跳跃行为完成人工鱼群算法的改进,以达到进一步改善作业调度算法性能的目的。实验结果表明,改进后的作业调度算法有效地提高了系统性能,降低了运行时间。
其他文献
地理信息系统简称GIS(Geographical Information System)是一种决策支持系统,它具有信息系统的各种特点。地理信息系统与其他信息系统的主要区别在于其存储和处理的信息是经过地
随着通信业务的发展及通信网络规模的进一步扩大,新技术、新设备、新业务不断出现,运营商对电信设备制造厂商同时组网的产品均提出了统一网管的要求,即不同类型的产品能在同一个
随着互联网的发展,人们既感到信息资源十分丰富,又感觉想找到所需的信息相对较难.原因之一是现有的信息系统还没有能够对信息资源进行有效的组织管理,内容管理是解决此问题的
随着基因组计划的实施,新的分子生物信息数据大量涌现.如何从中得到有价值的知识是一项非常艰巨的任务.生物信息学就是为了满足这一要求而迅速发展起来的.在生物信息学中,对
IP电话是VoIP(Voice over IP)技术的一种应用,随着H.323、SIP等相关VoIP技术的发展,IP电话技术中的控制及信令体系日臻完善,IP电话可以实现的已不仅仅是PC到PC的简单呼叫,将
随着计算机技术及其应用的不断发展,出现了许多访问控制模型。目前,集成多种访问控制机制,提供一个整体解决方案,方便用户根据需要灵活选择和组合使用各种访问控制成为一种趋势。
本文总结了地理信息系统和WebGIS基本技术知识,并对基于WebGIS的城市消防系统的软件设计开发进行论述.本系统所选用的对象/关系型空间数据库ZEUS,是一个将关系型数据库系统和
将人工免疫系统运用到入侵检测系统中,近年来已经有了一定的发展.在这个领域中,如何利用人工免疫学的基本原理,培育山符合需求的免疫细胞,使能够较多的识别非我并较少的识别
重复数据清理是当今数据质量研究的一个重要问题,清理重复数据关系着数据库服务的质量.因此,论文查重子系统是科研服务平台中的一个部分,它提供了对整个科研服务平台中的英文
在中国目前的集中阅卷工作中,大多延用的是传统的模式.也有一些替代模式,但是由于成本过高或使用复杂而无法得到广泛的应用.该文提出了一种成本低廉、使用方便的解决方案--无